Informal Assessment Test Structureunstructure

8/9/2019 Informal Assessment Test Structureunstructure

1/28


2/28

1 1 0 1 1 .

I n f o r m a l A s s e s s m e n ti nE d u c a t i o n a l E v a l u a t i o n :i m p l i c a t i o n sf o r B i l i n g u a lE d u c a t i o n P r o g r a i r I S

b . 1

N a % a r r e t e

J u d i t h ) % % A d e

( ' f i n i s N e l s o n

R o b e r t N i a n t i n e ,

G a of i a r g e t i

P E R M I S S I O N T O R E P R O D U C E T H I SM A T E R I A L H A S B E E N G R A N T E D B Y

T O T H E E D U C A T I O N A LR E S O U R C E SI N F O R M A T I O N C E N T E R ( E R I C ) .

B E S T C O P Y A V A I L A

U 9D E P A R T M E N T O fE D U C A T I O N

O f f i c e o r E d u c a t io n a lR e s e a r C h a n d I m po v m e n t

E D U C A T I O N A LR E S O U R C E S

I N F O R M A T I O NC E N T E R ( E R I C )

J e l f u s d o c u m e n t h a sb e e nr e p r o d u c e d O N

r e c e i v e d f r o mt h e p e r s o n o rO r g a n i z a t i O n

o r i g i n a t in g i t

O M i n o rc h a n g e s n e v eb e e n m a d et o i m p r o v e

r e p r o d u c t i o nQ u a l i t y

P o i n t s 0 1 v i e w o ro p i n i o n s s t i l l e di n t h i s d o c u -

m e n t d o n o tn e c e s s a r i l yr e p r e s e n to f l u C u l t

O E R I p o s i t i o n o rp O l i c y


3/28

T h e N a t i o n a l C l e a r i n g h o u s e f o r B i l i n g u ae d b y t h e U . S . D e p a r t m e n t o f E d u c a t i o nO f f i c e o f B i l i n g ut i o n a n d M i n o r i t y L a n g u a g e s A f f a i r s( O B E M L A ) a n d i s od e r C o n t r a c t N o . 2 8 9 0 0 4 0 0 1 b y T h eG e o r g e W a s h i n g t o n C e n t e r f o r t h e S t u d y o f E d u c a t i o n a n dN a t i o n a : D e v e l o p mw i t h t h e C e n t e r f o r A p p l i e d L i n g i i i c 4 , To f t h i s p u bt i o n d o n o t n e c e s s a r i l y r e f l e c t t h e v i e w s p o l i c i e s o f t h e D eo f l ' A u c a t i o n , n o r d o e s t h e m e n t i o no f t r a d e n a m e s , c o m mu c t s , o r o r g a n i z a t i o n si m p l y e n d o r s e m e n t b y t h e UR e a d e r s a r e f r e e t o d u p l i c a t e a n d u s e t h em a t e r i a l s i n k e e pa e c e p t e d p u b l i c a t i o n s t a n d a r d s . W M . ' . rt h a t p r o p e r c rg i v e n i n t h e e v e n t o f r e p r o d u c t i o n .


4/28

C e n t r a lt o t h e e v a l u a t i o n o f a n y e d u c a t i o n a l p r o g r a m a r e ti n s t r u m e n t s a n d p r o c e d u r e s u s e d t o a s s e s s t h a t p r o g r a m ' s eM a n y p r o g r a m s u s e c o m t r e r c i a l l y a v a i l a b l e s t a n d a r d i z e d m e a s u r e a c a d e m i c a c h i e v e m e n t o r l a n g u a g e p r o f i c i e n c y . T hg o o d r e a s o n s f o r d o i n g s o . S t a n d a r d i z e d t e s t s u s u a l l y a r e a

t e r e d a n n u a l l y b y s c h o o l d i s t r i c t s , p r o v i d i n g a r e a d y s oa c h i e v e m e n t d a t a . T e s t p u b l i s h e r s p r o v i d e i n f o r m a t i o n a bt e s t ' s v a l i d i t y a n d r e l i a b i l i t y , f u l f i l l i n g a n o t h e r r e q u i r e m e n t ou a t i o n . A n d , s t a n d a r d i z e d t e s t s c o r e s g e n e r a l l y h a v e b e e n a cb y e d u c a t o r s a n d t h e c o m m u n i t y .

H o w e v e r , r e c e n t r e s e a r c h o n s t u d e n t a c h i e v e m e n t h a s f oo n p r o b l e m s a s s o c i a t e d w i t h o v e r r e l i a n c e o n s t a n d a r d i z( e . g . , H a n e y & M a d a u s 1 9 8 9 ; M a r s t o n & M a g n u s s o n 1 9 8 7 ;s k i 1 9 9 0 ; S h e p a r d 1 9 8 9 ) . A l t e r n a t i v e a p p r o a c h e s t o a s s e s sd e n t p r o g r e s s h a v e b e e n s u g g e s t e d t h a t a d d r e s s m a n y o f t hl e m sa s s o c i a t e dw i t h s t a n d a r d i z e dt e s t s( e . g . ,M a r s t o n &M a g n u s s o n 1 9 8 7 ; R o g e r s 1 9 8 9 ; W i g g i n s 1 9 8 9 ; W o l f 1 9 8 9p u r p o s e o f t h i s g u i d e i s t o r e v i e w s o m e o f t h e p r o b l e m s a s sw i t h s t a n d a r d i z e dt e s t i n g ,d e s c r i b ea l t e r n a t i v ea s s e s s m e n ta p p r o a c h e s , a n d d i s c u s s h o w t h e s e a p p r o a c h e s m i g h t b e e mb y b i l i n g u a l e d u c a t o r s t o s u p p l e m e n t t h e u s e o f s t a n d a r d i z e d

C r i t i c i s m s o f s t a n d a r d i z e dt e s t s s e e m t o h a v e g r o w n i n p r o p o r t i o nt o t h e f r e q u e n c y w i t h w h i c h , a n d t h e p u r p o s e s f o r w h i c h , tu s e d ( H a n e y & M a d a u s 1 9 8 9 ) . P i k u l s k i ( 1 9 9 0 ) s u g g e s t s g r e a t e s t m i s u s e o f s t a n d a r d i z e d t e s t s m a y b e t h e i r o v e r u s e

d i s t r i c t s n o w a d m i n i s t e r s u c h t e s t s a t e v e r y g r a d e l e v e l , d e f ic e s s o r f a i l u r e o f p r o g r a m s i n t e r m s o f t e s t s c o r e s , a n d e vt e a c h e r a n d a d m i n i s t r a t o r s a l a r i e s a n d j o b s e c u r i t y t o s t u d e n tm a n c e o n s t a n d a r d i z e d t e s t p e r f o r m a n c e . T h r e e a r e a s o f t ec r i t i -c i z e d i n r e g a r d t o s t a n d a r d i z e d t e s t s a r e c o n t e n t , i t e m f o r mi t e m b i a s . S t a n d a r d i z e d t e s t s a r e d e s i g n e d t o p r o v i d e t h e b e sp o s s i b l e t o w h a t i s p e r C e i v e d t o b e t h e t y p i c a l c u r r i c u l us p e c i f i c g r a d e l e v e l . B e c a u s e a b i l i n g u a l e d u c a t i o n p r o g r a m o n o b j e c t i v e s u n i q u e t o t h e n e e d s o f i t s s t u d e n t s , m a n yo f t h e i t e m so n a s t a n d a r d i z e d t e s t m a y n o t m e a s u r e t h e o b j e c t i v e s o r c o no ft h a t p r o g r a m . T h u s a s t a n d a r d i z e d t e s t m a y h a v e l o w c o n t e n

i t y f o r s p e c i f i c b i l i n g u a l e d u c a t i o n p r o g r a m s . I n s u c h a s i t u a tt e s t m i g h t n o t b e s e n s i t i v e t o a c t u a l s t u d e n t p r o g r e s s .C o n s e q u e n t l y ,t h e p r o g r a m , a s m e a s u r e d b y t h i st e s t , w o u l d a p p e a r t o b ei n e f f e c t i v e .

4

I n t r o d u c t i o

C o n c e r n sw i t hS t a n d a r d i z eT e s t i n g


5/28

D e f i n i n gI n f o r m a lA s s e s s m e n t

2

S t a n d a r d i z e d a c h i e v e m e n t t e s t s g e n ep l e - c h o i c e i t e m s . T h i s i t e m f o r m a t a l l oa g e a s w e l l a s o b j e c t i v e a n d e f f i c ir e s p o n s e r e q u i r e d b y t h e f o r m a t i sa n s w e r . T h i s t y p e o f r e s p o n s e d o e s n o

o f r e s p o n s e s s t u d e n t s r e g u l a r l y m a k e id u c t i o n o r s y n t h e s i s o f i n f o r m a t i o nr e s p o n d i n g w i t h i n t h e s t r u c t u r e i m p ot e s t p e r f o r m a n c e m a y s u f f e r . O n t h e oo g n i z e t h e c o r r e c t f o r n w h e n i t i s p r e st e s t f o r m a t , b u t f a i l t o u s e t h a t f o r m c o n t e x t s . I n t h i s c a s e , a s t a n d a r d i z e da p p e a r m o r e p r o f i c i e n t t h a n p e r f o r m a n

F u r t h e r , s o m e t e s t s h a v e b e e n c r i t i c ia r e b i a s e d a g a i n s t c e r t a i n k i n d s o f s t um i n o r il i m i t e d E n g l i s h p r o f i c i e n t , r u r a l , i n n e r

c i s m i s t h a t t h e i t e m s r e f l e c t t h e l a n g us t y l e o f t h e m i d d l e - c l a s sm a j o r i t y( N e i l l & M e d i1 9 8 9A l t h o u g h t e s t c o m p a n i e s h a v e a t t e m p tt h e r e m o v a l o f q u e s t i o n s f r o m a m e ap r o b l e m a t i c f o r m i n o r i t y s t u d e n t s .

T h u s , t h e r e a r e s t r o n g a r g u m e n t s i n i n g t h e u s e o f a l t e r n a t i v e f o r m s o f a s sd a r d i z e d t e s t i n f o r m a t i o n . T h e s e a l t et i m e l y , n o t t i m e c o n s u m i n g , t r u l y r e p ra n d t a n g i b l y m e a n i n g f u l t o t h e t e a c h ei n f o r m a l a s s e s s m e n t h a v e t h e p o t e n t i aa s p r o g r a m m a t i c r e q u i r e m e n t s f o rf o r m a t i v e a n d s u m mt i o n s . V a l i d i t y a n d r e l i a b i l i t y a r e n o t en o r m - r e f e r e n c e d t e s t s . I n f o r m a l t e c h nu r e t h e s k i l l s a n d k n o w l e d g e i m p a r t e dt h e p r o j e c t ; t h eb l e i f t h e y m e a s u r e c o n s i s t e n t l y a n d a c

F o r m a l a n d i n f o r m a la r e n o t t e c h n i c a l p s y ct h e r e f o r e , t h e r e a r e n o u n i f o r m l y a c c eu s e d h e r e t o i n d i c a t e t e c h n i q u e s t h a t cc l a s s r o o m r o u t i n e s a n d l e a r n i n g a c t i

t e c h n i q u e s c a n b e u s e d a t a n y t i m e w i tt i o n a l t i m e . T h e i r r e s u l t s a r e i n d i c a t i vp e r f o r mo n t h e s k i l l o r s u b j e c t o fi n t e r e s t . U n l i k e s t a n d a r dn o t i n t e n d e d t o p r o v i d e a c o m p a r i s o n b r o a d e r g r o u p s t u d e n t s i n t h e l o c a l p r o j e c t .


6/28

T h i s i s n o t t o s a y t h a t i n f o r m a l a s s e s s m e n t i s c a s u a l o r l ai n r i g o r . F o r m a l t e s t s a s s u m e a s i n g l e s e t o f e x p e c t a t i o n s f o rd e n t s a n d c o m e w i t h p r e s c r i b e d c r i t e r i a f o r s c o r i n g a n d i n t et i o n . I n f o r m a l a s s e s s m e n t , o n t h e o t h e r h a n d , r e q u i r e s a c l e a rs t a n d i n g o f t h e l e v e l s o f a b i l i t y t h e s t u d e n t s b r i n g w i t h t h e m

t h e n m a y a s s e s s m e n t a c t i v i t i e s b e s e l e c t e d t h a t s t u d e n t s c a n ar e a s o n a b l y . I n f o r m a l a s s e s s m e n t s e e k s t o i d e n t i f y t h e s t r e n gn e e d s o f i n d i v i d u a l s t u d e n t s w i t h o u t r e g a r d t o g r a d e o r a g e n

M e t h o d sf o r i n f o r m a l a s s e s s m e n t c a n b e d i v i d e d i n t o t w o m at y p e s : u n s t r u c t u r e d ( e . g . , s t u d e n t w o r k s a m p l e s , j o u r n a l s ) a n dt u r e d ( e . g . , c h e c k l i s t s , o b s e r v a t i o n s ) . T h e u n s t r u c t u r e d m e t hq u e n t l y a r e s o m e w h a t m o r e d i f i c u l t t o s c o r e a n d e v a l u a t e , bc a n p r o v i d e a g r e a t d e a l o f v a l u a b l e i n f o r m a t i o n a b o u t t h e st h e c h i l d r e n , p a r t i c u l a r l y i n t h e a r e a s o f l a n g u a g e p r o f i c i e n c yt u r e d m e t h o d s c a n b e r e l i a b l e a n d v a l i d t e c h n i q u e s w h e n s p e n t c r e a t i n g t h e s c o r i n g p r o c e d u r e s .

W h i l ei n f o r m a la s s e s s m e n tu t i l i z e so p e n - e n d e de x e r c i s e sr e f l e c t i n g s t u d e n t l e a r n i n g , t e a c l I e r s ( a n d s t u d e n t s ) c a n i n f e rt h e m e r e p r e s e n c e o f c o n c e p t s , a F , w e l l a s c o r r e c t a p p l i c a t i ot h e s t u d e n t p o s s e s s e s t h e i n t e n d e d o u t c o m e s ( M u i r & W e l l sp . 9 f ) ) . A n o t h e r i m p o r t a n t a s p e c t o f i n f o r m a l a s s e s s m e n t st h e y a c t i v e l y i n v o l v e t h e s t u d e n t s i n t h e e v a l u a t i o n p r o ca r e n o t j u s t p a p e r - a n d - p e n c i l t e s t s .

U n s t r u c t u r e d A s s e s s m e n t T e c h n i q u e s

U n s t r u c t u r e d t e c h n i q u e s f o r a s s e s s i n g s t u d e n t s c a n r ug a m u t f r o m w r i t i n g s t o r i e s t o p l a y i n g g a m e s a n d i n c l u d e b o tt e n a n d o r a l a c t i v i t i e s . T h e r a n g e o f p o s s i b l e a c t i v i t i e s i s o n l y b y t h e c r e a t i v i t y o f t h e t e a c h e r a n d s t u d e n t s . T a b l e 1 o np r e s e n t s s e v e r a l i l l u s t r a t i v e u n s t r u c t u r e d a s s e s s m e n t s / t e c h n i q

S t r u c t u r e d A s s e s s m e n t T e c h n i q u e ;S t r u c t u r e d a s s e s s m e n t s a r e p l a n n e d b y t h e t e a c h e r m u c h

s p e c i f i c a l l y t h a n a r e u n s t r u c t u r e d a s s e s s m e n t s . A s t h e e x al i s t e d a n d d e s c r i b e d i n T a b l e 2 o n p a g e 6 i n d i c a t e , s t r u c t u r e dm e n t m e a s u r e s a r e m o r e v a r i e d t h a n u n s t r u c t u r e d o n e s .I n d e e d ,s o m e o f t h e m a r e t y p e s o f t e s t s o f o n e k i n d o ra n o t h e r . I n e a c h c a s e ,d e f i n i t e l y r i g h t a n d w r o n g , c o m p l e t e d o r n o t c o m p l e td e t e r m i n a t i o n s c a n b e m a d e . C o n s e q u e n t l y , t h e s c o r i n g ot u r e d a s s e s s m e n t a c t i v i t i e s i s r e l a t i v e l y e a s i e r c o m p a r e d t o t hi n g o f u n s t r u c t u r e d a s s e s s m e n t a c t i v i t i e s .

I n f o r m a lA s s e s s m e n tT e c h n i q u e s

3


7/28

T a b l e 1

T y p e so f

u n s t r u c t u r e da s s e s s m e n tt e c h n i q u e s

4

W r i t i n g S a m p l e sW h e n s t u d e n t s w r i t e a n y t h i n g o n s pc a n b e s c o r e d b y u s i n g o n e o f t h e t e

3 . O t h e r c r e a t i v e w r i t i n g s a m p l e s t hd e n t p r o g r e s s i n c l u d e n e w s p a p e r s , nw a l l s , s c r i p t s f o r a p l a y , a n d l a n g u a g

H o m e w o r kA n y w r i t t e n w o r k s t u d e n t s d o a l o nh o m e , c a n b e g a t h e r e d a r d u s e d tW i t h t e a c h e r g u i d a n c e , s t u d e n t s c aa n d r e m e d i a t i n g t h e i r o w n e r r o r s . Ie s t s , a b i l i t i e s , a n d e f f o r t s c a n b e m o

L o g s o r j o u r n a l sA n i n d i v i d u a l m e t h o d o f w r i t i n g .d a i l y , w e e k l y , o r q u a r t e r l y b a s i s t o p e r c e i v i n g t h e i r l e a r n i n g p r o c e s si d e a s a n d s t r e n g t h s f o r m o r e f o r mo t h e r a c t i v i t i e s .

G a m e sG a m e s c a n p r o v i d e s t u d e n t s w i t hi n c r e a s i n g t h e i r s k i l l s i n v a r i o u s a rn a m i n g c a t e g o r i e s o f o b j e c t s / p e o p l e

D e b a t e sS t u d e n t s ' o r a l w o r k c a n b e e v a l u a t ea s s e s s i n g t h e i r o r a l p r e s e n t a t i o n s k i lu n d e r s t a n d c o n c e p t s a n d p r e s e n t t hf a s h i o n .

. 1


8/28

B r a i m t o r m i n gT h i s t e c h n i q u e c a n b e u s e d s u c c e s s f u l l y w i t h a l l a g e s o fd r e n t o d e t e r m i n e w h a t m a y a l r e a d y b e k n o w n a b o u t a p a r t

t o p i c . S t u d e n t s o f t e n f e e l f r e e t o p a r t i c i p a t e b e c a u s e t h e r ec r i t i c i s m o r j u d g m e n t .

S t o r y r e t e l l i n gT h i s t e c h n i q u e c a n b e u s e d i n e i t h e r o r a l o r w r i t t e n f o r mp r o v i d e s i n f o r m a t i o n o n a w i d e r a n g e o f l a n g u a g e - b a s e d t i e s . R e c a l l i s p a r t o f r e t e l l i n g , b u t t e a c h e r s c a n u s e i t t o dm i n e w h e t h e r c h i l d r e n u n d e r s t o o d t h e p o i n t o f t h e s t o r yw h a t p r o b l e m s c h i l d r e n h a v e i n o r g a n i z i n g t h e e l e m e n t s s t o r y i n t o a c o h e r e n t w h o l e . T h i s a l s o c a n b e u s e d t o s h a rt u r a l h e r i t a g e w h e n c h i l d r e n a r e a s k e d t o r e t e l l a s t o r y i nt h a t i s p a r t o f t h e i r f a m i l y h e r i t a g e .

A n e c d o t a lT h i s m e t h o d c a n b e w e d b y t e a c h e r s t o r e c o r d b e h a v i o rs t u d e n t s ' p r o g r e s s . T h e s e c o m m e n t s c a n i n c l u d e b e h a ve m o t i o n a l , a n d a c a d e m i c i n f o r m a t i o n . F o r i n s t a n c e , J a i mf o r f i v e m i n u t e s b e f o r e b e g i n n i n g h i s a s s i g n m e n t . Ts h o u l d b e w r i t t e n c a r e f u l l y , a v o i d i n g j u d g m e n t a l w o r d s .

N a t u r a l i s t i cR e l a t e d t o a n e c d o t a l r e c o r d s , t h i s t y p e o f o b s e r v a t i o n m a yt h e f o r m o t n o t e s w r i t t e n a t t h e e n d o f t h e d a y b y a t e aT h e y m a y r e c o r d w h a t o c c u r r e d o n t h e p l a y g r o u n d , i n t h e r o o m , a m o n g s t u d e n t s , o r m a y j u s t r e f l e c t t h e g e n e r a lc l a s s r o o ma t m o s p h e r e .

5

8


9/28

T a b l e 2

T y p e so f

s t r u c t u r e di n f o r m a la s s e s s m e n t s

6

C h e c k l i s t sC h e c k l i s t s s p e c i f y s t u d e n t b e h a v i o ri n g p r o g r e s s i o n t h r o u g h t h e c u r r i c u ll i s t m a y b e c o n t e n t a r e a o b j e c t i v e s . b e a t y p e o f o b s e r v a t i o n a l t e c h n i q uo n l y t h e p r e s e n c e o r a b s e n c e o f t h e l i s t s g e n e r a l l y a r e r e l i a b l e a n d r e l a t it i m e , c h e c k l i s t s c a n d o c u m e n t s t ua c c o m p l i s h m e n t w i t h i n t h e c u r r i c u l u

O o z e T e s t sC l o z e t e s t s a r e c o m p o s e d o f t e x t f r od e l e t e d r a n d o m l y . S t u d e n t s f i l l i n t hp r e h e n s i o n o f t h e c o n t e x t o f t h e pi n t e n d e d t o p r o v i d e a m e a s u r e o f r e a

C r i t e r i o n - r e f e r e n c e d T e s t sC r i t e r i o n - r e f e r e n c e d t e s t s a r e s o m ei n f o r m a l a s s e s s m e n t . T h i s t y p e o f t et i o n a l o b j e c t i v e s , m e a s u r e s p r o g r e s sc a n b e u s e d f o r s p e c i f i c i n s t r u c t i o n at e s t t o r e f l e c t a p a r t i c u l a r c u r r i c u l u mo f t e n a r e d e v e l o p e d l o c a l l y b y t e a c hd e n t p e r f o r m a n c e i s e v a l u a t e d r e l a t it i v e s , w i t h a m i n i m u m p e r f o r m a n cm a s t e r y .

R a t i n g S c a l e sT h i s i s a n a s s e s s m e n t t e c h n i q u e o f t et i o n o f s t u d e n t w o r k o r b e h a v i o r s . p r e s e n c e o r a b s e n c e o f a b e h a v i o rj e c t i v e l y r a t e s e a c h i t e m a c c o r d i n g te s t . F o r e x a m p l e , s t u d e n t s m i g h t b e h o w p r o f i c ia r e o n d i f f e r e n t e l e m e n t s o f a n o r ap r e s e n t a t i o n t oE a c h e l e m e n t m a y b e r a t e d o n a . 1 t o

t h e h i g h e s t l e v e l o f p r o f i c i e n c y .


10/28

1 = M M E N I M M

Q u e s t i o n n a i r e sA q u e s t i o n n a i r e i s a s e l f - r e p o r t a s s e s s m e n t d e v i c e o n w h i cd e n t s c a n p r o v i d e i n f o r m a t i o n a b o u t a r e a s o f i n t e r e s t

t e a c h e r . Q u e s t i o n n a i r e i t e m s c a n b e w r i t t e n i n a v a r i e t y om a t s a n d m a y b e f o r c e d - c h o i c e ( r e s p o n s e a l t e r n a t i v e s a r ev i d e d ) o r o p e n - e n d e d ( s t u d e n t s a n s w e r q u e s t i o n s i n t h e i rw o r d s ) . Q u e s t i o n n a i r e s d e s i g n e d t o p r o v i d e a l t e r n a t i v e am e n t s o f a c h i e v e m e n t o r l a n g u a g e p r o f i c i e n c y m a y a s k s t ut o r e p o r t h o w w e l l t h e y b e l i e v e t h e y a r e p e r f o r m i n g i n a p al a r s u b j e c t o r t o i n d i c a t e a r e a s i n w h i c h t h e y w o u l d l i k e h e l p f r o m t h e t e a c h e r . O n e t y p e o f q u e s t i o n n a i r e ( wa s s u m e s t h a t t h e s t u d e n t c a n r e a d i n t h e n a t i v e l a n g ur e q u e s t s t h a t s t u d e n t s c h e c k o f f i n t h e f i r s t l a n g u a g e t h e k it h i n g s t h e y c a n d o i n E n g l i s h . F o r a q u e s t i o n n a i r e t o p ra c c u r a t e i n f o r m a t i o n , s t u d e n t s m u s t b e a b l e t o r e a d t h e ih a v e t h e i n f o r m a t i o n t o r e s p o n d t o t h e i t e m s , a n d h a v e t h ei n g s k i l l s t o r e s p o n d .

M i s c u e A n a l y s i sA n i n f o r m a l a s s e s s m e n t o f s t r a t e g i e s u s e d b y s t u d e n t s r e a d n g a l o u d o r r e t e l l i n g a s t o r y . T y p i c a l l y , s t u d e n t s rg r a d e - l e v e l p a s s a g e ( e . g . , 2 5 0 w o r d s ) w h i l e a j u d g e f oa l o n g w i t h a d u p l i c a t e c o p y o f t h e p a s s a g e . T h e s t u d e n t mt a p e r e c o r d e d . E a c h t i m e a n e r r o r o c c u r s , t h e j u d g e c i r c l e

w o r d o r p h r a s e . A d e s c r i p t i o n o f t h e a c t u a l e r r o r c a n b e f r o m t h e t a p e a f t e r t h e s e s s i o n a n d a n a l y z e d f o r e r r o r s i nn u n c i a t i o n , s e n t e n c e s t r u c t u r e , v o c a b u l a r y , u s e o f s y n t a x( s e e G o o d m a n 1 9 7 3 ) .

w -

S t r u c t u r e d I n t e r v i e w sS t n i c t u r e d i n t e r v i e w s a r e e s s e n t i a l l y o r a l i n t e r v i e w q u en a i r e s . U s e d a s a n a l t e r n a t i v e a s s e s s m e n t o f a c h i e v e m e n t og u a g e p r o f i c i e n c y , t h e i n t e r v i e w c o u l d b ec o n d u c t e d w i t h a s t u -d e n t o r a g r o u p o f s t u d e n t s t o o b t a i n i n f o r m a t i o n o f i n t e r et e a c h e r . A s w i t h w r i t t e n q u e s t i o n n a i r e s , i n t e r v i e w q u e sc o u l d b e f o r c e d - c h o i c e o r o p e n - e n d e d . B e c a u s e t h e i n f o r me x c h a n g e i s e n t i r e l y o r a l , i t i s i m p o r t a n t t o k e e p i n t e r v i e w t i o n s ( i n c l u d i n g r e s p o n s e a l t e r n a t i v e s f o r f o r c e d - c h o i c e ia s s i m p l e a n d t o - t h e - p o i n t a sp o s s i b l e .

1 0

7


11/28

G u i d e l i n e s f o rI n f o r m a lA s s e s s m e n t

8

I n o r d e r t o b e e f f e c t i v e , i n f o r m a l a s sc a r e f u l l y p l a n n e d . W i t h a p p r o p r i a t e pa n d v a l i d , a n d t h e y c a n s e r v e d i a g n o s tt i v e a n d s u m m a t i v e e v a l u a t i o n p u r p og u a l e d u c a t i o n p r o g r a m s . G e n e r a l g u

e n s u r e t h e s e q u a l i t i e s . T h e s e g u i d e l i nb o t h t o f o r mi n f o r m a l a s s e s s m e n t s .

V a l i d i t y a n d R e l i a b i l i t yS t a n d a r d i z e d t e s t s o f t e n a r e s e l e c t

m a n u a l s r e p o r t v a l i d i t y a n d r e l i a b i l i t yt h e c o n t e n t o f t h e s e t e s t s d o e s n o t m a to f t h e p r o j e c t , t h e i r v a l i d i t y i s n e g a t ed a r d i z e d t e s t s i n c l u d e s t r u c t u r a l a n a l y so r l a n g u a g e a r t s s e c t i o n s . I f a b i l i n g ue d u c a t i o n p r o j et e a c h s t r u c t u r a l a n a l y s i s s k i l l s , c o n c e nn i c a t i v e a s p e c t s o f r e a d i n g / w r i t i n g , s ut h a t p a r t i c u l a r p r o j e c t .

T h e v a l i d i t y o f i n f o r m a l m e a s u r e s c as t r a t i n gt h a tt h e i n f o r m a t i o n o b t a i n e d f rr e f l e c t s t h e p r o j e c t ' s i n s t r u c t i o n a l g o a lp l e , t h e p r o j e c t i s t e a c h i n g c o m m u n i ch o l i s t i c a l l y s c o r e d w r i t i n g s a m p l e sT h e r e f o r e , a f i r s t s t e p t o w a r d v a l i d a t i nm e n t m e a s u r e s i s a c l e a r s t a t e m e n t oi nt e r m s o f g o a l s a n d o b j e c t i v e s .

R e l i a b i l i t y , i n i t s p u r e s t s e n s e , r e f e rt o d i s c r i m i n a t e l e v e l s o f c o m p e t e n c yw h o t a kT h i s i s a c c o m p l i s h e d t h r o u g h t h e c o nc r i t e r i a . A s w i t h v a l i d i t y , t h e r e l i a b i l i te s t a b l i s h e d b y a c l e a r s t a t e m e n t o f t h ef o r n m n c e i n t h e c u r r i c u l u m a n d e n s u rt e n t c r i t e r i a b a s e d o n t h o s e e x p e c t a t i oI f t h e i n f o r m a la c c u r a t e l y r e p r e s e n t s t u d e n t s ' p r o g r ed i st i n g u i s h t h e d i f f e r e n t i a l p r o g r e s s m a da r e r e l i a b l e .

S c o r i n g P r o c e d u r e sC o n s i d e r a t i o n h a s t o b e g i v e n t o t ho f

t h e s c o r i n g p r o c e d u r e s u s e d i n a s s e s sf o r m a l a n dm a l . A m o n g c r i t i c a l i s s u e s t o b e a d d r e


12/28

1 . T h e v a l i d i t y o f t h e j u d g m e n t m a y b e l i m i t e d b y t h ed e p e n d e n c y o n t h e o p i n i o n o f r a t e r s . T o e n s u r e h i g h r e l i a b ie r s m u s t b e t r a i n e d t o m e e t a s e t c r i t e r i o n ( e . g . , w h e n j u di n d i v i d u a l s , r a t e r s s h o u l d r a t e e i g h t o f t h e m s i m i l a r l y ) .

2 . T h e s c o r e s m u s t b e s p e c i f i c t o t h e l e a r n i n g s i t u a t i os c o r i n g p r o c e d u r e m u s t m a t c h t h e e x e r c i s e o r p e r f o r m ae n s u r e t h i s m a t c h , t h e p u r p o s e f o r a s s e s s m e n t a n dt h e c o n t e n t t o b ea s s e s s e d m u s t f i r s t b e d e c i d e d . A g r e e m e n t s h o u l d a l s o b e s ot h e d e s c r i p t o r s d e v e l o p e d f o r e a c h s c o r i n g c a t e g o r y t o b e u s

3 . S c o r i n g p r o c e d u r e s m a y b e t i m e c o n s u m i n g . T o e n s uc e s s , t h e c o m m i t m e n t a n d s u p p o r t o f p r o j e c t a n ds c h o o l p e r s o n n e lm u s t b e s o u g h t . T r a i n i n g a n d p r a c t i c e m u s t b e o f f e r e d t o t h e

S c o r i n g p r o c e d u r e s u t i l i z e d i n u n s t r u c t u r e d a s s c s s m e n t a cc a n b e u s e d t o :

m e a s u r e p r o g r e s s a n d a c h i e v e m e n t i n m o s t c o n t e n t a r e a s ;m e a s u r el i t e r a c ys k i l l ss u c ha s o r a l ,r e a d i n g , a n d w r i t t e np r o d u c t i o n ;d e v e l o p s u m m a t i v e a n d f o r m a t i v e e v a l u a t i o n s ;m a k e a n i n i t i a l d i a g n o s i s o f a s t u d e n t ' s l e a r n i n g ;g u i d e a n d f o c u s f e e d b a c k o n s t u d e n t s ' w o r k ;m e a s u r e s t u d e n t s ' g r o w t h o v e r t i m e o r f o r s p e c i f i c p e r i o d s ;d e t e r m i n e t h e e f f e c t i v e n e s s o f a n i n s t r u c t i o n a l p r o g r a m ;m e a s u r e g r o u p d i f f e r e n c e s b e t w e e n p r o j e c t s t u d e n t s a n d j e c t c o m p a r i s o n g r o u p s ;a n a l y z e t h e p e r f o r m a n c e o f a n i n d i v i d u a l s t u d e n t ; a n dc o r r e l a t e s t u d e n t o u t c o m e s w i t h f o r m a l , s t a n d a r d i z e d a c h i e v e m e n t a n d l a n g u a g e p r o f i c i e n c y .

T a b l e 3 o n p a g e 1 0 l i s t s s o m e g e n e r a l s c o r i n g p r o c e d u r eb r i e f s u m m a r y d e s c r i p t i o n o f p o p u l a r l y u s e d t e c h n i q u e s .

D i f f e r e n t m e t h o d s o f c o m b i n i n g t y p e s o f s t r u c t u r e d a n d ut u r e d i n f o r m a l a s s e s s m e n t s a n d a s s o c i a t e d s c o r i n g p r oa p p e a r i n t h e l i t e r a t u r e . W h i l et h e s e a p p r o a c h e s h a v e d i f f e r e n tl a b e l s a n d d i f f e r s o m e w h a t i n p h i l o s o p h y , a l l a r e o f f e r e d a st i v e s t o s t a n d a r d i z e d t e s t i n g a n d u s e i n f o r m a l a s s e s s m e n t tu r e s t u d e n t p e r f o r m a n c e i n t h e c o n t e x to f t h e c u r r i c u l u m .

1 . C u r r i c u l u m - b a s e d a s s e s s m e n t u s e s t h e m a t e r i a l t o b e l ea s t h e b a s i s f o ra s s e s s i n g t h e d e g r e e t o w h i c h i t h a s b e e n l e a r n e d

C o m b i n i n gA s s e s s m e n t

E v a l u a t i o n

9


13/28

T a b l e 3

S c o r i n ga s s e s s m e n t s

f o ru n s t r u c t u r e da c t i v i t i e s

1 0

H o l i s t kA g u i d e d p r o c e d u r e f o r e v a l u a t i n g p ea s a w h o l e r a t h e r t h a n b y i t s s e p a r a

i n f o r m a t i o n a l f e a t u r e s . E v a l u a t i o n io f a g e n e r a l s c o r i n g g u i d e w h i c h l i ss c o r e . H o l i s t i c j u d g m e n t s a r e m ab e t w e e n t h e c r i t e r i a a n d t h e s t u d e na r e b a s e d o n a r a t i n g s c a l e t h a t r a n gl o w q u a l i t y l e v e l a n d 1 0 = h i g h q u a l

P r i m a r y T r a i tA m o d i f i e d v e r s i o n o f h o l i s t i c s c o r i nh o l i s t i c s c o r i n g p r o c e d u r e s , i t s p r i mp a r t i c u l a r f e a t u r e ( s ) o f a d i s c o u r s ew r i t t e n ) r a t h e r t h a n t h e s t u d e n t s ' wl e v e l t r a i t sa l s o c a n b e i d e n t i f i e d a n dt h i sa p p r o a c h .

A n a l y t i cA c o m p l e x v e r s i o n o f h o l i s t i c s c o r i na t e d a c c o r d i n g t o m u l t i p l e c r i t e r i a wt h e i r l e v e l o f i m p o r t a n c e i n t h e l e a r na w r i t i n g s a m p l e c a n b e a s s e s s e d s t r u c t u r e , u s a g e , m e c h a n i c s , a n d f o r

o n a 1 t o 5 s c a l e ( 1 = l o w a n d 5 = w e i g h t i n g st h e n i s a p p l i e d .

F o r e x a m p l e , t h e o r g a n i z a t i o n o f s i x t i m e s a s m u c h a s t h e f o r m a t ; s e nm u c h a s f o r m a t ; a n d s o o n . T h i s pm a n y p u r p o s e s s u c h a s d i a g n o s t i c r e c l a s s i f ia n d e x i t i n g , g r o w t h m e a s u r e m e n t , p rc a t i o n a l r e s e a r c h .


14/28

H o l i s t i c S u r v e yU s e s m u l t i p l e s a m p l e s o f s t u d e n t s ' w r i t t e n w o r k r e p r e s et h r e e o f f i v e d i s c o u r s e m o d e s : e x p r e s s i v e , n a r r a t i v e , d e s c r

e x p o s i t o r y , a n d a r g u m e n t a t i v e . P r i o r t o s c o r i n g , s t u d e n t s t o p i c s , r e p e a t o r a l d i r e c t i o n s t o d e m o n s t r a t e u n d e r s t a n d it h e t a s k , a n d h a v e t h e o p p o r t u n i t y t o r e v i s e a n d e d i t t h e i rb e f o r e s u b m i t t i n g i t f o r e v a l u a t i o n . T h e s c o r i n g p r o c e d u r ei n t h e s u r v e y c a n i n c l u d e p r i m a r y t r a i t , a n a l y t i c , o r o t h e r hs c o r i n g d e v i c e s r e l e v a n t t o t h e g o a l s a n d o b j e c t i v e s o f t h et e n a s s i g n m e n t .

G e n e r a l I m p r e s s i o n M a r k i n g sT h e s i m p l e s t o f t h e h o l i s t i c p r o c e d u r e s . T h e r a t e r s s c op a p e r s b y s o r t i n g p a p e r s a l o n g a c o n t i n u u m s u c h a s e x c e l lp o o r , o r a c c e p t a b l e t o u n a c c e p t a b l e . C r i t i c a l t o t h i s a p p r ot h a t r a t e r s b e c o m e c a l i b r a t e d t o r e a c h c o n s e n s u s b y r e aa n d j u d g i n g a l a r g e s a m p l e o f p a p e r s .

E r r o r P a t t e r n sT h e a s s e s s m e n t o f s t u d e n t s ' w r i t t e n w o r k o r m a t h e m a t i c a lp u t a t i o n s . S c o r i n g i s b a s e d o n a c r i t e r i o n t h a t d e s c r i b e s t hc e s s o r c o n t i n u u m o f l e a r n i n g p r o c e d u r e s t h a tr e f l e c t u n d e r -s t a n d i n g o f t h e s k i l l o r c o n c e p t b e i n g a s s e s s e d . A m i n i mt h r e e p r o b l e m s o rw r i t t e n a s s i g n m e n t sa r e c o l l e c t e d a n d

a s s e s s e d t o e n s u r e t h a t a s t u d e n t ' s e r r o r i s n o t d u e t o c h a n c

A s s i g n i n g G r a d e sT h e o l d s t a n d a r d . S t u d e n t s a r e a s s i g n e d a n u m b e r o r lg r a d e b a s e d o n a c h i e v e m e n t , c o m p e t e n c y , o r m a s t e r y lG r a d e s c a n b e p a s s - f a i l o r c a n r e f l e c t l e t t e r g r a d e s , s u c h aF . T h e m a j o r l i m i t a t i o n o f t h i s s c o r i n g p r o c e d u r e i s t h a t gd o n o t p r o v i d e a n y i n f o r m a t i o n o n t h e s t r e n g t h s o r w e a k ni n a c o n t e n t a r e a .

14

' t

1 1


15/28

( T u c k e r 1 9 8 5 , p , 1 9 9 ) . T h i s a p p r o a c hs u c h a s w r i t i n g s a m p l e s , r e a d i r : g s a m p. a n dt e a c h e r - m a d e s p e l l i n g t e s t s f r o m t h e bg o o d a l o f a t t e n t i o n i n t h e s p e c i a l e d u c a1 9 8 5 ; M a r s t o n & M a g n u s s o n 1 9 8 7 ) a

r e s p o n s e t o t h e n e e d t o a d d r e s s p e r f os t u d e n t s ' i n d i v i d u a l i z e d e d u c a t i o n p l a n2 . E c o l o g i c a l a s s e s s m e n t ( e . g . , B u l g

e v a l u a t e s s t u d e n t p e r f o r m a n c e i n t h e S o u r c e s o f s u c h d a t a i n c l u d e s t u d e n to b s e r v a t i o n s , a n d c o l l e c t i o n s o f s t u d e nm e n t t a k e s i n t o a c c o u n t s u c h t h i n g s a st h e c l a s s r o o m ; p a t t e r n s o f c l a s s r o o m at h e t e a c h e r a n d s t u d e n t s a n d a m o n gs t y l e s ; a n d e x p e c t a t i o n s o f s t u d e n t p ea n d t e a c h e r s .

3 . P e r f o r m a n c e a s s e s s m e n t ( S t i g g i n sf o r t e a c h e r s t o e v a l u a t e s t u d e n t b e h a vm e n t s c a n t a k e a n y f o r m , d e p e n d i n g oi n t e r e s t , a n d a r e d e s i g n e d a c c o r d i n g d e c i s i o n s i t u a t i o n t h a t d e f i n e s t h e b a sa s s e s s m e n t ; ( 2 ) a t e s t a c t i v i t y o r e xr e s p o n d s ; ( 3 ) t h e s t u d e n t r e s p o n s e ; a np e r f o r m a n c e .

S t u d e n t P o r t f o l i o s

A m e t h o d w h i c h c a n c o m b i n e b o t hu r e s i s p o r t f o l i o a s s e s s m e n t ( e . g . , W o1 9 8 9 ) . T h i s m e ti d l y g a i n i n g i n p o p u l a r i t y b e c a u s e ow o r k s a m p l e s o v e r t h e c o u r s e o f a s c ht h i s r e a s o n a m o r e d e t a i l e d d e s c r i p t i o n

P o r t f o l i o s p r o v i d e a n a p p r o a c h t o o rs t u d e n t d a t a f o r p r o g r a m s i n t e r e s t e d i na s s e s s m e n t s . T h e y r e p r e s e n t a p h i l o s oa n i n t e g r a l c o m p o n e n t o f i n s t r u c t i o na n d t h e p r o c e s s U s i n g a w i d e v a r i e t y o f l e a r n i n g i n d i c ae d u c a t i o n a l s i t u a t i o n s o v e r a s p e c i f i e dp r o v i d e a n e c o l o g i c a l l y v a l i d a p p r o a c hp r o f i c i e n t s t u d e n t s . W h i l e t h e a p p r o au s e f u l i n b o t h f o r m a t i v e a n d s u m m a t i vi n v o l v e t e a c h e r s a n d s t u d e n t s i n a s s e s s

1 2


16/28


17/28

p r o v i d e m o r e d e t a i l e d i n f o r m a t i o n op e r f o r m a n c e w h i c h a r e n o t r e a d i l y mi n i n g m e t h o d s ;r e f l e c t t h e t a u g h t c u r r i c u l u m a n d e x p e r i e n c e s ;

e n c o u r a g e t e a c h e r s t o u s e d i f f e r e n t w ad o c u m e n t t h e s t u d e n t ' s l e a r n i n g a n d ph e l p t e a c h e r s e x a m i n e t h e i r o w n d e v e

A l t h o u g h t h e s h a p e a n d f o r m o f p op r o g r a m t o p r o g r a m , t h e r e a l v a l u e o f I n t h e f i r s t a r e a , p o r t f o l i o s h a v e t h e t e a c h e r s a n d s t u d e n t s w i t h a r i c h s o us t a n d t h e d e v e l o p m e n t a n d p r o g r e s s oe d u c a t i o n a l p r o g r a m s t h a t e n h a n c e s t ut h e i r a c h i e v e m e n t s . I n t h e s e c o n d a r ei n g i n a h o l i s t i c a n d v a l i d w a y . T h e i nf o l i o i s t a k e n f r o m a c t u a l s t u d e n t w o rt h e w h o l e o f w h a t a s t u d e n t l e a r n s , n o ta n d f i g u r e s . I n t h e t h i r d a r e a , f o r m a l ai n a n o n a d v e r s a r i a l e f f o r t t o e v a l u a t e sh e n s i v e a n d a u t h e n t i c m a n n e r .

A l t h o u g h p o r t f o l i o a s s e s s m e n t o fh o l i s t i c p i c t u r e o f s t u d e n t s ' d e v e l o p mm u s t b e a d d r e s s e d t o m a k e p o r t f o l i o s e v a l u a t i o n s . T h e s e i s s u e s a r e s u m m a

g u i d e l i n e s w h i c h a r e b a s e d o n c u r r e np r a c t i c e s i n e d u c a t i o n ( A u , S c h e u , KJ o n g s m a 1 9 8 9 ; P i k u l s k i1 9 8 9 ; S i m m o n s 1 9 9 0V a l e n c i a 1 9 9 0 ; W o l f 1 9 8 9 ) .

1 . P o r t f o l i o s M u s t H a v e a C l e a r P u rT o b e u s e f u l , i n f o r m a t i o n g a t h e r e d

t h e p r i o r i t i e s o f t h e p r o g r a m . I t m u s t p o s e o f a b i l i n g u a l e d u c a t i o n p r o g r a me v a l u a t i o n s t e mg o a l s o f t h e a c t u a l p r o g r a m . T h e f i r s tt i f y a n d p r i o r i t i z e t h e k e y p r o g r a m g o at i o n . I n d e v e l o p i n g g o a l s f o r p o r t f o l i o t o r e v i e w ( a ) t h e s t a t e ' s c u r r e n t l a n g u aa n d b i l i n g u a lh i m g u i d e l i n e s , ( b ) t h e d i s t r i c t ' s o r s t a ta n d l a n g u a g e p r o f i c i e n c y t e s t s , a n d

1 4


18/28


19/28


20/28

T i t l eV I I o f t h e E l e m e n t a r y a n d S e c o n d a r y E d u c a t i o n A c t p r o vf u n d i n g t o s c h o o l d i s t r i c t s f o r i m p l e m e n t i n g b i l i n g u a l e d up r o g r a m s t o h e l p l i m i t e d E n g l i s h p r o f i c i e n t s t u d e n t s l e a r n ET h e r e i s a r e q u i r e m e n t t h a t e a c h p r o g r a m r e c e i v i n g f u n d i n gT i t l e V I I s u b m i t y e a r l y p r o g r a m e v a l u a t i o n r e s u l t s .

T i t l e V I I r e g u l a t i o n s f o c u s o n s u m m a t i v e e v a l u a t i o n , t h e m e n t o f t h e e f f e c t i v e n e s s o f a p r o g r a m . F o r m a t i v e e v a lw h i c h p r o v i d e s f e e d b a c k d u r i n g a p r o g r a m s o t h a t t h e p r o g rb e i m p r o v e d , i s a l s o a c o n c e r n . I n f o r m a l a s s e s s m e n t p r o c e d ub e u s e d f o r b o t h t y p e s o f e v a l u a t i o n .

I n f o r m a l m e a s u r e s a r e i d e a l f o r f o r m a t i v e e v a l u a t i o n , b e ct h e y c a n b e g i v e n f r e q u e n t l y a n d l e n d t h e m s e l v e s t o n e a r l y i ma t e s c o r i n g a n d i n t e r p r e t a t i o n . T o t h e e x t e n t t h a t i n f o r m a l ma r e e m b e d d e d i n t h e c u r r i c u l u m , t h e y p r o v i d e f o r m a t i v e i nt i o n a s t o w h e t h e r t h e e x p e c t e d p r o g r e s s i s b e i n g m a d e . i n f o r m a l m e a s u r e s s h o w t h a t p r o g r e s s h a s b e e n m a d e , t h e y ct h e d e c i s i o n t o m o v e s t u d e n t s f o r w a r d i n t h e c u r r i c u l u m . t h e y s h o w t h a t t h e e x p e c t e d p r o g r e s s h a s n o t b e e n m a d e , t h eg e s t m o d i f i c a t i o n o f t h e c u r r e n t a p p r o a c h o r p e r h a p s m a y c ad i f f e r e n t i n s t r u c t i o n a l a p p r o a c h .

I n f o r m a l m e a s u r e s a l s o m a y b e p a r t i c u l a r l y a p p r o p r i ad i a g n o s t i c a s s e s s m e n t o f i n d i v i d u a l s t u d e n t s . A s m e n t i o n e d f o r m a l s t a n d a r d i z e d t e s t s m a y n o t n e c e s s a r i l y f o c u s o n t ht h a t a s p e c i f i c g r o u p o f l i m i t e d E n g l i s h p r o f i c i e n t s t u d e n t s a rt a u g h t . I n f o r m a l m e a s u r e s s h o u l d b e d r a w n d i r e c t l y f r o m t ht h e c l a s s i s e n g a g e d i n a n d t h u s p r o v i d e e v i d e n c e o f m a s

i n t e n d e d o b j e c t i v e s . T h e t e a c h e r c a n e x a m i n e e a c h s t u d e n tf o r t h a t e v i d e n c e .I n f o r m a l m e a s u r e s t e n d t o b e p r o d u c t i o n o r p e r f o r m a n c e m

u r e s . T h i s m e a n s c h i l d r e n a r e t e s t e d b y a c t u a l l yd o i n g w h a t e v e r i t i st h e t e a c h e r h o p e s t h e y c a n d o . F o r e x a m p l e , l i m i t e d E n g l i sc i e n t c h i l d r e n o f t e n c o n f u s e s h e / h e / i t o r l e a v e o f f t h e s o np e r s o n s i n g u l a r E n g l i s h v e r b s ( e . g . , s h e r u n f o r s h e r u n s i n f o r m a l m e a s u r e s h o u l d d e m o n s t r a t e w h e t h e r t h e c h i l d c ad u c e t h e d i s t i n c t i o n b e t w e e n s h e / h e / i t o r s a y s h e r u n s . I n c om o s t f o r m a l t e s t s a r e i n d i r e c t m e a s u r e s t h a t a s k t h e c h i l d t on i z e a c o r r e c t f o r m ( a m o n g s e v e r a l f o r m s , s o m e o f w h i n c o r r e c t ) . R e c o g n i t i o n a n d p r o d u c t i o n i n v o l v e v e r y d is k i l l s . R e c o g n i t i o n o f a l i n g u i s t i c d i s t i n c t i o n d o e s n o t i m pa b i l i t y t o p r o d u c e t h a t d i s t i n c t i o n . T h u s a f o r m a l m e a s u r eg i v e a n e r r o n e o u s i n d i c a t i o n o f a s t u d e n t ' s c o m p e t e n c e .

2 0

E v a l u a t i o no fE S E AT i t l e V I I - F uP r o g r a m s

1 7


21/28

R e p o r t i n gA s s e s s m e n tD a t a

1 8

I n f o r m a l a s s e s s m e n t s a l s o c a n b e u sr e p o r t s . I r g e n e r a l , t h r e e c o n d i t i o n s aa s s e s s m e n t i n s u m m a t i v e e v a l u a t i o n . Fa l i z e d a s c l e a r l y s t a t e d p e r f o r m a n c e s ti n f o r m a l m e a s u r e s m u s t b e s e l e c t e d a c c u r a t e l y i n o r d e r t o m a t c h t h e o p e rt h e m e a s u r e s m u s t b e s c o r e d i n a w a yo f i n d i v i d u a l s c o r e s i n t o g r o u p d a t a t hA - v i s t h e s t a t e d g o a l s . T h i s m e a n s t hs c o r i n g p r o c e d u r e s , o r b o t h m u s t hs t u d e n t s .

1 i t l e V I I e v a l u a t i o n r e g u l a t i o n s r e q u im a l a s s e s s m e n t d a t a b e s u m m a r i z e d at i o n s a l l o w f o r t h e c o l l e c t i o n o f b o t hd a t a . D e s c r i p t i o n s o f p e d a g o g i c a l mn i q u e s u t i l i z e d i n t h e p r o g r a m c e r t ae i t h e r q u a l i t a t i v e o r q u a n t i t a t i v e d aa c h i e v e m e n t o f p r o j e c t p a r t i c i p a n t s uu r e s e s s e n t i a l l y r e q u i r e s a q u a n t i t a t i v e

I n f o r m a l a s s e s s m e n t o f s t u d e n t a c h ic i e n c y , w h e n u s e d t o s u p p l e m e n t s t ad a t a , p r o b a b l y i s a p p r o a c h e d b e s t f r oQ u a n t i t a t i v e d a t a c o l l e c t e d t o w a r d t hV I I e v a l u a t i o n r e g u l a t i o n s f o r r e p o r tp r o f i c i e n c y d a t a a n d h a s t h e p o t e n t i a l a c r o s s s t u d e n t s . E f f i c i e n c y i s i m p o r t a ne v a l u a t i o n . D a t a c a n b e c o l l e c t e d b o tp r o g r a m p e r s o n n e l a n d f o r t h e e v a l u aO f f i c e o f B i l i n g u a l E d u c a t i o n a n d M( O B E M L A ) . T h u s O B E M L A d e s c rl e c t e d , b u t f o r m a l v e r s u s i n f o r m a l a sp r e s c r i b e d . T h e d a t a r e q u i r e d c a n b e s t u d e n t o u t c o m e s , p r o g r a m i m p l e m ed a r d s . P r o g r a m s t a f f a n d e v a l u a t o r s sF e d e r a l R e g u l a t i o n s f o r s p e c i f i c i n f o r m

S t u d e n t O u t c o m e D a t aI n r e p o r t i n g t h e a c a d e m i c a c h i e v ec i e n c y o u t c o m e s o f p r o j e c t s t u d e n t s ,m e n t s c a n b e c o m b i n e d t o m e e t t h e fe v a l u a t i o n r e g


22/28

I n f o r m a t i o n o n f o r m a l a s s e s s m e n t m a y i n d i c a t e h o w w e l l a r e p e r f o r m i n g i n r e l a t i o n s h i p t o o t h e rs t u d e n t s a c r o s s t h e n a t i o n ,s t a t e , a n d / o r s c h o o l d i s t r i c t a s w e l l a s a t t h e s c h o o l a n d c l al e v e l . I n a d d i t i o n , r e p o r t i n g a c h i e v e m e n t s c o r e s b y s u b s c av o c a b u l a r y , g r a m m a r , c o m p r e h e n s i o n ) r a t h e r t h a n t o t a l s c o rr e a d i n g ) p r o v i d e s a f i n e r b r e a k d o w n a n d u n d e r s t a n d i n g o f ss t r e n g t h s a n d w e a k n e s s e s a n d p i n p o i n t s a r e a s o f i m p r o v e m e

S y n t h e s i z e d i n f o r m a l d a t a c a n b e u s e d t o s u p p o r t f o r mf i n d i n g s o r t o p r o v i d e d o c u m e n t a t i o n o f t h e s t u d e n t s ' p r oi n s t r u c t i o n a l a r e a s n o t c o v e r e d i n a f o r m a l t e s t . I n a d d i t i o n , id a t a c a n p r o v i d e m o r e s p e c i f i c i n f o r m a t i o n a b o u t s t u d e n t pt h r o u g h t h e c u r r i c u l u m a n d c a n p r o v i d e i t c o n t i n u o u s l y t h rt h e y e a r . T h e k e y t o u s i n g i n f o r m a l d a t a i s t h a t t h e i n f o r m a t it a i n s t o p r o g r a m g o a l s a n d r e l a t e d o b j e c t i v e s . I n f o r m a l da n s w e r q u e s t i o n s s u c h a s : W h a t s k i l l s o r c o n c e p t s d i d t h ea c t u a l l y l e a r n d u r i n g t h e a c a d e m i c y e a r ? T o w h a t e x t e n t

d e n t s h a v e t h e o p p o r t u n i t y t o a c q u i r e t h e p a r t i c u l a r s k i l l sc e p t s ? W h a t p r o g r e s s d i d t h e s t u d e n t s m a k e o v e r t h e y e a r ? Ht h e s t u d e n t s ' a t t i t u d e s a f f e c t l e a r n i n g ?

F o r m a l o r i n f o r m a l a p p r o a c h e s c a n b e u s e d t o a d d r e s s rc h a n g e a s l o n g a s t h e i n f o r m a t i o n o n e a c h p a r t i c i p a t i n g s tm a i n t a i n e d . T h e i n f o r m a t i o n a l s o m u s t b e c o l l e c t e d i n a c o na n d a c c u r a t e m a r i n e r .

A n a d d i t i o n a l T i t l e V I I e v a l u a t i o n r e q u i r e m e n t i s t h a t ps t u d e n t o u t c o m e s b e c o m p a r e d t o t h o s e o f a n o n p r o j e c t c o mg r o u p . I n a d d r e s s i n g t h i s r e q u i r e m e n t ,s i m i l a r f o r m a l a n d i n f o r m a l

a s s e s s m e n t p r o c e d u r e s s h o u l d b e u t i l i z e d w h e r ep o s s i b l e . H o w e v e r ,i f a c c e s s t o a n o n p r o j e c t c o m p a r i s o n g r o u p i s l i m i t e d , t h e n it i o n f o r p r o j e c t a n d n o n p r o j e c t g r o u p s s h o u l d b e p r o v i d e do n a c a d e m i c a c h i e v e m e n t , l a n g u a g ep r o f i c i e n c y , a n d , i f a v a i l a b l e ,r a t e s o f c h a n g e i n a t t e n d a n c e , d r o p - o u t ,a n d p o s t s e c o n d a r y e n r o l l -m e n t . T h i s d a t a c o l l e c t i o n p r o v i d e s a v a l i dc o m p a r i s o n o f t h ep r o j e c t s t u d e n t sl e a r n i n g o u t c o m e s a n d a n s w e r s t h e q u e s t i o n , H o w d o p r o j e c t s t u d e n t s c o m p a r e t o s i m i l a r s t u d e n t s n o t r ep r o j e c t s u p p o r t ?

P r o g r a m I m p l e m e n t a t i o nT h e e s s e n t i a l p u r p o s e o f e v a l u a t i n g t h e i m p l e m e n t a t i o n

p r o g r a m i s t o a n s w e r t h e q u e s t i o n , D o e s t h e u n i q u e c o m b i n a t i o n o fa c t i v i t i e s , i n s t r u c t i o n a l p r a c t i c e s , m a t e r i a l s , a n d r o l e o f t h ei nt h e p r o j e c t l e a d t o t h e a c h i e v e m e n t o f i t so b j e c t i v e s T ' U n d e r T i t l e

2 2


23/28

V I I , i n f o r m a t i o n i s r e q u i r e d o n p r o g r ad e s c r i p t i o n o f i n s t r u c t i o n a l a c t i v i t i e s , a n d b a c k g r o u n d o n t h e s t a f f r e s p op r o g r a m .

O n e i n f o r m a l t e c h n i q u e f o r c o l l e c

e x i s t i n g i n f o r m a t i o n s o u r c e s . I n p o r tt i o n c a n b e c o l l e c t e d o n t h e s t u d e n t s ' bp e t e n c i e s a s w e l l a s o n s p e c i f i c a c t i vw h o m a y b e h a n d i c a p p e d o r g i f t e d aa l s o c a n b e u s e d i n c a l c u l a t i n g t h e a mi n s t r u c t i o n a l s e r v i c e s i n t h e p r o j e c t . I nt ; m e , s p e c i f i c e d u c a t i o n a l a c t i v i t i e s , a nb e c o l l e c t e d a n d r e p o r t e d f r o m t e a c h ea c t i v i t y l o g s . T h e e d u c a t i o n a l a n d p r oc a n b e f o u n d i n t h e i r j o b a p p l i c a t i o n ft h i s m e t hp r o d u c e a c c u r a t e i n f o r m a t i o n , a m a j

a p p r o a c h i s t h a t d a t a c o l l e c t e d m a y b eA n o t h e r a p p r o a c h t o u s e i n c o l l e c t i

i s t h r o u g h t h e u s e o f s e l f - r e p o r t s s u c hv i e w s . T h e s e m e t h o d s o f d a t a c o l l e c tF i r s t , i n f o r m a t i o n g a t h e r e d m a y p r o vv e r s i o n s o f h o w t h e p r o g r a m w a s i md a t a i s r e l a t i v e l y w e a k , a l s o i n c l u d e o b s e r v a t i o n s o r e x i s t i n g r e c o r d s , w h eh a n d , t h e s e m e t h o d s a l s o c a n b e u s e do n g o i n g f a s h i o n w h i c h c a n r e s u l t i n m

T e c h n i c a l S t a n d a r d sF o r p r o g r a m s t o h a v e m e a n i n g t h e y

o f r e f e r e n c e . A s t a n d a r d i s a s e t o f bp r i n c i p l e s o r r u l e s f o r d e t e r m i n i n g t h et i o n . T i t l e V I I r e g u l a t i o n s r e q u i r e a d es t a n d a r d s i n t h e a n n u a l e v a l u a t i o n r e pd e s c r i p t i o n o f t h e d a t a . c o l l e c t i o n i n sa d m i n i s t r a t i o n a n d s c o r i n g , a n d a c c ud u r e s a s w e l l a s t h e p r o c e s s f o r s e l e cg r o u p . W h e n u s i n g e i t h e r f o r m a l o ri n f o r m a l a s s e s s m

h o w :1 . t h e n o n p r o j e c t g r o u p w a s s e l e c t e d ;2 . c o n c l u s i o n s a p p l y t o t h e p e r s o n s , ss e r v e d

t h e p r o j e c t ;3 . i n s t r u m e n t s c o n s i s t e n t l y a n d a c c u r at o w a

' a c c o m p l i s h i n g t h e o b j e c t i v e s o f t h e p

2 0


24/28

4 , i n s t r u m e n t s a p p r o p r i a t e l y c o n s i d e r f a c t o r s s u c h a s a g e ,l a n g u a g e , d e g r e e o f l a n g u a g e f l u e n c y a n d b a c k g r o u n d o f t hs o n s b e i n g s e r v c a .

T h e s t a n d a r d s a r e i n t e n d e d t o e n s u r e t h z . t : i n e v a l u a t i o n c os o u n d i n f o r m a t i o n a b o u t t h e f e a t u r e s o f t h e p r o g r a m . T h e sd a r d s r e q u i r e t h a t t h e p r o g r a m i n f o r m a t i o n b e t e c h n i c a l l y a da n d t h a t c o n c l u s i o n s b e l i n k e d l o g i c a l l y t o t h e d a t a .

T h e p e r v a s i v e t h e m e i n d a t a c o l l e c t i o n i s t h a t b i l i n g u a l e d up r o g r a m s s h o u l d s t r i v e t o m a k e t h e i r e v a l u a t i o n s p r a c t i c a l ,a n d a c c u r a t e . B y u s i n g a c o m b i n a t i o n o f b o t h f o r m a l a n d i na s s e s s m e n t s t h e s e r e q u i r e m e n t s c a n b e m e t e f f e c t i v e l y . W e hp r o p o s e d t h a t i n f o r m a l a s s e s s m e n t b e t h e d i n p l a c e o f s t a n dt e s t s ; r a t h e r t h a t t h e y b e u s e d i n c o n j u n c t i o n w i t h s t a n d a r d i z e

W h i l e t h e s e f o r m a l m e a s u r e s p r o v i d e g e n e r a l y e a r - t op r o g r e s s o f s t u d e n t s i n g l o b a l c o n t e n t a r e a s , t h e y c a n n o tp r o v i d e t h ec o n t i n u o u s , o n g o i n g m e a s u r e m e n t o f s t u d e n t g r o w t h n e e d e dm a t i v e e v a l u a t i o n a n d f o r p l a n n i n g i n s t r u c t i o n a l s t r a t e g i e s . It e c h n i q u e s c a n d o s o . T h e c h a l l e n g e s f a c e d i n u s i n g i na s s e s s m e n t i n t h e e v a l u a t i o n o f b i l i n g u a l e d u c a t i o n p r o g r at h e f o l l o w i n g :

F i r s t , c a n i n f o r m a l a s s e s s m e n t b e h e l d u p t o t h e s a m e p s ym e t r i c s t a n d a r d s a p p l i e d t o f o r m a l a s s e s s m e n t ? W i t h t e c hs u c h a s t h o s e s u g g e s t e d a b o v e , r e l i a b l e a n d v a l i d i n f o r m a lm e n t c a n b e d e v e l o p e d .

S e c o n d , c a n f u r t h e r p r o c e d u r e s b e d e v e l o p e d f o r a g g r e gt h e d i v e r s e i n f o r m a t i o n p r o v i d e d b y i n f o r m a l a s s e s s m e nm e a n i n g f u l s e t o f i n d i c e s t h a t a l l o w u s t o s t a t e w h e t h e r o rp r o g r a m s a r e e f f e c t i v e ?

W e b e l i e v e t h e s e c h a l l e n g e s c a n b e m e t w i t h i n b i l i n g u a l et i o n b y u s i n g c u r r e n t u n d e r s t a n d i n g o f i n f o r m a l a s s e s s m ei o u n d a t i o n o n w h i c h t o b u i l d .

1 . T h i s d o c u m e n t h a s b e e n p r o d u c e d b y s t a f f a t t h eE v a l u a t i o nA s s i s t a n c e C e n t e r ( W e s t ) u n d e r c o n t r a c t # T 2 8 8 0 0 3 0 0 2w i t h t h eU . S . D e p a r t m e n t o f E d u c a t i o n ,

2 . F o r t h o s e w i s h i n g t o c o n s u l t t h e s e r e g u l a t i o n s , s e et h e D e p a r t -m e n t o f E d u c a t i o n 3 4 C F R P a r t5 0 0 . 5 0 - 5 0 0 . 5 2 a s p u b l i s h e d i n t h eF e d e r a l R e g i s t e r J u n e 1 9 , 1 9 8 6 a n d O c t o b e r 5 ,1 9 8 8 .

2 4

C o n c l u s i o n

E n d n o t e s


25/28


26/28

S i m m o n s , J . ( 1 9 9 0 ) . P o r t f o l i o s a s l a r g e s c a l e a s s e s s m e n t . L aA r t s , 6 7 , 2 6 2 - 2 6 7 .

S t i g g i n s , R . J . ( 1 9 8 4 ) . E v a l u a t i n g s t u d e n t s b y c l a s s r o o m o bt i o n : W a t c h i n g s t u d e n t s g r o w . W a s h i n g t o n , D C : N a t i o n a l c a t i o n A s s o c i a t i o n .

S t i g g i n s , R . J . , & B r i d g e f o r d , N . J . ( 1 9 8 5 ) . T h e e c o l o g y o fr o o m a s s e s s m e n t . J o u r n a l o f E d u c a t i o n a l M e a s u r e m e n2 7 1 - 2 8 6 .

T u c k e r , J . A . ( 1 9 8 5 ) . C u r r i c u l u m - b a s e d a s s e s s m e n t : A n i n tt i o n . E x c e p t i o r y i l C h i l d r e n , 5 2 , 1 9 9 - 2 0 4 .

V a l e n c i a , S . ( 1 9 9 0 ) . A p o r t f o l i o a p p r o a c h t o c l a s s r o o m ra s s e s s m e n t : T h e w h y s , w h a t s , a n d h o w s . T h e R e a d i n g T e a4 3 , 3 3 8 - 3 4 0 .

W i g g i n s , G . ( 1 9 8 9 ) . A t r u e t e s t : T o w a r d m o r e a u t h e n t i c a n d b l e a s s e s s m e n t . P h i D e l t a K a p p a n , 7 0 , 7 0 3 - 7 1 3 .

W o l f , D . P . ( 1 9 8 9 ) . P o r t f o l i o a s s e s s m e n t : S a m p l i n g s t u d e n tE d u c a t i o n a l L e a d e r s4 6 ( 7 ) , 3 5 - 3 9 .


27/28

T h ea u t h o r s a r e o n t h e s t a f f o f t h e E v a l u a t i o n A s s i s t a n c e CA b o u t( W e s t ) a t t h e U n i v e r s i t y o f N e w M e x i c o . t h eC e c i l i a N a v a r r e t e , S e n i o r R e s e a r c h A s s o c i a t e , r e c e i v e d hA u t h o r si n E d u c a t i o n f r o m S t a n f o r d U n i v e r s i t y .

J u d i t hW i l d e ,M e t h o d o l o g i s t ,r e c e i v e dh e r P h . D .i n t h eP s y c h o l o g i c a l F o u n d a t i o n s o f E d u c a t i o n f r o m t h e U n i vN e w M e x i c o .

C h r i s N e l s o n , S e n i o r R e s f m r c h A s s o c i a t e , r e c e i v e d h e rE d u c a t i o n a l P s y c h o l o g y a n d R e s e a r c h f r o m t h e U n i vK a n s a s .

R o b e r t M a r t i n e z , S e n i o r R e s e a r c h A s s o c i a t e , r e c e i v e d h i sE d u c a t i o n a l R e s e a r c h f r o m t h e U n i v e r s i t y o f N e w M e x i c o .

G a r y H a r g e t t , R e s e a r c h A s s o c i a t e ,i s a d o c t o r a l c a n d i d a t e i nE d u c a t i o n a t t h e U n i v e r s i t y o f W a s h i n g t o n .

f r U . S . G O V E R N M E N T P R I N T I N G O F F I C E : 1 9 9 0

2 7


28/28

Informal Assessment Test Structureunstructure

Documents

Transcript of Informal Assessment Test Structureunstructure