DOCUMENT RESUME

ED 284 207 CS 210 434

AUTHOR Rijlaarsdam, G.TITLE Effecten van Leerlingenrespons op Aspecten van

Stelvaardigheid, SCO Rapport 88 (Effects of StudentPeer Feedback on Some Aspects of (Written)Composition Skills. Foundation Center for ElucationalResearch Report 88).

INSTITUTION Amsterdam Univ. (Netherlands).REPORT NO ISBN-90-6813-105-2PUB DATE 86NOTE 183p.; Doctor in Social Sciences Dissertation,

University of Amsterdam. English summary.PUB TYPE Reports - Research/Technical (143) --

Dissertations/Theses - Doctoral Dissertations (041)LANGUAGE Dutch

EDRS PRICE MF01/PC08 Plus Postage.DESCRIPTORS *Feedback; Foreign Countries; *Peer Evaltation; Peer

Relationship; Secondary Education; Teacher Guidance;*Teacher Student Relationship; Teaching Methods;*Writing Evaluation; *Writing Improvernnt; *WritingInstruction; Writing Processes; Writing Research

IDENTIFIERS Netherlands

ABSTRACTA study examined whether a program of writing

instruction based on peer feedback would improve writing better thaninstruction based on teacher feedback. It was hypothesized (1) thatexperimental peer feedback classes would perform better than controlclasses on certain wr4.ting achievement variables and would displaymore positive attitudes toward writing and evaluation, and (2) thatwriting processes in the experimental classes would differ from thosein the control classes. A writing program based on peer evaluation ofessays was developed and refined. The control groups and theexperimental groups followed exactly the same process, except thatteachers in the control groups provided the feedback. A pretest, anintermediate test, and a posttest were administered; 792 essays, frompupils at eight different Dutch secondary schools on two differentclass levels, were evaluated. Results indicated that there was nodifference between the programs on writing performance andpsychological variables. Findings suggest that perhaps feedbackreceived from peers is of lower quality than thAt received fromteachers, or perhaps feedback is not all that important. Findingsalso suggest that peer feedback and teacher feedback mIght ix inequal competition, and that intensive peer evaluation is a good, butnot a better, alternative to intensive teacher feedback. (Tables ofdata are included, and extensive references are apperseed.) (NRA)

*************************************************k*********************Reproductions supplied by EDRS are the best that can be made

from the original document.***************************************2*******************************

U.S. DEPARTMENT or EDUCATIONcornea or Ed0 Cettonal 1:14600,C0 end 101010veme01

EOMATIONAL RESOURCES INFORMATIONCENTEP (ERIC)

Ifnos document nes Wen toptoduCed s0Coutod from the Dotson ot 0190n1Z0000

00910411010

O SAmOt cneopee neve been made lo unProverePrOducnon questyii Penns et view ot spootons sleled on thus detti.mint 00 nM womanly represent orboarOERI posmon of poky

C\IEFFECTER VAN LEERLINGENRESPONS OP

CX) ASPECTEN VAN STELVAARDIGHEID

LU

G.C.W. Rijlaarsdam

"PERMISSION TO REPRODUCE THISMATERIAL HAS BEEN GRANTED BY

G. Rillaarsdam

TO THE EDUCATIONAL RESOURCESINFORMATION CENTER fERICI."

BEST COPY AVAILABLE

Dezo uitgave werd mogelijk gemaakt door de steun van de StichtingKonnstamm Fonds voor Onderwijsresearch.

CIP-gegevens

Rijlaarsdam, G.C.W.

Effecten van leerlingenrespons op aspecten van stelvaardigheid /G.C.W. Rijlaarsdam; Ivert. summary H.S. Lake). - Amsterdam:Stichting Centrum voor Onderwijsonderzoek van de Universiteit vanAmsterdam. (SCO-rapport; nr. 88)Tevens proefschrift Universiteit van Amsterdam. - Met lit.opg. -Met samenvatting in het Engels.ISBN 90-6813-105-2SISO 499.5 UDC 371.012:82.08Trefw.: stellea; onderwijsresearch.

Atte rechten voorbehouden. Niets uit dere uitgave mag wordenverveelvoudigd, opgeslagen in een geautomatiseerd gegevensbe-stand, of openbaar gemaakt, in enige vorm of op eLige wijze,hetzij electronisch, mechanisch, door fotocopiedn, opnamen, of openige manier, zonder voorafgaande schriftelijke toestemming vande uitgever.

All rights reserved. No part 'of this publication may be re-produced, stored in a retrieval system, or transmitted, in anyform or by any means, electronic, mechanical, photocopying,recording, or otherwise, without the prior written permissionthe publisher.

Prijs f 11,50 excl. porto

T1 bestellen bij % Stichting Kohnstamm Fonds voor Onderwijs-research.Mevrouw W. Sargentini,Grote Bickersstraat 721013 KS Amsterdamtel.: 020-264547

ISBN 90-6813-105-2

Copyright: Stichting Kohnstamm Fonds voor Onderwijsresearch.

Deze onderzoekingen weraen deels gesteund door de StichtingTaalwetenschap, die wordt gesubsidieerd door de NederlandseOrganisatie voor zuiver-wetenschappelijk onderzoek (Z.W.0.).

G.C.W. Rljlaarsdam

Typewerk en verzorging G.Duprd

Vertaling Summary H.S.Lake, Bussum/Amsterdam

or..< 3

EFFECTEN VAN LEERLINGENRESPONS OP ASPECTEN VAN STELVAARDIC-

HEM

ACADEMISCH PROEFSCHRIFT

ter verkrijging van de graad van doctor in de Sociale Weten-

schappen aan de Universiteit van Amsterdam, op gezag van de

Rector Magnificus dr D.W.Bresters, hoogleraar in de Faculteit

der Wiskunde en Natuurwetenschappen, in het openhaar te

verdedigen in de Aula van de Universiteit (Oude Lutherse

Kerk, ingang Singel 411, hoek Spui),

op vrijdag 14 november 1906 om 14.30 uur

door

Gerrit Cornelis Willem Rijlaarsdam

geboren te Alblasserdam

4

Promotoren:

Prof. dr H.WesdorpProf. dr G.J.Mellenbergh

5

INHOUD

VOORWOORD

1. INLEIDING

1.1. Ste1onderwi)3: kritiek en prob1emen1.2. Communicatie-onderwijzs een nieuw probleem

en een oplossing1.3. Opbouw van de studie

pagina

1

1

4

7

2. THEORETISCH KADER 9

2.1. Inleiding 92.2. Aanzet tot een theorie van leerlingenrespons 122.3. Schrijfprocestheorie 172.4. Onderwijskurdige theorie4n 202.5. Conc1usie en hypothesen 23

3. ONDERZOEKSLITERATUUR 25

3.1. Storende invloeden bij collega-beoordelings-processen

25

3.2. Respons geven en krijgen op stelopdrachten 303.3. Effectstudies 343.4. Conclusies 46

4. SAMENSTELLING VAN DE EXPERIMENTELE ONDERWI:S;ROCEDURE 51

4.1. Praktijkinventarisatie 51

4.2. De experimentele onderwijsprocedure: 55eerste versie

4.3. Vijf bruikbaarheidsondzrzoeken 584.4. Definitieve experimentele onderwijsprocedure 67

5. INSTRUMENTATIE EN MEETKWALITEIT VAN DE DATAVER- 73ZAMELING

5.1. Opstelschalen 735.2. Analytische opsteIscoringsvoorschriU.an 78

5.3. Schrijfprocesvariabelen 835.4. Psychologische Variabelen 875.5. Conclusies 90

6. METHODE EN PROCEDURES 91

6.1. D,taverzameling en toetsprocedures 926.2. Proefpersonen, docenten, scholen en formeren 94

van condities6.3. De onderwijsprocedures in de praktijk 976.4. Controles op de uitvoering van de onderwijs- 105

procedures6.5. Conclusies 115

6

pagina

7. RESULTATEN 117

7.1. Multivariate covariantie-analyse 1177.2. Resultaten Schrilfprestatievariabelen 1197.3. Resultaten Psychologische Variabelen 1217.4. Resultaten Schrijfprrscesvariabelen 1237.5. Psychologische Variabelen en Schrijf- 126

prestatiess nadere exploraties7.6. Conclusies 132

B. DISCUSSIE

8.1. De validiteit van (1,:. conclusies8.2. De resultaten verklaards en poging8.3. Belangwekkende nevessresultaten8.4. Consequenties voor de lespraktijk

135

135138145148

SUMMARY 153

LITERATUUR 159

BIJLAGEN

1. Geraadpleegde bronnen, gebruikt bij het ontwerp 179van een theorie over leerlingenrespons (par. 2.2.)

2. Geraadpleegde effectstudies (par. 3.3.) 181

3. Lespraktijken op tien scholen in Nederland met 183leerlingenrespons (par. 4.1.)

7

!. INLEIDING

In deze studie worden twee steldidactieken vergeleken, dieverschillen op 66n hoofdvariabele: de feedbackgever. In de enedidactiek geeft de docent feedback op het opstel, in de anderevervullen leerlingen deze teak. Effecten van dit verschilworden verwacht op verscheidene opstelkwaliteiten, op hetschrijfproces en op aan het schrijven gerelateerde psycholo-gische variabelen. Deze studie werd ingegeven door praktischeen theoretische overwegingen. De behoefte aan een beproefdesteldidactiek, die gelegitimeerd is door de vakdidactiek endie praktische problemen oplost, is duidelijk aanwezig.

In deze inleiding wordt ingegaan op de kritiek die menbuiten en binnen het onderwijs uit op het stelonderwijs en opde problemen waarvoor docenten Nederlands zich gesteld zien.Die problemen lijken vergroot te zijn door de verschuivingbinnen het vak Nederlands naar communicatie-achtig onderwijs.Een gepropageerde en gepraktizeerde oplossing voor sommigeproblemen is het inschakelen van leerlingen als hulp-instruc-teurs in het onderwijsleerproces.

1.1. Stelonderwijs: kritiek en problemen

Het stelvaardigheidsonderwijs is eind 1985 weer hevig indiscussie geweest na het verschijnen van enkele onderzoaksrap-porten. Wesdorp onderzocht via een landelijke peiling dekwaliteit van onder meer de stelvaardigheid van twaalfjarigen,De Glopper deed dat voor vijftienjarigen (Wesdorp en Hoeksma,1985; Wesdorp, 1985; De Glopper, 1985 a,b en c). Hoewel hunbevindingen uitsluitend van beschrijvende aard zijn, hebben demedia de resultaten gretig als slecht nieuws opgepakt. Debuitenwacht zag hear verwachtingen blijkbaar bevestigd. Hadmen niet eerder geklaagd over het peil van het schriftelijktaalgebruik? (Er wort steets meer fout gesgrefen, 1981). Hadde Academische Read niet in 1981 al geconstateerd dat het peilvan de schriftelijke taalvaardigheid van studenten onderaanvaarbare normen lag en tot onderzoek opgeroepen om dat peileens te meten? Stelprodukten zijn nu eenmaal in het oogspringende resultaten van onderwijs. Of men nu wel goed leertspreken, luisteren en lezen, die resultaten van onderwijs zijnveel minder zichtbaar dan geschreven teksten. Daardoor lijkenstelprodukten voor de buitenwacht te dienen als een peilstokvoor een globale, algehele onderwijsevaluatie, nog daargelatenof deze produkten resultaat zijn van een gebrek aan onderwijsof van gebrekkig onderwijs.

Kritiek op het stelonderwijs is niet het alleenvtrtonings-recht van de buitenwacht. airmen het onderwijs en de vakdi-dactiek Nederlands is veel onzekerheid over de te volgenmethode, over de beoordeling en over de functionaliteit ofzingeving. De traditie van stelonderwijs stijlonderwijs (ziebijv. Erftemeyer, 1958) is in de jaren zeventig verlaten voor

8

1

2

een weinig concreet uitgewerkt, maar veel aanhang verwervendvernieuwingsidee van communicatief stelonderwijs. Van stro-mingen of stelvaardigheidsscholen is geen sprake meer. Hetlijkt erop dat er evenveel steldidactieken zijn als docentenNederlands. Damhuis, De Glopper en Wesdorp (1983) rapporterenanguateresultaten over steldidactische aanpakken, verkregenvia 515 seCties Nederlands. Ben poging om via clusteranalysetot typeringen van gepraktiteerde didactieken te komen, liepop niets tat: "Samenvattend kunnen we ten aanzien van degestelde onderzoeksvraag concluderen dat zich in de praktijkvan ilet Nederlandse stelvaardigheidsonderwijs geen duidelijkonderscheidbare dimensies of stromingen lijken voor te doen"(Damhuis et al., 1983, p.224). Ondersteuning voor dine con-clusie levert een geheel andersoortig onderzoek. In opdrachtvan de toenmalige Adviescommissie voor LeerplanontwikkelingMoedertaal, werd een onderzoek verricht waarin een aantal doordocenten, werkzaam in het voortgezet onderwijs, bijgehoudenlogboeken over hun stelonderwijs werd geanalyseerd. Ook in datonderzoek blijkt dat men zeer uiteenlopende opvattingen heeftover wat stelonderwijs is en dat er veel variatie is inaanpakken (Verstegen, 1985).

De logboeken waren onthullend authentiekt in elk logboekkon een gevorderde N.L.0.-student een didactische misseraanwijzen. lets dergelijks blijkt uit een zeer nauwgezetuitgevoerde etnografische studie waarin het stelonderwijs vantwee leerkrachten uit het basisonderwijs sterk uitvergrootonder de loep wordt genomen (Hoogeveen en Verkampen, 1985).Hoewel er tegen dit onderzoek bezwaren te berde kunnen wordengebracht (zie Bonset, 1986 en Van Tuyl, 1986), blijkt zonne-klaar dat zelfs vernieuwingsgezinde docenten gebrekkig stel-onderwijs geven. Afhankelijk van wat men onder onderwijsverstaat, kan men zelfs betwijfelen of er wel van stelonder-wijs sprake is.

Docenten in het voortgezet onderwijs zijn zelf ook niet ergzeker over hun stelonderwijs. In het eerder aangehaaldeonderzoek van Damhuis et al. (1983) werd docenten gevraagd temelden wat hun problemen in het stelonderwijs waren. In hetH.A.V.O. en het V.W.O., de schoolsoorten waarop wij dezestudie richten, noemden docenten het veelvuldigst problemendie pasten in de categoriefn tijdgebrek, beoordelingsproblemenen gebrekkige kwaliteit van stelprodukten, vooral voor watbetreft de inhoud en de stijl. Het zijn problemen die ook inconferenties van vakdocenten besproken worden (Verslag stu-diedag A.C.L.0.-M. H.A.V.0./V.W.O., 1985; Verslag studiedagA.C.L.0.-M. L.B.0./m.A.V.O., 1986). we gaan er kort op in.

Dat er beoordelingsproblemen zijn, is sinds jaar en dagbekend. Het hoogtepunt in de discussie werd bereikt toen def:ommissie Modernisering Moedertaal adviseerde het opstel alsrwamenvorm af te schaffen (C.M.M., 1977). Verhevigde aandichtin de vakIiteratuur voor de storende invloeden waaraan beoor-5elaars bloot staan (De Groot, 1966; Wesdorp, 1981) maaktenetocenten gevoeliger voor de problemen. Onderzoeksinspanningenom betrouwbare procedures te ontwikkelen lijken pas nu (Blok

9

- 3 -

en Hoeksma, 1994) beloond te worden. Telkenmale blijkt weerdat docenten weinig stabiel beoordelen en onderling matigovereenstemmen in hun oordeel. Docenten weten dit van zich-zelf. Wet kan men onder die omstandigheden verwachten van dekwaliteit van de feedback die leerlingen op hun opstel krij-gen?

Tijdgebrek: een docent Nederlands mag zich altijd weerverheugen op voile klaslokalen. Bij een volledige baan geefthij aan tenminste zeven klassen les. Tweehonderd leerlingenbevolken wekelijks het lokaal. Geef dan eens regelmatig eenopstel op! Een gegnquateerde docent in Erftemeyer 11958,p.B0): "De feitelijke toestand is echter hopeloos. Zelf gaf ik31 uren in klassen van 25-32 leerlingen (men heeft mij hierbijniet naar mijn mening gevraagd). Het gevolg is, dat ik mijnteak op een andere manier verlicht: door aanmerkelijk minderwerk te laten maken (en te corrigeren) dan ik strikt noodzake-lijk vind. In mijn eigen jeugd maakten we tweemaal per maandeen opstel. Ik heb daar de beste herinneringen aan, mijn geestis mede hierdoor vroog gerijpt. Ik ontdekte mijn eigen ideedn.lk vind het maken van opstellen, onder welbewuste leiding,zoals boven omschreven, een zegen voor jonge mensen, maar....ik laat mijn leerlingen ten hoogste 2x per jaar een opstelmaken." Het beeld is, als we afgaan op de enquéteresultatenvan Damhuis et al. (1983) nog niet zo somber: er wordengemiddeld volgens zeggen bijna drie lesuren per maand aanstellen besteed in de derde en vierde klassen van het H.A.V.O.en V.0,0. Maar nog steeds is het opdragen van een opstel, eenwerkstuk of een tekst in het kader van de werkvorm GerichtSchrijven geladen met de implicatie van lezen en beoordelen.Het ter oefening opgeven van een opstel, zoals bij wiskundesommen gemaakt worden, is geen gewoonte. Bij wiskunde kanvolstaan worden met een klassikale bespreking van enigeprobleemtypen. Bij Nederlands wordt elk opstel gezien als eenunieke prestatie die het verdient individueel gewogen teworden. Een opstel opgeven betekent een aanslag op de vrijetijd van de docent: een situatie die getuige artikelen metveelzeggende titels als Korrektie keuvel (Levende Talen,1929), Nog eens: correctie-euvel (Houbes, 1930) en Correc-tie-euvel (Schneiders, 1930) niet van vandaag of gisteren is.Bovendien: het vak Nederlands is met de introductie van decommunicatiedoelstelling 20 breed geworden, dat ook daardooral weinig tijd overbliift voor stelonderwijs.

Blijkbaar is de bestede tijd niet voldoende: de stelproduk-ten voldoen niet aan de inhoudelijke en stilistische eisen diedocenten aan de betreffende jaargroep stellen. Stellen zij huneisen te hoog? Wellicht. In elk geval ervaren docenten dat hunonderwijs niet oplevert wat zij graag zouden zien. Het is geenstimulerend werkklimaat als men geen vorderingen ziet. Alsdaarbij nog in ogenschouw genomen wordt dat bijna dén op devijf docenten klaagt over een gebrekkige didactiek, is deconclusie dat er veel onzekerheid is over het stelonderwijsgerechtvaardigd.

1 0

- 4

Dan te bedenken dat men weet dat de correctie en beoorde-ling van opstellen in veel gevallen lood om oud ijzer is. Eenverplicht nummer dat men snel afwerkt: snelle feedback lijktin het algemeen verkieslijk te zijn en docenten zeggen dan ookde opstellen 4 a 7 dagen na het volbrengen van de opdracht teretourneren (Damhuis et al., 1983). Maar leerlingen kijkennaar het cijfer en zijn niet te beroerd het opstel nog voorhet einde van de les richting prullenbak te werpen. Onderzoe-ken waarin verschillende wijzen van docentfeedback met elkaargeconfronteerd werden, toonden aan dat bijvoorbeeld een cijferof tzeer uitvoerig commentaar geen significante verschillenbewerkstelligden (Fellows, 1932, geciteerd bij Pierson, 1967);marginaal commentaar versus uitgebreid commentaar lijkt even-min verschil te maken (Bata, 1972); of de docent elk opatelvan een leerling nakijkt Of af en toe maar eons eentje uit eenverzameling, lijkt niet uit te maken (Wagner, 1975). De docentdie opstellen opgeeft en de tas met te corrigeren opstellen opde bagagedrager bindt, weet dit wel, maar voelt zich t,:chmoreel verplicht elle opstellen zo spoedig en nauwkeurigmogelijk te corrigeren. Gedenk hem.

1.2. Communicatie-onderwijs: een nieuw probleem en een oplos-sing

Toch krijgt de steldidactiek aandacht van vakdidactici engeInstitutionaliseerde leerplanontwikkeling (Stichting voor deLeerplanontwikkeling). De gedachte het examenopstel te ver-vangen, leidde tot een pleidooi voor het gedocumenteerdeopstel. Een commissie werkte dit idee uit (Eigen Zorg, 1971;1972; 1973) en droeg haar werkzaamheden over aan de CommissieModernisering Moedertaalonderwijs. Deze initieerde het leer-planontwikkelingsproject Gericht Schrijven. Daarin werden dedoor Drop (1971) geIntroduceerde begrippen doel- en publiekge-richtheid, naast verifieerbaarheid, als uitgangspunten opge-nomen. Communicatiqprocessen In informatieverwerkingsprocessenwerden de pijlers van het nieuwe curriculum Nederlands. Datveranderde niet toen de S.L.O. de bemoeienis met leerplanont-wikkeling van de C.M.M. overnam.

De vakdidactiek Nederlands stimuleerde de opvatting dat hetvak Nederlands een communicatievak was. De vakdidactiek ont-wikkelde zich in de zeventiger jaren tot een zelfstandige dis-cipline binnen (sommige vakdidactici zouden liever zeggen:buiten) de Neerlandistiek. Handboeken als Zeggenschap (Grif-fioen en Damsma, 1978), Tegenspraak (Griffioen, 1982), TheComplete Mothertongue Curriculum (Ten Brinke, 1976), Moeder-taaldidactiek (Leidse Werkgroep, 1980), Taaldidactiek aan debasis (Nijmeegse WerAgroep, 1978), alle zien de ontwikkelingvan communicatievaardigheid als de wezenlijke doelstelling vanhet vak. Kroon (1985) geeft een historisch overzicht van hetdecennium 1970-1980 voor wat het denken over het vak Neder-lands betreft. Kroon presenteert tevens enguêteresultaten dielaten zien dat veel docenten communicatie-achtig onderwijs wel

11 1

- 5

sympathiek vonden en voorzagen dat de communicatie-tendens zoudoorzetten, maar dit Boort onderwAs nog nauwelijks of nietpraktizeerden.

Voor het stelonderwijs had dit communicatie-onderwijs dank-zij de inspanningen in het S.L.0.-project Gericht Schrijven(De Zanger, 1901) wel vormgekregen. In leerboeken Opbouw(Bult et al., 1979) en Functioneel Nederlands (Biegstraaten etal., 1977), zij bestrijken een groot deel van de markt -,wordt in de derde klas een flink aental lessen besteed aaninformatie verzamelen, bronnengebruik, doelbepalen, publiekbepalen etc. Met die introductie van het communicatieve aspectin leerboeken, kwam sporadisch soma en vanuit verschillendeintenties, de rol van de leerling in een ander daglicht testaan. Groepswerk werd geIntroduceerd, onder meer om de docentminder teksten te laten nakijken (De ranger, 1901). Leerlingenworden expliciet aangemoedigd in sommige leerboeken om elkaarsteksten te lezen. In sommige methoden wordt dit opgedragen ominductief leren te stimuleren: eerst schrijven naar aanleidingvan een opdracht, dan al lezend ontdekken aan welke eisen eengoede tekst moet voldoen (zie bijv. Tussen de Regels, deal 2van Meijerink en Vos, 1970, en Functioneel Nederlands, deel3VH van Biegstraaten et al., 1977; Taal Vandaag van Vos en Vander Lean, docentenhandleiding, 1970). In andere methoden ishet uitgangspunt niet zozeer leertheoretisch, alswel pregma-linguIstisch. In Opbouw, deel 3 HV (Bult et al., 1979) wordtnagestreefd de in de schrijfopdracht vermelde lezers hunreactie op de geschreven tekst te laten formuleren. Meestalvermeldt men als publiek in de schrijfopdracht de medeleer-lingen, klasgenoten, maar het kunnen ook brugklassers zijnvoor wie qeschreven wordt en wier reactio gevraagd wordt. Doelhiervan lijkt communicatieve effectiviteitsbeleving. In Overen Weer (Feteris en Lewis, 1903) wordt bijna elke schrijfop-dracht vergezeld van de toevoeging de tekst van een andereleerling met een analytisch schema te beoordelen: effectivi-teitsbeleving en het ontwikkelen van een gevoel voor een goedetekst lijken hier semen te gaan.

Vlasman, die zelfstandig de enige complete steldidactiekvoor het Nederlandse taalgebied ontwikkelde (De papierenwereld, z.j.) noemt als argumenten om leerlingen in te scha-kelen de taakverlichting voor de docent en de verhoging van deschrijfmotivatie. Daarnaast hanteert hij een leertheoretischargument. Hij verwacht een effect van 'modeling': van goede envlechte teksten kunnen leerlingen leren over hun eigen aanpaken hun eigen produkten.

Vakdidactische handleidingen noemen veelal de mogeli;kheidleerlingen als beoordelaar in te schakelen. Het begon reeds inde nu ten onrechte verquisde Handleiding van Van Dis (Van Dis,z.j., p.57): 'Voorts kan men de leerlingen in elle klassen nuen dan gelegenheid geven om fouten en weiniq sierlijke gedeel-ten in elkaars werk te zoeken, voordat de leraar het workonder ogen neemt. Als aldus gevonden fouten niet 'meetellen'

12

- 6

en de leerlingen elkaars punten omhoog kunnen brengen, zal eenverbeten foutenjacht ontstaan, wat ook nog ten goede zal komenaan de belangstelling van de leerlingen voor de bespreking.mIn meer recente handboeken speelt het communicatieve aspecteen doorslaggevende rol. Ten Brinke (1976) plait voor reagerenin pleats van beoordelen. In Moedertaaldidactiek (1980), werktBonset Ten Brinkes ideeln uitt de leerling krijgt een reactievan een echt publiek, net als in het leven buiten de school.In Taaldidactiek aan de basis (1978) neemt de argumentatie eenandere wending: voor een kind is het moeilijk afstand te nemenvan de eigen tekst en zich te verplaatsen in de rol van delezers daarom is het aan te bevelen dat het de hulp inroeptvan een medeleerling. Het meest uitgewerkt en consequentdoorgevoerd is het inschakelen van leerlingen in Tegenspraak(Griffioen, 1982). Ook in hurt handboek Zeggenschap (Griffioenen Damsma, 1978) was de werkwijze al opgenomen, maar inTegenspraak zijn de achterliggende idee8n consistenter.Griffioen bepleit het instellen van schrijfgroepen, bestaandeuit drie A vier leerlingen, die twee doelen dienen: gehoor tezijn en feedback te geven. Zijn idee is dat schrijven zowerkelijkheidsgetrouw mogelijk moet zijn: er moet een publiekzijn. Hij combineert de pragmalingutstische consequentie(gehoor te zijn) met een leertheoretische: vaardighedenverwerft men door activiteiten te verrichten en op de uitvoe-ring ervan terug te zien. In zijn termen: doen + nadenken overdat doen (Griffioen en Damsma, 1978). Feedback geven biedt degelegenheid te reflecteren over communicatie en daardoor teleren.

Als een in het begin van de zeventiger jaren opgeleide docentNederlards, is schrijver dames ook besmet geraakt met hetcommunicatievirus. Liet de vaksectie aan zijn school eerstliteraire werkstukken schrijven, later ging men ertoe overleerlingen voor het schoolonderzoek een artikel over eenmaatschappelijk onderwerp te laten schrijven. Men vond datzinniger. Leerlingen moesten een betogend stuk schrijven voormedeleerlingen. Die adressering stelde de docenten in de gele-genheid leerlingen te verplichten hun publiek te analyseren.Op een gegeven moment begon men problemen te onderkennen metde beoordeling van de artikelen: zij waren geschreven voorleerlingen en de docenten behoorden niet tot dat publiek. Zijkonden zich niet verplaatsen in de leessituatie van het pu-bliek, zoals Griffioen en Damsma (1978) dat voorschreven. Devolgende step was snel gezet. Als experiment beoordeeldenleerlingen in drie H.A.V.0.-5 klassen in het schooljaar 1978-1979 ieder drie artikelen van medeleerlingen geschreven in hetkader van het schoolonderzoek. De docent beoordeelde ook: zijncijfer telde voor 50% mee. De gang van zaken en enkele psycho-metrische gegevens zijn gerapporteerd in Blok en Rijlaarsdam(1981) en Rijlaarsdam en Blok (1981). Uit aan het eind van datcursusjaar geschreven 'learner reports' bleek dat :eerlingende activiteit leerzaam vonden. Dat bracht de vaksectie ertoe

1 3

- 7

leerlingen niet pas aan het eind van hun schoolcarriare in dege1egenheid te stellen iets te leren: het becommentariaren vanelkaars werk werd een constante in de lessen Nederlands.Gezien de huidige leerboeken, de vakdidactische handleidingenen de enguategegevens van Damhuis et al. (1983) was die sectieniet uniek in de ontwikkelingsgang. Toen bleek dat de overwe-gingen voor deze didactische ingreeo zinnig waren en dewerkwijze zo algemeen geadviseerd werd, rees de onderzoeks-vraag: schrijven leerlingen die elkaars teksten becommenta-riaren beter opstellen dan lesrlingen die feedback van hundocent krijgen?

1.3. Opbouw van de studio

Het onderzoek bestond uit drie onderdelen. Er werd ten eersteeen experimentmel stelonderwijsprogramma voor de derde klasvan het H.A.V.O. en het V.W.O. ontwikkeld, er werden tentweede instrumenten geconstrueerd voor het meten van deafhankelijke variabelen en er werd ten derde een experimentuitgevoerd.

De hoofdstukken 2 (Theoretisch kadsr) en 3 (Onderzoeksli-teratuur) vormen de basis voor die drie onderzoeksactivitei-ten. In hoofdstuk 4 wordt beschreven hoe de experimentelestelonderwijsprocedure ontwikkeld en beproefd is. In hoofdstuk5 wordt de instrunentatie beschreven voor drie groepen varia-belens Schrijfprestatievariabelen, Schrijfprocesvariabelen enPsychologische Variabelen. Hoofdstuk 6 is gewijd aan deuitvoering van hot experiment in 22 klassen. Hoofdstuk 7 bevatde resultaten van het onderzoek. De studie besluit met eenbespreking van de resultaten van het onderzoek (hoofdstuk 8).

Bij dit rapport behoren twee bij1agenrapporten, te verkrij-gen bij de Stichting Centrum voor Onderwijsonderzoek van deUniversiteit van Amsterdam:G.C.W. Rijlaarsdam, Effecten van leerlingenrespons op aspectenvan stelvaardigheid. Bijlagenrapport 1: Het experimentelestelonderwijsprogramma. Leerlingenboek en docentenhandleiding.S.C.O. Amsterdam, 1986.G.C.W. Rijlaarsdam, Effecten van leerlingenrespons op aspectenvan stelvaardigheid. Bijlagenrapport 2: Instrumenten. S.C.O.Amsterdam, 1986.

1 4

g

2. TREORETISCH KADER

2.1. Inleiding

De theorie van de moedertaaldidactiek staat nog in de kinder-schoenen. Ook het theoretisch gehalte van de didactiek van hetstellen is laag. Systematische doordenking van de wijze waaropschrijfvaardigheid zich ontwikkelt, gebonden is aan de cogni-tieve ontwikkelingsfasen van leerlingen en van de wijze waaropdidactische maatregelen invloed kunnen uitoefenen op de stel-vaardigheidsontwikkeling, heeft nog niet erg intensief pleats-gevonden.

Wat geldt voor de didactiek van het stellen in het alge-meen, geldt ook voor 66n specifieke methode: het inschakelenvan leerlingen als lezers en beoordelaars van elkaars teksten,ofwel leerlingenrespons. D6 theorie van leerlingenresponsbestaat niet. Wat wel bestaat is een bonte verzameling prak-tijkopvattingen: idee4n, legitimeringen en ervaringen vanpraktisch handelende docenten. Toch zijn er voor wat leer-lingenrespons betreft theoretische bijdragen: in de publi-katies van Moffett (1968), Elbow (1974) en Bruffee (1980)worden respectievelijk drie theorie4n gepresenteerd overschrijfonderwijs waarin leerlingenrespons een grote rolspeelt. Deze theorie4n zijn evenwel niet empirisch getoetst.

Omstreeks 1970 verschenen in de Verenigde Staten twee pu-blikaties die een zich in de praktijk ontwikkelende didactiekeen theoretische fundering gaven. Ik doel hior op de boekervan Moffett (1968) en Elbow (1974). Een derde publikatie, dievan Bruffee (1980), verscheen later, maar zijn idee4n werdenvanaf 1970 in tijdschriften gepubliceerd (Bruffee, 1975). Dezedrie auteurs pleiten voor het inschakelen van medeleerlingenen -studenten bij het bevorderen van elkaars stelvaardigheids-ontwikkeling, zij het elle drie met andere theoretische accen-ten.

Moffett (1968) onderbouwt zijn pleidooi voor leerlingen-respons vanUit Zijn moedertaalleertheorie, die er kort gezegdop neerkomt dat men spreken en schrijven al doende, met vallenen opstaan leert. Feedback op de spreek- of schrijfhandelingis in zulk trial-and-error leren van eminent belang, wantalleen dan kan de handelende persoon te weten komen dat enwaarom hij viel, en een strategic bedenken en uitproberenwaarmee hij zich staande zou kunnen houden. Moffett (1968)pleit ervoor de feedback te laten geven door degeen die echtin de communicatieve handeling betrokken is: degeen voor wiehet spreken en het schrijven bedoeld is. Het verdient de voor-keur leerlingen voor elkaar te laten schrijven, omdat ze datgraag doen, en dan zijn het dus ook die leerlingen die feed-back moeten geven.

Elbow (1974) onderschrijft de noodzaak van feedback bij hetleren schrijven. Zijn theorie is eerder communicatiepsycho-logisch dan taalleertheoretisch. De centrale gedachte vanElbow is dat de gangbare steldidactiek gebaseerd is op een

15

10

theorie over de kwaliteit van een goede tekst. Slbow ontkentechter het bestaansrecht van zo'n theorie. Generalisaties overfuncties van tekstkenmerken zijn niet mogelijk, omdat succesvan het functionerqn van dxe kenmerken afhankelijk is van deindividuele lezer. Hij acht het van belang dat schrijversleren hoe lezers teVsten lesen en ervaren. Kennis van lezers-reacties functioneect in een volgende schrijftaak als eennatuurlijk feilbaar peillood. Elbows didactiek is dan or*gericht op subjectieve lezersreacties: elke reactie is legi-tiem, omdat niemand kan zeggen of de reactie correct is ofniet. Elke reactie is waardevol, omdat de schrijver inzichtkrijgt in individuele leesprocessen.

Bruffee (1980; 1981) legitimeert zijn keuze voor een stel-didactiek met leerlingenrespons met kennistheoretische idee*n.Objectieve kennis is volgens hem een fictie. Kennis is subjec-tief: leerlingen maken steeds keuzen in het informatie-aanboden verwerken de binnengekomen informatie individueel tot ver-schillende bestanden. Schrijven is een vergelijkbaar proces:een schrijver neemt al schrijvend honderd-en-dén beslissingen.De basis voor die beslissingen wordt gevormd door de aanwezigekennis. Maar, betoogt Bruffee, die kennis is subjectief. Ze-kerheid over de correctheid van beslissingen heeft een schrij-ver dientengevolge nooit. Om nu inzicht te krijgen in de sub-jectiviteit en om de beperktheid van het subjectieve kenniska-der te overstijgen, is samenwerking tussen schrijvers eenprobaat middel. Dit samenwerken kan verschillen van samen overeen onderwerp praten tot kritieken op elkaars teksten schrij-yen; centraal staat het uitwisselen van inhouden om de kijk opde wereld die in teksten wordt uitgedrukt te confronteren metandere perspectieven, te nuanceren en te leren kennen.

Deze drie pleitbezorgers van leerlingenrespOns staan nietalleen. In de Verenigde Staten verschijnen in tijdschriftenvoor leraren praktische uitwerkingen en praktijkverslagenwaaraan meestal ook theoretische overwegingen toegevoegd wor-den. Soms steunen de artikelen expliciet op Moffett (1968),Elbow (1974) of Bruffee (1980), maar vaker nog is er sprakevan een zelfstandig ontwikkelde prakti3k'theorie (zie ookRijlaarsdam en Blok, 1981). De kernvraag van zo'n praktijk-'theorie' is: "Waarom laat je leerlingen X doen?" En het kern-antwoord: "Omdat ik denk dat het goed voor hun Y en Z is.* Zois elke docent een pleitbezorger.

Het zijn theorie4n zonder wetenschappelijke empirischetoetsing, geen waarheden, maar vooral denkbeelden. Al rationa-liserend proberen praktisch handelende docenten hun observe-ties met elkaar in verband te brengen. Steun voor hun theore-tische constructies zullen ze niet vinden bij empirisch ge-toetste didactische theorieft: er zijn geen fundamentele stel-vaardigheidsleertheoriedn die omgezet kunnen worden in didac-tische, praktische toepassingen. Uitgangspunt van didactischhandelen is de praktijk: déze leerlingen en déze school en ditleerboek. Docenten toetsen dag in dag uit hun eigen opvat-

1 6

tingen over hoe het leren van moedertaalvaardigheden verloopt,welke didactische aanpak successen boekt. Pat zij de eigenpraktijksituatie niet kunnen ontstijgen en dat zij opgeslotenblijven in hun eigen denkkader, zodat ze alleen observeren wathun theorie hun ingeeft, hindert hen niet. Misschien kondenDamhuis, De Glopper en Weadorp (1983) daarom zo weinig lijnontdekken in de Nederlandse praktijk van het stelonderwijs.Iedere docent heeft een eigen proeftuin.

Wij koesteren niet de illusie dat onderwijskundig, empi-risch onderzoek leidt tot 'fool-proof' didactieken, die, mitszorgvuldig gevolgd door docenten, tot resultaten zullen lei-den. Daarvoor zijn er teveel variabelen in de onderwijsleer-situatie. Ook onderzoek op heel fundamenteel niveau is op ditmoment voor de onderwijspraktijk minder geschikt, omdat deafstand tussen experiment en onderwijsleersituatie groot is endientengevolge resultaten uit dergelijk onderzoek door prac-tici niet geImplementeerd worden. Wat momenteel wel mogelijkis, theoretisch en praktisch, is onderzoek van zogenaamd mo-lair karakter (Cook en Campbell, 1979, p.32 e.v.) waarin di-dactieken die op hoofdkenmerken verschillen, met elkaer ver-geleken worden. Het molaire karakter van zo'n onderzoek heefttot gevolg dat niet exact bepaald kan worden waardoor hetpositieve effect van een didactiek veroorzaakt wordt. Als tweesteldidactieken met elkaar vergeleken worden, 66n gebaseerd opleerlingenrespons en 66n op docentfeedback, dan is bijvoor-beeld niet te bepalen of het effect op het conto te schrijvenis van de hoeveelheid feedback, de aard van de feedback of hetlezen van elkaars opstellen. Maar dit betekent allerminst datdergelijk onderzoek theoretisch en praktisch niet interessantis. Ten eerste worden vooronderstellingen en goede bedoe-lingen, waarop de didactiek gebaseerd is, en, inherent aanhaar handelingskarakter, gebaseerd zal blijven, getoetsts zijnzij fundament of drijfzand? Empirisch onderzoek is noodzake-lijk omdat de rapportages van docenten geen doorslaggevendbewijs voor het effect van een didactische ingreep zijn: erzal allicht sprake zijn van een neiging tot rechtvaardigingvan de inspanningen (zie Meuffels, 1982, p. 6). Ten tweedebiedt een dergelijk onderzoek de praktijk beproefde en ge-toetste didactieken. Theoretische verfijning, het vaststellenvan de precieze oorzaak die tot het Iewenste leereffect leidt,kan later nog plaatsvinden.

Aan het in deze studie gerapporteerde onderzoek near ef-fecten van leerlingenrespons op aspecten van stelvaardigheid,lagen zekere theoretische inzichten ten grondslag. Via ab-stractie en analyse van praktijkrapportages schetsen we eentheorie van leerlingenrespons: welke kenmerken van die didac-tiek zijn oorzakelijk verbonden met welke effecten? Daartoeanalyseerden we literatuur over het inschakelen van leerlingenin het stelonderwijs. De voor het merendeel via een computer-search verkregen literatuur bestond uit artikelen waarin do-centen van hun praktijk getuigen en die praktijk propageren.Deze literatuur werd geanalyseerd op uitspraken over waarge-

1 7

- 12 -

nomen of vermoede effecten. Tevens werd waar mogelijk aangete-kend aan welke fase van het onderwijsleerproces men een ge-noemd effect toeschreef. Op basis van deze praktijkuitspraken

mengeling van werkelijkheid en retoriek wordt in de vol-gende paragraaf een aanzet tot een theorie van leerlingen-respons ontwikkeld. We gaan daarbij voorbij aan beperkingen enmogelijke nadeIen van leerlingenrespons (vgI. Rijlaarsdam enBlok, 1981). Daarna wordt deze theorie ingepast in het modelvan het schrijfproces van Hayes en Flower (1980, 1983) (par.2.3) en in onderwijskundige theorieën die in verband met peerevaluation geformuleerd zijn (par. 2.4). Dit hoofdstuk wordtbesloten met conclusies en hypothesen.

2.2. Aanzet tot een theorie van leerlingenrespons

Het gehele proces van leerlingenrespons, toegepast in hetstelonderwijs, laat 2it7h grofweg ontleden in vier fasentI. schrijven: 2. Iezen: 3. commentaar geven: 4. commentaarontvangen. Deze vier fasen vormen twee aan twee comolementairekoppels. In de eerste twee fasen, het communicatieve koppelschrijven en lezen, is de communicatieve handtling dominant:van intentioneel Ieren is nauwelijks sprako (zie Rijlaarsdamen Hulshof, 1984, p. 190). In het tweede - instructieve - kop-pel staan twee leerlingen wederom in een communicatieve rela-tie tot elkaar, maar nu in de rollen van onderwijsgever -onderwijsontvanger. Er wordt een instructieve boodschap ver-stuurd: de respons of het commentaar op het opstel.

Op elk moment vervult een leerling tenminste twee rollen iadit onderwijsleerproces. Als hij schrijft, is hij ook publiekvoor de tekst van een ander. Als hij leest, leest hij alslezer, mar ook als leerling: hij leest ook om ervan te leren.Als hij commentaar geeft, is hij ook de geadresseerde voor eenandere leerling. Als hij commentaar ontvangt, is hij voor eenandere leerling commentator. Hieronder worden in figuur 2.1.deze relaties in beeld gebracht.

Figuur 2.1.: Een schema van leerlingenrespons

: Iverltr.1 2 1,er1ing 1

Sehri',v, ; Jpstcl lt set

1.-5-11 0SChrwen ovSW/ lefvu

COMPuniv3ttof

0 0tv.m.en

I *--- ,e I c'JrPente&C Compuntaat

IASCCUCCIalqeen Imtvan4en

C.:JCL/0 cJMI4r4.e.vn

,rstewstve

1 8

LeerlIng 2 vormt met leerling 3 en met leerling 1 een commu-nicatief koppel: hij schrijft zijn opstel voor leerling 3, hijis lezer van het opstel van leerling 1. Met dezelfde leer-lingen vormt hij daarnaast een instructief koppel: hij vervultde rol van docent als hij leerting 1 commentaar geeft en derol van leerling als hij commentaar krijgt van zijn 'docent',leerling 3.

De uitspraken in de geraadplewgde literatuur werden in dezevier fasen van leerlingenrespons gecategoriseerd. Het resul-teat van deze analyse van praktijkuitspraken volgt hieronder.Het vermelden van de vindplaatsen van de uitspraken hebben weachterwege gelaten. Het zou leiden tot reeksen bronvc.mel-dingen achter welhaast elke zin en zou licht de indruk wekkendat het om een zeer gedocumenteerde theorie gaat. Zover is hetniet. Mat volgt is een poging tot abstractie van praktijkuit-spraken en -opvattingen. In bijlage 1 zijn de geraadpleegdebrOnnen vermeld.

Schrijven. De taaksituatie van de schrijver wordt bij leer-lingenrespons dOor drie elementen gekenmerkt: de te schrijventekst zal (1) vooral gelezen worden (en niet beoordeeld) door(2) verscheidene (3) medeleerlingen. De situatie wordt zo eencommunicatieve situatie. Dit in tegenstelling tot de situatiewaarin de docent zal oordelen: leerlingen zullen deze meer alseen evaluatieve onderwijsleersituatie ervaren. Aan elk vandeze drie elementen worden effecten op het stellen toegeschre-ven.

Dat de nadruk op lezen ligt en minder op beoordelen, al isin de leeshandeling een oordeelvorming geimpliceerd, maakt desituatie voor de schrijvers minder bedreigend. Ze merken dater interesse bestaat voor wAt ze schreven en niet alleen voorde prestatie die ze leverden. Het zelfvertrouwen zou daardoortoenemen en leerlingen zouden vaker gaan schrijven, ook voorzichzelf. Het tweede kenmerk van de taaksituatie, de veel-vulaigheid van lezers, zou ertoe leiden dat schrijvers zorg-vuldiger gaan formuleren en redigeren. Het belang dat schrij-vers gaan hechten aan de inhoud van hun boodschap, brengt henertoe aandacht te schenken aan helderheid, expliciete formu-leringen, congruentie tussen wat ze bedoelen te zeggen en watze zeggen. Er vindt dus meer reflectie pleats onder invloedvan het element publiek. De toegenomen inzet voor eon goedeprestatie kan ook veroorzaakt worden doordat meer lezers ken-nis zullen nemen van de tekst en het oordeel over de tekst deschrijver daardoor :neer raakt.

nen dergelijk effect kan ook veroorzaakt worden door depersoon van de lezer. Juist ten overstaan van medeleerlingenwillen leerlingen niet falen. Dat de tekst voor medeleerlingenbedoeld is, maakt het de schrijvers gemakkelijker inhoudelijkiets nieuws mee te delen in hun tekst. Het schrijven zou ge-makkelijker verlopen omdat leerlingen '.0wonere' eisen aan eentekst stellen dan de vak-eisen van de docent. De inhoud zouauthentieker worden.

19

- 14 -

Lezen. Leerlingen krijgen plezier in schrijven, doordat zijgoede teksten lezen en zelf betere teksten gasn schrijven.Verder neemt het vertrouwen toe in eigen kunnen vooz watschrijven betreft. Leerlingen krijgen door het vergelijken vanhun eigen prestatie met die van anderen meer inzicht in huokunnen. Ze worden zich ook seer bewust van het eigene van hunmanier van schrijven. De Wetensehap dat andermans teksZen ookniet volmaakt zijn, kan een steun zijn.

Leerlingen doen allerlei kennis op die zij in andereschrijftaken kunnen gebruiken. Ten eerste breiden leerlingenhun vc,orraad aanpakken, tekstmodellen en hun taalschat uit:stijlen, mogelijkheden om het publiek aan te spreken, voca-bulair etc. Door teksten van hun publiek te lezen, leren zehun publiek kennen. Nu kan men aanvoeren dat het idee van goedvoorbeeld doet goed navolgen al langer in de steldidactiekopgang maakt. Didactici die de didactiek van leerlingenresponsvoorstaan, wijzen echter op een belangrijk motiverend elementin deze didactiek. Leerlingen lezen nu namelijk teksten diegeschreven zijn door medeleerlingen, waarvan een doeltref-fender modelwerking zou uitgaan dan van teksten van gevestigdeschrijvers die zo vaak in (Amerikaanse: lesboeken worden opge-nomen. Het gaat in leerlingenrespons om teksten die het resol-teat zijn van eenzelfde opdracht als de lezende leerlingenzojuist hebben uitgevoerd, zodat de vergelijkingsmogelijkhedenvoor de hand liggen en leerlingen kunnen bepalen welke tekstennu op te vatten zijn als geslaagde proeven. Zeker de goedeteksten motiveren tot kennisverwerving en navolging, omdatleerlingen het een prettig idee vinden dat medeleerlingen instaat zijn tot zulk goed werk. Ten tweede ervaren leerlingende dynamiek van communicatie en kennis. Zo zien zij datschrijftaken op een heel verschillende wijze aangepakt kunnenzijn, met succes. Veel oplossingen van het schrijfprobleemzijn goede oplossingen. Door dit inzicht zouden leerlingenmeer durven te divergeren. Verder beseffen leerlingen dat zijals lezers hun eigen referentiekaders in het geding brengenals zij teksten van medeleerlingen lezen en die teksten becom-mentarifren. Het gevolg zal zijn dat zij in hun schrijversrolzullen beseffen dat lezers hun individuele kennis, waarden ennormen betrekken bij het lezen. Dit inzicht geldt ook de re-latie tussen schrijver en lezer: een tekst is een subjectiefontworpen geheel van betekenissen, iets wat leerlingen veelminder sterk ervaren als het om teksten uit leerboeken gaat.Daardoor zouden leerlingen meer verantwoordelijkheid gaan voe-len voor wat ze schrijven, zeker door teksten in de openbaar-heid te brengen. Het lezen van andermans teksten leidt ertoedat leerlingen hun kennis over thema's uitbreiden en in staatworden gesteld de kijk op de werkelijkheid die zij in huntekst schiepen te corrigeren.

Doordat leerlingen veel teksten van medeleerlingen moetenlezen, wordt hun een flinke hoeveelheid leesoefening geboden.Hierdoor worden ze perceptiever, ook met betrekking tot deeigen tekst. Fouten in andermans teksten worden gemakkelijker

20

- 15 -

onderkend dan in de eigen teketen. Maar de transfer naar toe-passing op eigen teksten kan ?laatsvinden omdat leerlingen inde loop van de lessen de eijen zwaktes hebben leren kennen,waardoor leerlingen meer gemotiveerd zijn om kritisch naar heteigen werk te kijken. Gevolg van de toegenomen leesvaardigheidis eon ihtensiever en zorgvuldiger corrigeren en hersehrijven.

Commehtaar geven. Door het becommentarilren van elkaarsteksten, ontwikkelen leerlingen die vaardigheid. Ze ontwikke-len een metataal, leren te praten en te schrijven over hoe zijeen tekst waarnemen en leren hun oordeel aan anderen mee tedelen. Deze commentaartaak is een heel reale communicatietaaken zou near andere schrijftaken transfereren.

Door het geven van commentaar op elkaars teksten gebruiktde leerling impliciet of expliciet criteria voor een goedetekst. Deze kenn4s van criteria die leerlingen verwerven entoepassen in de responstaak, zal ook gebruikt worden els leer-lingen een schrijftaak uitvoeren. 'tennis van criteria leidtertoe dat leerlingen de respons die zij op de eigen tekstenkrijgen beter begrijpen.

De responstaak stelt leerlingen in staat de eigen tekstenintensiever te beschouwen; zij hebben geleerd eisen te stellenaan de teksten van medeleerlingen en gaan daardoor ook eisenstellen aan de eigen teksten die zij dan ook kritischer enafstandelijker lezen. Ben belangrijke voorwaarde daarvoor ishet afstand kunnen nemen van een tekst: de schrijver moet uitde relatie schrijver-tekst kunnen stappen. Een van de grotewinstpunten van leerlingenrespons is nu juist, dat leerlingenzich los kunnen maken van een tekst en deze vanuit oen meerobjectief standpunt kunnen lezen. Leerlingen gaan dan ook meerrekening houden met te verwachten reacties van lezers. Er ismeer aandacht voor de congruentie tussen wat de schrijverbedoelt en wat er in de tekst staat.

Commentaar ontvangen. De feedbacksituatie bij leerlingen-respons verschilt op drie kenmerken van de traditionele si-tuatie waarin leerlingen feedback van een docent krijgen: hetaantal feedbackgevers, de snelheid van de feedback en de per-soon van de feedbackgever. Het grotere aantal feedbackgeversleidt ertoe, dat leerlingen minder afhankelijk zijn van 66noordeel. Zij moeten zelf uit de diversiteit van feedbackbood-schappen een keuze maken.

Elbow (1974) vindt het van belang dat de schrijvers vanveel lezers reacties krijgen, opdat schrijvers individueleleesprocessen kunnen ervaren of reconstrueren. Moffett (1968)acht het inschakelen van aster feedbackgevers van belang omdathet de kans vergroot dat niet alleen idiosyncratische trivia-lia gerespondeerd worden. De ontvangers ontdoen de feedbackvan de merkwaardigheden van respondenten. Het blijkt schrij-vers dat er een consensus te reconstrueren is uit de feedbackvan de lezers over sommige aspecten die zij als objectief gaan

21

- 16 -

beschouwen. Schrijvers identificeren daarnaast aspecten dieindividuele waardeoordelen vereisen. Vergroting van het aantalcommentaren heeft voor schrijvers het voordeel dat de feedbackonpersoonlijker is, minder toe te schrijven is aan eigenaardiglees- en reageergedrag van 66n lezer. Het wordt de schrijverdaardoor gemakkelijker gemaakt de feedback ter harte te nemen.

De snelheid van feedback is een tweede aspect van de feed-backsituatie bij leerlingenrespons dat tot een positief effectop de schrijfvaardigheid leidt. De kens dat schrijvers tot hetinzicht komen dat schrijven communiceren is, lijkt groter teworden als de tijdspanne tussen schrijven en respons korteris. De overeenkomst met de spreeksituatie wordt starker near-mate de feedback sneller plaatsvindt. Schrijvers wor4en ogen-blikkelijk de ogen geopend voor wat zij nu op papier hebbengezet. Zeker als de lezers luisteraars worden, in de situatiewaarin schriivers hun tekst voorlezen, wordt de feedbacksi-tuatie, luisteraars reageren fysieki -, heel gelijkend opdie van een spreek-luistersituatie.

De persoon vaa de feedbackgever zorgt ervoor dat de feed-back echt is. Moffett (1968) is een voorstander 7an leer-lingenrespons, omdat responses echt behoren te zijn, passendbij de actie. Hij is een tegenstander van de gestandaardi-seerde, professionele reactie. Ook Elbow (1974) plait voorrespons door leerlingen wegens de authenticiteit van derge-lijke feedback. De inhoud van de feedback van leerlingen zouvolgens didactici de volgende kenmerken vertonen: de boodschapis constructiever dan het docentencommentaar; draagt meerbetekenis, omdat de boodschap in leerlingentaal en niet invaktaal is geschreven; is behulpzamer; is gedetailleerderomdat leerlingenlezers meer tijd besteden aan een opstel dandocenten; is uitgebreider; is levendiger, is eerlijker, directop de man af.

Al deze kwaliteiten dragen ertoe bij dat schrijvers meermet de feedback gaan doen, omdat schrijvers meer gelnteres-seerd zijn in de feedback van hun klasgenoten, meer waardehechten aan het leerlingencommentaar, ontvankelijker zijn voorde feedback omdat de feedbacksituatie als informeler wordtervaren en als minder bedreigend, wellicht door het ontbrekenvan een cijfer. Ze willen het commentaar echt proberen tebegrijpen. De positieve houding jegens de feedbackboodschapkan ook verJorzaakt worden door het enthousiasme waarmee deresponstaak ward uitgevoerd. De zorg die schrijvers zelf be-steedden aan de uitvoering van de feedbacktaak toen zij opandermans teksten moesten reageren, kan ertoe bijdragen datzij vertrouwen stellen in de respons die zij zelf krijgen.

voor het herschrijven betekent dit dat leerlingen het her-schrijven niet langer zien als een nodeloze tijdsinvestering,als een strafmaatregel, maar als een uitdaging om tegemoet tekomen aan de commentaren. De eisen die leerlingen stellen zijnhaalbaarder dan de normen van de docent, die te sophisticatedtegenover leerlingenprodukten staat. Te verwachten valt datschrijvers intensief en grondig zullen reviseren in het geval

2 2

- 17 -

van leerlingencommentaar. Het zou kunnen zijn dat vooral min-der goede leerlingen beat hebben bij leerlingenrespons, omdatjuist zij het lerarenoordeel vrezen.

Moffett (1968) acht de egocentrische instelliag van deschrijvers het probleem wear het schrijfonderwijs mee kampt.Juist leerlingenrespons stelt dit probleem aan de orde. Veelaldenken leerlingen dat de lezers precies hetzelfde denken alezijzelf toen ze de tekst schreven en dat lezers alle impli-ciete denkstappen die de schrijvers vanuit hun referentiekaderkunnen maken, ook zullen nemen. Wat leerlingen nu vooral lerendoor de respons op hun opstellen is, dat er voor iemand ge-schraven wordt, dat de handeling ook een indirect objectheeft, een geadresseerde. Zij gaan beseffen dat zij in hunopstel hdn waarneming van de werkelijkheid in een tekst weer-geven en dat zij veelal verzuimen rekening te houden met hetinbedden van de ideeen in een context, het op het spoor zettenvan de lezers opdat zij zullen lezen wat de schrijver bedoelt.Door de interactie over teksten, stellingen en ideedn, zijnleerlingen in de gelegenheid vanuit lezersperspectlef near dewerkelijkheid te kijken. Ze worden zich bewust dat het vangroot belang is zich heel duidelijk voor de geest te halen hoezijzelf de wereld waarnemen, en dat het daarnaast belangrijkis na te gaan hoe lezers de wereld en de ideeen waarnemenzoals ze in de tekst verwoord worden. Helderheid wordt eenbelangrijke communicatie-eis, omdat schrijvers toch willen datlezers lezen wat zijzelf bedoelden te zeggen. De zorg om hel-derheid en grammaticaliteit geen eigenaardige profes-sionele zorg te zijn van de docent, maar een reale zorg vanreale lezers

Deze zorg voor helderheid, explicitering, contextverzorgingom de ruis in de communicatie te verminderen, Wordt nog eensversterkt doordat het schrijvers blijkt, dat er veel manierenzijn waarop verscheidene lezers op 64n en dezelfde tekst rea-geren. Naast de criteria van helderheid en duidelijkheid dieschrijvers afleiden uit de respons, bevat de responsboodschapmeer criteria over een goede tekst. Criteria zijn ook in hetgeding, als leerlingen respons krijgen waarin suggesties ge-dean wc_den of vragen gesteld worden.

2.3. Schrijfprocesthecrie

Hayes en Flower (1980; 1983) ontwikkelden op basis van hardopschrijfprotocollen en in aansluiting op probleemoplossingsmo-dellen een model van het schrijfproces. Het model sluit aanbij wat al intuftief door docenten aan processen werd onder-scheiden: plannen, organiseren, reviseren zijn oude bekenden.Het nieuwe van het procesmodel is echter, dat de organisatievan het stelproces beschreven wordt als een doelgericht, re-cursief probleemoplossingsproces. Na een korte beschrijvingvan het model, gebruikmakend van Hayes en Flower (1980, 1983),Flower en Hayes (1981) en dochardt (1983), worden de effectenvan leerlingenrespons in dit theoretische kader geInterpre-teerd.

23

- 18 -

Het model kent drie componenten (zie figuur 2.2. hieron-der): de taakomgeving, het Lange termijngeheugen en hetschrijfproces. De taakomgeving etaat voor de verzameling vanelle externe stimuli die de uitvoering van het schrijfprocesbeInvloeden: de schrijfopdremht (waarin opgenomen onderwerp,publiek en factoren die de motivatie bevorderen) en de tekstvoor zover die af is, omdat de tekst ook een repeterende in-voer is voor het schrijfproces. In het lenge termijngeheugenbevindt zich elle kennis die de schrijver gebruikt bij hetconcipiaren van tekst als kennis van de wereld (van het onder-werp), kennis van lezers, kennis van tekstschema's.

Piguur 2.2.: Het schrijfprocesmodel van Flower en Hayes

ME Win TeR's ton TERM

MEMNM

Knowtedge of Topic

Knowledge of Audience

Sfswed Wuhan Plena

fang f Pe/woo/MINI

WRITING ASSMNMENT

topic

AudNIKO

Mollsofing Cues

TEKT

PRODUCED

SO FAR

...IMID.,

PLANNING

coz onamuni

GOAL

SETTING

I

TRANSLATING MVIEWING

1/MAMNA1

LEDITIelid

MONITOR

Uit: Gregg en Steinberg (1980)

In het schrijfproces onderscheiden Flower en Hayes driesubprocessen: plannen, formuleren en teruglezen. In het plan-ningsproces roept de schrijver de informatie-elementen op diemogelijk in de tekst gebruikt zullen worden (genereren), groe-peert en selecteert de ideeln (organiseren) en stelt richdoelen (doelbepalen) tijdens het uitvoeren van de teak: deschrijver stuurt het proces (*Hier moet nog een voorbeeld', of'Laat ik eerst maar opschrijven wat me te binnen schiet'). Hetformuleerproces zet de ideeft am in taal. Het terugleesprocesheeft tot doe], de tekst te verbeterent de schrijver leestpassages, zinnen, woorden over, om na te gaan wet moet volgenen om te controleren of wat er staat etrookt met intenties vande schrijver, het effect op de lezer en de eisen die men aanhet taalgebruik stelt. De processen worden gestuurd door eenmonitor, die tevens de uitvoer van de processen controleert.

24

- 19 -

Hoe ziet de taakomgeving eruit als een leerling voor eenpubliek van medeleerlingen schrijft en weet dat die medeleer-lingen de tekst zullen lezen en erop zullen reageren? Volgensde practici ervaren leerlingen de schrijfopdrachtsituatie alseen communicatieve situatie: er is nu in de taakomgeving eenextra externe stimulus: de toekomstige lezer. Daardoor zou hetin de opdracht opgenomen taakelement 'audience een sterkeresignaalfunctie kunnen krijgen. De wetenschap dat medeleer-lingen de tekst zullen gaan lezen werkt volgens de practicials een 'motivating cue'. Omdat de afstand tussen schrijver enlezer klein is, zal een schrijver gemakkelijker aan de slaggaan.

Ale hij begint, zal hij over meer kennis in het lange ter-mijn geheugen kunnen beschikken, dan wanneer hij nog niet ineen proces van leerlingenrespons verwikkeld was geweest. Doorhet lezen van andermans opstellen heeft de schrijver de eigenprestatie met die van anderen kunnen vergelijken. Hij ziet dater veel (goede) uitwerkingen kunnen zijn van Gen opdracht. Erwordt een voorraad modellen van teksten, inleidingen, stijlen,en retorische middelen opgebouwd. Hij weet :neer over wat ermis kan gaan in communicatie via teksten. Rij kent de lezersvia hun opstellen. Door het vervullen van de commentaartaakontwikkelt de schrijver kennis van criteria voor goede teks-ten. Die kennis wordt uitgebreid door de respons die hij op deeigen opstellen kreeg.

De kenmerken van de taakomgeving en de inhoud van het ge-heugen hebben invloed op het verloop van de denk- en schrijf-processen. Zo zullen in het genereerproces :neer criteria wor-den gegenereerd ten behoeve van het redigeerproces. Ret orga-niseerproces zal gebruik kUnnen maken van modellen uit hetgeheugen. Omdat er meer zicht is op het gewenste eindprodukt,kan het gehele schrijfproces doelmatiger en doelgerichterverlopen. Het formuleerproces zal bij leerlingenrespons in hetteken van het criterium duidelijkheid staan. Leerlingen hebbenals lezer en responsontvanger ervaren dat een tekst niet hoeftte zijn wat de schrijver bedoelde en zullen trachten de slaag-kans van de communicatie met de lezer te verhogen. Verwachtwordt dat het formuleerproces onderbroken wordt om formule-ringen af te wegen op duidelijkheid en effect.

Het redigeerproces zal onder invloed van de gegenereerdecriteria zorgvuldig gestuurd worden. De zelfkritische houdinggroeit; het op afstand waarnemen van de tekst wordt geleerd.

Tot wat voor tekstkwaliteiten zou leerlingenrespons leiden?Het is elle steldidactici er uiteindelijk om te doen om hunleerlingen betere teksten te laten produceren. Veel auteursdie leerlingenrespons voorstaan SChrijven dan ook dat de tek-sten die leerlingen schrijven beter worden. Er zijn uitsprakenover de algehele verbetering van teksten. Volgens Hoover (1972)leren vooral minder goede leerlingen betere teksten te schrij-ven en consolideren goede leerlingen hun vaardigheid. Meerspecifieke kenmerken waarop de teksten vooruitgaan, zijn vol-gens de practici uit par. 2.2. de volgende.

25

- 20 -

De inhoud van teksten wordt helderder, concreter, rijker encompleter; minder generaliserend, :seer gedetailleerd en onder-bouwd. De inhoudselementen zijn elle gekoppeld aan een basis-zin. Organisatiefouten worden nauwelijks meer gemaakt. Deopbouw van de hele tekst wordt logischer. Er wordt vaker ge-bruik gemaakt van een basisetruotuur. De stijl wordt indivi-daeler, levendiger en vloeiender. De teksten geven blijk vanpubliekgericht schrijven: er worden meer lezersgerichte zinnenin de teksten opgenomen, meer introducerende zinnen en meerverbindende zinnen. Het aantal fouten dat het begrip van delezer bemoeilijkt neemt af, evenals fouten op het gebied vanconventies (spelling, interpunctie, grammatica en still). Deteksten ogen netter en worden langer.

In diverse onderzoeken is getracht verschillen vast testellen in de schrijfprocessen van goede en slechte schrij-vers. Overzichten over deze onderzoeken (Bochardt 1983, 1984;Humes, 1983; Scardamalia en Bereiter, 1986) presenteren glo-baal eenzelfde beeld van deze verschillen. Goede schrijvershebben meer macht over hun tekst: zij plannen meer, sturen hetprooes, beschouwen de tekst van een afstand en reviseren gron-dig. Slechte schrijvers zijn in de ban van de zich ontwikke-lende tekst en bezien de tekst alleen op het voorkomen vanfouten.

2.4. Onderwijskundige theoriegn

Leerlingen die elkaars teksten becommentari8ren verrichten eeninstructietaak die traditioneel door de docent wordt uitge-voerd. Als leerlingen door een dergelijke onderwijsleersitua-tie betere prestaties leveren, moeten dear onderwijskundigeverklaringen voor zijn. In een overzicht van onderzoeken over'peer teaching' en 'tutoring' in leesonderwijs toont Bloom(l976) aan dat zowel de onderwijsontvangenden als onderwijs-qevenden van de onderwijsleersituatie profiteren. Het leer-effect voor de onderwijsontvangeneen verklaart zij met behulpvan drie leerprincipes, afgelel.: van Dollard en Miller (1950).In een 66n-op-66n-relatie zijn de aanwijzingen (*cues') duide-lijker doordat in de interactie met de leerling de lesgever deinstructie steeds kan verhelderen en aanpassen als blijkt datdat nodig is. De activiteit ('participation') van de leerlingis groot: de mogelijkheid om actief te reageren is veel groterdan in groepsinstructie. De lesgever kan de reacties meteenbeoordelen, zonodig corrigeren of bevestig4n. In in6ividueleinstructie is er meer kens op adequate bemoediging (*rein-forcement'): de onderwijsleersituatie is heel priv6, waardoorde angst van de leerling afneemt. De leerling zal daardoorvrijer deelnemen aan het onderwijs, waardoor de lesgever meerkans heeft feedback te geven. Binnen een korte tijd leert delesgever die reacties van bemoediging te geven, die effectiefblijken voor juist die leerling.

26

- 21 -

Bloom (1976) maakt duidelijk dat niet alleen de onderwijs-ontvangenden maar ook de onderwijsgevenden baat hebben bij'peer taaching' of 'tutoring': de resultaten in het onderwezenvak verbeteren, alsmede de attitude jegens schoolgaan en/ofhet zelfbeeld. Vooral als de pupil van de onderwijsgevendeleerling leerwinst boekt, stijgt het resultaat van de onder-wijsgevende leerling. Bloom brengt, merkwaardigerwijs, hetleren van lesgevers niet in verband mat de drie hiervoor ge-noemde leerprincipes. Zij veronderstelt dat lesgevers de les-stof intensiever bestuderen, vooral datgene waarop zij nogniet voldoende greep hadden. Zij worden daartoe gemotiveerddoordat zij zich moeten bewijzen ten overstaan van een echtpubliek. Terwijl zij zich voorbereiden de lesstof interessantte maken voor hun leerling, bewerken zij die stof voor zich-zelf. De affectieve groei zou bevorderd worden door het dragenvan verantwoording en de voldoening van het succes van hunleerling.

Voor de verklaring van de leerresultaten op het gebied vanstelvaardigheid zijn de drie principes die Bloom noemt,'cues', 'participation' en 'reinforcement', niet adequaat alswe de onderwijssituatie van 'leerling-leerlingonderwijs' ver-gelijken met docent-leerlinginstructie. De docent die eenopstel van een leerling becommentarieert, verkeert ook in een66n-op-66n-situatie en zal de 'reinforcement' kunnen afstemmenop de individuele leerling. Zijn commentaar zal meteen indivi-dueel aangepaste aanwijzingen ('cues') bevatl:en voor een vol-gende schrijftaak. De participatie van een leerling in tradi-tioneel stelonderwijs zal niet minder zijn als er evenveelschrijfprodukten verlangd worden als in de situatie waarin eenleerling zijn opstellen becommentarieert. Echter, in beideonderwijsleersituaties zal niet ?oveel geschreven worden, datlesgevers veelvuldig feedback kumsen geven en kunnen bemoedi-gen. De situatie verschilt sterk van die in leesonderwijs,waarop Bloom haar analyses steunt, waarin de lesgever op veelmeer momenten corrigerend en bemoedigend kan optreden.

Ter verklaring van leereffecten van lesgévers in stelon-derwijs kunnen de drie principes echter wel gehanteerd worden.Door het vervullen van de feedbacktaak ontwikkelen de leer-lingen zelf meer duidelijkheid over de 'cues': 'the stimuliwhich convey to students what they are to do and how they areto do it' (Bloom 1976, p.5). Zij zijn actief in de onderwijs-leersituatie betrokken ('participation'). Het becommentarierenen het leren daardoor kan fungeren als 'reinforcement', zekerals de ontvangende leerling er blijk van geeft het commentaarte waarderen.

Blooms principes gelden dus vooral als een vergelijkingwordt gemaakt tussen groepsinstructie en individuele instruc-tie. Stelonderwijs is in feite al sterk gelndividualiseerdonderwijs, aangezien het accent van de instructie op de be-spreking van het individuele resultaat ligt. Daarom voldoen deprincipes niet om de effecten van leerlingenrespons in stel-vaardigheidsonderwijs te verklaren als het gaat om de effectenvoor de leerling in de rol van leerder. Wel zijn zij geschiktom de leereffecten te verklaren van de leerling in zijn rolvan onderwijsgevende.

27

- 22 -

Ten Cate, Tromp en Cornwall (1984) besteden in bun boekjeover de student als docent ruim aandacht aan mogelijke verkla-ringen voor leereffecten. Zij maken onderscheid tussen 'lerendoor docoren' en 'leren dooA: onderwijs van medeleerlingen', detwee rollen die wij in Figuur 2.1. onderscheidden als compo-nenten van het instructieve koppel.

De roltheorie van Sarbin (1976; Sarbin en Allen, 1968)wordt als motivationele verklaring aangedragen. Sarbin onder-scheidt rollen met een verschillende status (verkregen versustoegeschreven status) waaraan verschillen in beloningsvorm enbetrokkenheid gekoppeld zijn. Een leraar kan zich losmaken vanzijn rol; hij is leraar geworden uit eigen keuze (verkregenstatus). Leerling wordt men automatisch (toegeschreven rol).Len leerling kan zich nauwelijks uit zijn rol losmaken. Debeloning voor een verkregen rol geschiedt in symbolen vanachting (salaris, cijfers), voor de toegeschreven rol zijnuitingen van zorg beloningen. In het onderwijs zijn de relatieen de beloningsvormen echter vooral gebaseerd op eon verworvenstatus voor zowel de docent (terecht) ale de leerling (nietterecbt). Cijfers als beloning zijn niet voldoende: een leer-ling heeft wegens zijn rolstatus ook uLtingen van zorg nodig.Deze uitingen worden minder frequent naarmate de leerkrachtvan pedagoog in vakleerkracht verandert, ofwel naarmate men opeen hoger niveau onderwljs volgt. Als leerlingen echter elkaaronderwijzen zullen zij wel effectieve, bij de toegeschrevenrol passende beloningswijzen hanteren. Len leerling gaat doorde zorg en vriendschap in die relatie harder werken.

Door het vervullen van de rol van docent, ervaren leer-lingen gevoelens en vertonen zij gedragingen die met een der-gelijke rol in overeenstemming zijn: prestige, autoriteit encompetentie. Zeker als de taak met enig succes wordt verricht,geeft de rolvervulling aanleiding tot het opbouwen van eenpositief zelfconcept. Ten Cate, Tromp en Cornwall (1984) halentheorie4n van Bandura (1982) en Weiner (1974) aan om die ont-wikkeling te verklaren.

De verklaringen van Ten Cate et al. ondersteunen Blooms(1976) veronderstellingen die hiervoor beschreven werden: dewijze waarop een leerling een andere leerling bemoedigt, isvan een andere aard dan die waarop de docent een leerlingbemoedigt. Het vervullen van de docentrol schept een poten-title mogelijkheid voor het ontwikkelen van een positief zelf-concept.

Behalve een motivationele verklaring poneren Ten Cate etal. een cognitieve verklaring voor het effect van 'leren vanmedeleerlingen' en 'leren door te doceren': de theorie van hetsemantisch netwerk. Ben leerling die iets bestudeert omdat hijhet anderen moet onderwijzen zal een ander semantisch netwerkopbouwen van de leerstof dan wanneer hij de stof in de ..!ol vanleerling als leertxak opgedragen krijgt. Aan de andere kant:leerlingen die elkaar onderwijzen verschillen qua semantischnetwerk minder van elkaar dan een docent en een leerling. Decongruentie tussen de netwerken maakt dat de communicatie

28

- 23 -

tussen de participanten op eigen niveau plaatsvindt. In feiteis er sprake van een natuurlijke aansluiting bij het kennis-en taalniveau van de leerling. Toegepast op leerlingenresponsin stelonderwijs lijken de roltheorie en de informatieverwer-kingstheorie houdbaar. De onderwijsleersituatie wordt alsveiliger ervaren. De feedbackgevers zijn 'peers', aignificanteanderen, wier commentaren enders gewaardeerd worden dan dievan docenten. Het vervullen van de commentatorrol geeft trotsen respect. Naast die motivationele effecten liert de leerlingenders, omdat hij criteria voor goede teksten zelf most toe-passen en deze niet alleen als respons ontvangt. Het commen-taar dat hij ontvangt sluit beter aan bij zijn semantischenetwerk omdat het lezersrespons is en geen vakman-commentaar.

2.5. Conclusie en hypothesen

Via een analyse van uitspraken van practici over effectenvan leerlingenrespons en oorzaken daarvan, kwamln wij tot eenbeschrijving van relaties tussen kenmerken van de onderwijs-leersituatie en effecten op stelvaardigheid. Daarin werdenvier fasen, - schrijven, lezen, commentaar geven, commentaarontvangen verbonden met glrapporteerde effecten. Deze warenvan motivationele en vakinhoudelijka aard. De gerapporteerdeeffecten lijken te passen in onderwijskundige theoriedn dieals verklaringen voor effecten van leerling-leerlingonderwijsgeponeerd zijn. De effecten lijken eveneens verklaarbaar van-uit de theorie die Hayes en Plower (1980; 1983) ontwikkeldenover het schrijfproces.

Van het inschakelen van leerlingen als lezer en commentatorvan teksten van medeleerlingen mag op goede gronden effectverwacht worden. Effecten verwachten we op drie terreinen:schrijfprestaties, attituden en zelfconcept, schrijfprocessen.

Het inschakelen van leerlingen als commentatoren van el-kaars teksten zou ertoe leiden dat de teksten meer tekenenzouden gaan vertonen van het besef dat schri)ven communicerenis: de teksten worden doel- en publiekgericht. Zij zijn nieteen weerspiegeling van de inhoud zoals die in het geheugen vande schrijver opgeslagen ligt, maar een bewerking daarvan (vgl.Flowers (1979) begrippen 'writer based prose' en 'reader basedprose'). Tengevolge van de communicatieve situatie en de ver-worven modellen zullen opstellen beter worden qua still enOpbOuw.

Verwacht wordt verder dat leerlingen door leerlingenresponsmeer vertrouwen in het eigen kunnen krijgen. Zij krijgen meerplezier in het schrliven. Het laten lezen of laten beoordelenvan het opstel zullen leerlingen minder bedreigend gaan vin-den. De houdinv jevens het beoordeeld worden, wat elke schrif-telijke communicatieve handeling impliceert, wordt positiever.

Schrijfprocessen zullen door leerlingenrespons veranderen.poor het lezen van veel andere opstellen zal de voorraad in-houden, presentatiestructuren en formuleringen toenemen. Leer-

4 29

- 24 -

lingen zullen tijdens het proces meer alternatieven genererenwat inhouden, presentatiestructuren en formulerinqen betreft.Door het uitvoeren van de commentaartaak en de aanwezigheidvan een redel publiek, is te verwachten dat leerlingen meercriteria genereren voor een goede tekst. Deze criteria zullenbij het revisieproces een rol spelen. Er zal meer gereflec-teerd worden op de ontwikkelde tekst vanuit een lezersperspec-tief. Het schrijven van een 'reader based' tekst veroorzaakteen intensiever ordenen van gegenereerde informatie. Het valtte verwachten hun schrilfproces meer sturenomdat zij beter weten waarheen het moet Ieiden: het aalmeergepaard gaan met zelfinstruerende opmerkingen. Hun revisie-proces zal op dat van goede schrijvers gaan lijken: ze=nWhet aandurven om niet alleen op lokaal niveau te verbeteren,maar ook op tekstniveau.

30

- 25 -

3. ONDERZOEKSLITERATUUR

Voordat een experimentele stelcursus ontworpen werd metleerlingenrespons als kenmerk van de feedbackfase, werdonderzoekaliteratuur bestudeerd. Doel daarvan was inzichten teverWerVeh in produktieve en contraproduktieve factors:, in hetonderWijsleerproces waarin leerlingen elkaars werk bectordelen.verder zou onderzoeksliteratuur waarin experimenten uitgevoerdzijn die te vergelijken zijn met het onze ons kunnen wijzen opproblemen in het opzetten en uitvoeren van dergelijke experi-menten. Resultaten van dergelijke onderzoeken konden wellichteen basis verschaffen voor een bijstelling van de keuze vanafhankelijke variabelen.

In paragraaf 3.1. worden een klein aantal studies beschouwdwaarin storende variabelen aangetoond zijn. Dit zijn studieswaarin het algemene proces van 'peer evaluation' thema is.Vervolgens komen in par. 3.2. studies aan bod waarin het pro-ces van leerlingenrespons bij stelonderwijs enigszins uitge-werkt is. In par. 3.3. worden 21 quasi-experimentele effect-studies op vier aspecten geanalyseerd. Conclusies trekken wein par. 3.4.

3.1. Storende invloeden bij collega-beoordelingsprocessen

wie een stelcursus ontwerpt waarin leerlingenrespons eenbelangrijk onderdeel is, doet er goed aan rekening te houdenmet beschikbare kennis over variabelen die het beoordelings-proces verstoren. Over variabelen die eon ongewenste invloeduitoefenen op beoordelaars is veel literatuur. Voor dezealgemene paragraaf hebben we ons echter beperkt tot literatuurover de specifieke beoordelingssituatie waarin de beoordelaareen gelijke is van de beoordeelde: een medeleerling, eenmedestudent, een college. De variabelen die we aantroffen zijncontaminatie- en halo-effectens beoordelaars gebruiken -bewust of onbewust - de beoordeling voor andere doeleinden danbedoeld is, respectievelijk laten hun oordelen beinvloedendoor niet relevant. kenmerken van het te beoordelen produkt.(De Groot, 1972). De variabelen die hierna aan de orde komenzijn vriendschapsrelaties, sexe en een variabele die omschre-ven kan worden als 'image-building's als een beoordelaar zichop zijn beurt beoordeeld weet, dan verstoort dat zijn beoor-deling. Deze drie storingsbronnen gelden niet alleen de be-oordelaars, zij blijken ook het accepteren van de feedback-boodschap te betnvlosden. Sevindingen van een aantal studieszullen hierna in deze volgorde besproken worden. Vervolgenswordt ingegaan op mogelijke effecten van twee kenmerken van desituatie waarin collega's oordelen van collega's krijgen: deopenbaarheid en de ambigutteit van de oordelen. De resultatenvan deze studies zullen leiden tot overwegingen bij de con-structie van het expsrimentele onderwijsprogramma. Die volgenaan het eind van dit hoofdstuk.

kt

31

- 26 -

Leerlingen in een klas zijn via allerlei affectieve rela-ties met elkaar verbonden. Leerlingen kennen elkaar goaddoordat er veel interactie is binnen en buiten schooltijd. Zijkennen elkaar vaak al langer dan 66n schooljaar. Te verwachtenis dat relaties tussen learlingsn lkaars beoordelingen beln-vloeden. Schrader en westphal (i976) verrichtten onderzoekhiernaar. In hun onderzoek bleak dat leerlingen vriendjes eenhoger cijfer gaven als zij medeleerlingen moesten beoordelenin practice over verkoopgesprekken. Dit effect nam iets af elsin pleats van een algemene indruk een cijfer gegeven moestwarden op basis van tevoren vastgestelde criteria: het gemid-delde cijfer lag dan iets lager en de scores vertoonden eengrotere spreiding.

Cederblom en Lounsbury (1980) onderzochten welke weerstan-den bij beoordeelden samenhingen met de mate waarin zij dezecollega-beoordeling accepteerden. Vriendschapsrelaties en(on)bruikbaarheid van de feedback bleken de sterkst ervarenweerstanden. Volgens de respondenten beinvloedden vriend-schapsrelaties de nauwkeurigheid van beoordelingen sterk. Deonderzoekers bevelen aan criteria te specificeren waaropfeedback gegeven moet worden; dit zal de feedbackwaarde voorde beoordeelden verhogen en de waargenomen verstoringen doorvriendschapsrelaties doen afnemen (vgl. Schrader en Westphal,1976). Een tweede aanbeveling betreft het diagnostisch dan welsummatief gebruik van collega-beoordeling. Volgens Cederblomen Lounsbury zal de feedbackwaarde toenemen ale collega-beoor-deling gebruikt wordt als 'tussenstand': de beoordeeldenmoeten in de gelegenheid gesteld'worden jets met de feedbackte doen en dear eventueel voor beloond worden.

Uit feedbackliteratuur over docenten-leerlingen interactie,blijkt dat met sexe van docenten en leerlingen verschillensamenhangen in de hoeveelheid en de aard van de feedback diedocenten geven (Dweck et al.,1978). Dit verschijnsel blijktzich ook voor te doen als leerlingen elkaar beoordelen. Soaresen Soares (1980) stelden in hun onderzoek vast dat jongens 8nmeisjes aan jongens hogere scores toekenden dan aan meisjes.Book en wynkoop Simmons (1980) onderzochten de aard van defeedback in zulke situaties. Zij analyseerden daartoe hetcommentaar dat leerlingen elkaar gaven op hun spreekbeurten.Het patroon van commentaar dat meisjes geven en krijgen was:op presentatie gerichte, negatieve, persoonlijke en atomis-tische feedback. Jongens gaven daarentegen juist op inhoudgerichte, positieve, onpersoonlijke, holistische feedback. Defeedback die zij krijgen komt hiermee overeent alleen is dezeatomistisch i.p.v. holistisch. Book en Wynkoop Simmons (1980)troffen daarnaast nog een interactie aan: meisjes krijgen vansexegenoten minder positief commentaar dan zij van jongenskrijgen.

Het onderzoek van Dweck et al. (1978) gaat in op de effec-ten van de feedback bij jongens en meisjes: zij blijkenverschillend te reageren op de persoon van de feedbackgever.De onderzoekers gingen na waaraan jongens en meisjes hun falen

32

- 27 -

toeschrijven. Ale de feedback door de docent gegeven wordt.zijn meisjas geneigd hun falen toe te schrijven aan een gebrekaan vaardigheid. Hun verwachtingen om re zullen slagen in eenvolgende teak zijn dan niet hooggespannen, omdat een stabieletrek, - een gebrek aan vaardigheid niet makkelijk reveranderen is. Is de docent on vrouw dan treedt dir ffectnog sterker op. Ale de feedback door leerlingen gegeVen wordt .dan zijn het de jongens bij wie dit attributieproces zichvoordoet. Dit zou kunnen berekenen dat docenrfeedback voorfalende meisjes en leerlingenfeedback voor falende jongensfunest is: de moed ontbreekt hun om zich te motiveren voor eenvolgende teak. Ze aanvaarden hun talon op dit soort taken alshun noodlot.

Of dit proces van attribueren zich ook voordoet els leer-lingen zoals in eon steldidactiek van leerlingenrespons, inde gelegenheid zijn hun prestatie te verbereren door hun tekstte herschrijven, is niet zeker. Door die gelegenheid tescheppen zouden leerlingen er wellicht neer toe neigen hetresultaat van de aerate versie toe te scbrijven aan inzet, eenwel veranderbare factor. Ben dergelijk proces kan wel aanlei-ding zijn om de effecren van zo'n steldidactiek nier alleenvoor jongens en meisjes apart re onderzoeken, maar ook binnendie twee groepen re differentiften near beginbekwaambeid.

Beoordelaars blijken gevoelig voor degenen die hun beoor-delingen waarnemen. Amabile en Glazenbrook (1982) verrichttentwee experimenten om hat effect te ondtrzoeken der zij om-schrijven als de tendens anderen te deklasseren uit oogpunrvan zelfhandhaving, zelfs al is er geen sprake van een nega-rieve relarie tussen de berrokkenen. Het bleek dat leerlingenelkaar negarievere beoordelingen gaven dan nodig was in tweesiruariess als zij dachten dat hun oordelen door een beoorde-laar met een hoge status (een professor bijvoorbeeld) werdenwaargenomen of els zij binnen een groep leerlingen in hetonzekere verkeerden over hun positie binnen die groep. Via debeoordelingen moesten zij bewijzen dat zij berer waren dan deandere leerlingen.

Bradley (1981) onderzocht wat artikelenschrijvers van hetcommentaar vonden dat ze kregen van medewerkers aan rijd-schriften. Een opvallend resultaat is dat beoordeelden hierveel hinder zeiden te ondervinden van het 'image-buildine-effect der Amabile en Glazenbrook (1982) constateerden:schrijvers hadden sterk het idee dat oeoordelaars van menus-cripten zochten near tegenwerpingen om de redacteur te tonendat ze good hun best hadden gedaan. Dit effect beinvloedr hetaccepteren van de feedback in negatieve zin. De respondentenwaren ook ontevreden over de persoonlijke voorkeuren vanbeoordelaars, de objectiviteit en de competenrie: vaak was eenbeoordelaar niet goed thuis op het terrein der het arrikelbestreek. Dime mankementen aan het beoordelingssysreem klemdenre meer, omdat men verplicht werd te reviseren op voorschrif-ran van de redacreur die gebruik maakte van de beoordelingen.

- 28 -

Ben verschil tussen het beoordelen door een docent en doorleerlingen, is de mate van openbaarheid: als leerlingenbeoordelen dan nemen zij kennis van een aantal produkten vanmedeleerlingen. Er zijn :neer mensen die weet hebben van deprestatie van een leerling. Welke effecten heeft een derge-lijke beoordelingssitUatie op 40 beoordeelde leerling? Er zijnvier onderzoeken die iftqaaft op deze effecten. Uit de studiesvan House (1980) en Salili et al. (1976) blijkt dat de motiva-tie van beoordeelden aangemoedigd wordt. White (1972) toontaan dat leerlingen in die situatie minder geneigd Zijn zich-zelf verantwoordelijk te stellen voor het resultaat. Ptonderzoeksresultaten van Silver en Schlenker (1981) wijzer uitdat leerlingen zich uterker zullen conformeren aan de oordelenvan medeleerlingen als die ook gekend worden door anderen,zoals de onderzoeker of de docent. Doze vier Onderzoekenzullen hieronder kort behandeld worden.

In een experiment van House (1980) bleken leerlingen in desituie waarin andere Leerlingen kennis hadden van hun pres-tatie, falen niet zo vaak toe schrijvsn aan een gebrek aanvaardigheid als aan een gebrek aan inzet. Is er sprake vanslagen in een openbare beoordelingssituatie, dan schrijvenbeoordeelde leerlingen dat toe aan hun vaardigheid. In hetkader van Weiners motivatietheorie (1972) zijn beide processenals positief te waarderen. Leerlingen die een goed resultaattoeschrijven aar hun vaardigheid, zullen mat vertrouwen eennieuwe taak aanpakken, omdat vaardigheid een stabiele factoris die min of meer want staat voor nieuw succes. Zij be-ginnen met een positieve 'Affective Entry' (Bloom, 1976).Leerlingen die faalden, pakken een volgende teak met neerinzet aan. Openbaarheid van de beoordelingssituatie zoals bijleerlingenrespons zou dus positief op de motivatie kunnenwerken.

De resultaten van het onderzoek van Salili et al. (1976)ondersteunen deze veronderstelling. Zij lieten leerlingentaken uitvoeren in drie verschillende beoordelingscondities.Deze verschilden in de persoon die de kwaliteit van de pres-tatie te weten zou komen: niemand enders dan de leerling zelf$de medeleerlingen of de docent. Deze drie condities haddengeen effect op de prestatie, wel echter op wat de onderzoekers'Continuing Motivation' noemen. De wens om door te gaan metdergelijke taken was in de conditie waarin de docent hetresultaat van de prestatie te horen zou krijgen het zwakst;tussen beide andere condities werd geen verschil in motivatiegeconstateerd: leerlingen waren in beide condities intrinsiekgemotiveerd.

White (1972) onderzocht drie soortgalijke condities op demate waarin leerlingen zichzelf verantwoordelijk stellen voorhet resultaat van hun prestatie. Het gaat hier dus ook om watHouse (1980) interne attribuering noemde: vaardigheid eninzet. Het bleek dat leerlingen die hun werkstukken zelfbeoordeelden het meest zichzelf verantwoordelijk st.21den voorde kwaliteit van het produkt. Leerlingen, wier werkstukkendoor 14 medeleerlingen in het openbaar beoordeeld werden,

- 29 -

vertoonden die zelfverantwoordelijkheid het minst. White wijthet falen van het beoordelen door medeleerlingen op dit punto.a. man de grote groep beoordelaarss individuele leerlingenhadden te weinig kens om invloed uit te oefenen op de normenwaarmee het werk word beoordeeld. Als beoordelaar was zijnstem slechts een van de veertien en als zijn werk beoordeeldwerd, stond hij tegenover een overmacht. Leerlingen moestenzich due conformeren aan de groep, waardoor er weinig gele-genheid was een eigea standaard te ontwikkelen waaraan leer-linen de eigen werkatukken konden beoordelen. De normen komente zeer van buitenat, zijn te zeer extern, zodat leerlingenztchzelf niet verantwoordelijk stellen voor hun resultaten.Leerlingen zijn niet in de gelegenheid een interne 'locus ofcontrol' te ontwikkelen.

De onderxoeksresultaten van Silver en Schlenker (1981)sluiten in zekere zin aan op het bovenstaande. Deze onder-zoekers gingen onder meer na wat het effect is van het al danniet openbaar zijn van beoordelingen door medeleerlingen.Daartoe verstrekten zij leeglingen gefingeorde, neqatievetestresultaten en lieten zij leerlingen voor zichzelf of inhet bijzijn van anderen een zelfbeoordeling maken. Als leer-lingen nu voor zichzelf reageerden op de testresultaten werdenhun zelfbeoordelingen niet beinvloed door de testresultaten.Rengeerden zij daarentegen in het bijzijn van anderen, dantrokken de zelfbeoordelingen wal sterk naar de onjuistetestresultaten. Due els testresultaten openbaar zijn, voelenleerlingen zich verplicht zich te conformeren aan die test-resultaten, hoe onterecht dat ook is. Er zal in zo'n situatiegeen sprake kunnen zijn van het opbouwen van een zelfverant-woordelijkbeidsgevoel, omdat de leerlingen onder druk vanexterne omstandigheden reageren.

In de literatuur over het beoordelen van produktievetaalvaardigheden (zie voor een overzicht Wesdorp, 1981) blijktsteeds weer dat oordelen van docenten en leerlingen onbetrouw-bear zijn, dat wil zeggen dat beoordelaars het onderling nieterg eens zijn over 66n en dezelfde prestatie. Bij leerlingen-respons mag men dan ook verwachten dat leerlingen het onder-ling niet al te zeer eens zullen zijn over de kwaliteiten vaneen tekst die een medeleerling schreef. Sommige didactici, metElbow (1974) als voorman, vinden die verscheidenheid aanoordelen juist een groot goed van leerlingenresponss schrij-vers ervaren dan wat er bij verschillende lezers gebeurt aleze 66n en dezelfde tekst lezen en kunnen daar bij het her-schrijven hun voordeel meo doen. De vraag is echter wel, watleerlingen nu precies doen met ambigue oordelen. Sherwood(1967) ging na wat het effect is van ambigue oordelen op debeoordeelde. Hij veronderstelde dat leerlingen bij eenslui-dende oordelen van medeleerlingen, deze oordelen zoudenvolgens de correlatie tussen eensluidende beoordelingen doorandere leerlingen en de zelfbeoordeling die daarop volgde zouhoog zijn. Sherwood trof inderdaad een hoge correlatie aantussen oordelen van anderen met weinig variantie en zelfbe-

35

- 30-

oordelingen. Het eigen oordeel lag ook dicht bij het gemiddel-de van oordelen die anderen gaven. Als de oordalen van anderenechter veel variantie vertoonden, beoordeelden leerlingenzichzelf steevast hoger dan het gemiddelde van de andere oor-delen. De beoordeelde leerlingen bleken in hun oordeel hetmeest beinvloed door het °ordal van vrienden.

/n deze paragraaf zijn onkel* resultaten van onderzoeken overcollega-beoordeling bijeengebracht, die op vijf factorenwijzen die invloed uitoefenen op het geven en het ontvangenvan collega-beoordelingen: affectieve relaties tussen debetrokkenen, sexe van betrokkenen, de wetenschap van beoorde-liters dat hun beoordelingen beoordeeld worden, het meeropenbare karakter van de beoordeling en ambigulteit in oor-delen. /n par. 3.4., Conclusies, komen we op de gevolgen vandeze factoren voor de constructie van de experimentele leer-gang terug.

3.2. Respons geven en krijgen op stelopdrachten

In de vorige paragraaf zijn enkele algemene processen bijcollega-beoordeling aan de orde geweest. /n deze paragraafkomen studies aan bod, waarin het becommentarifren en hetcommentaar verwerken door leerlingen op elkaars stelproduktenobject van onderzoek was. Eerst stellen we de commentaarvaar-digheid aan de orde, daarna bespreken we enkele onderzoekenwaarin het accepteren en verwerken van commentaar centraalstaat.

Er lijkt een zeker patroon in de ontwikkeling van coalmen-taervaardigheid vastgesteld te kunnen worden. Globaal verlooptdit van een natuurlijke lezersreactie via oppervlaktekenmerkenvan de tekst near de inhoudelijke lijn en de inhoudelijkeonderbouwing. De kwaliteit van de commentaren neemt toenaarmate leerlingen de teak vaker vervullen. /n de commentarenzijn onderwijseffecten aan te wijzen, maar zij blijken ooknatuurlijke lezersreacties te bevatten. Roe nabijer hetonderwerp van de tekst is, hoe meer leerlingen geneigd zijnandermans teksten 'invullend* te lezen en voorbij te gaan aanfeilen.

Er zijn een pear onderzoeken waarin getracht is de ontwik-keling van commentaarvaardigheid vast te stellen. Rilgers(1984) vergeleek de commentaren van leerlingen van verschil-lende leeftijden op drie hun voorgelegde opstellen en op driezelfgeschreven opstellen. Hij stelde vast dat oordelen over deeigen opstellen gedeeltelijk beinvloed waren door oordelen diemedeleerlingen al over dat werk hadden geveld. Rij schetst eenontwikkelingsverloop in vijf fasen, die kortweg als volgtgetypeerd kunnen worden: identificeren met inhouden, beoor-delen van oppervlaktekenmerken, beoordelen van de inhoud,beoordelen van de vaardigheid van de schrijver, beoordelen vande effectiviteit van de tekst. Een dergelijk natuurlijk ver-

3 6

- 31 -

loop dient volgens Hilgers (1984) via onderwijs bespoedigd teworden, omdat beoordelen het centrum van het schrijfprOces zOuzijn. Zo'n patroon lijkt zich ook voor te doen tijdens eenstelcursus waarin leerlingenrespons wordt gebruikt (Ziv, 1983;Rubin, 1983). Via voornamelijk positieve reacties om een basiste scheppen voor groepsvorming komen inhoud en vorm steedsfrequenter voor in commentaren. Al doende worden commentarensteeds duidelijker. Naarmate een cursus vordert worden meersuggesties Voor verbeteringen gedaan (Ziv, 1983). Rubin (1983)demonstreert dat de reacties gaandeweg een andere opvattingover teksten tonen: eerst wordt gereageerd alsof een tekst eenverzameling woorden is, later meer als een verzameling gedach-ten. Zij ondersteunt Hilgers' (1984) bewering dat het becom-mentarinren een onderwijseffect is, door te laten zien dat decommentaren steeds meer criteria uit de stelcursus gaanbevatten. Opmerkelijk is, dat een terugval near een vorigniveau te zien is als een nieuwe tekstsoort in de cursus wordtgeEntroduceerd. Rubin toont in een ander onderzoek (Rubin,1983) weer de ontwikkeling van commentaarinhouden aan: vanoppervlaktekenmerken, via globale inhoudelijke lijn naargedetailleerde inhoudelijke opmerkingen. Danis (1982) onder-zocht eveneens commentaren en concludeert dat het merendeelvan de opmerkingen oppervlaktekenmerken betrof. Daarna volgdewat Danis noemde de categorie inhoud, waarin veel opmerkingenvielen over verheldering van onduidelijke woorden en zinnen enover de uitwerking van ideedn. Weinig opmerkingen werdengemaakt over de opbouw en de inperking van het onderwerp.

Newkirk 11984a. 1984b) verrichtte heel ander onderzoek. Hi;vroeg leerlingen en docenten opstellen te beoordelen envergeleek hun argumentaties. In beide onderzoeken blijkt datleerlingen zich aangetrokken voelen tot opstellen waarin eentheme werd behandeld waarmee zij zich sterk identificeerden.Dat had tot gevolg dat zij 'invullend' lazen, waardoor zij dedoor docenten bekritieeerde zwakke structuur niet opmerkten.Docenten willen juist dat de tekst het werk doet. Anderzijdsbleken leerlingen minder flexibel de geleerde modellen toe tepassen: men had geleerd een probleem van twee kanten tebenaderen; een opstel waarin de schrijver zich vastbeet in dénstandpunt werd door leerlingen daarom qua argumentatieafgewezen, terwijl docenten dat juist wel waardeerden. Leer-lingen leken gecharmeerd van een meer academisch register enhet gebruik van stijlfiguren, terwijl docenten negatiefoordeelden over de wijze waarop de stijlfiguren gebruiktwaren. Wet we hier zien is dat leerlingen in twee rollenverkeren: lezer en leerlingcommentator. Zodra een tekstinhoudelijk boeit, overheerst de rol van de lezer. Is dat niethet geval, dan tanteert de leerling de schoolse, geleerdenormen voor een goede tekst. Len docent vervult alleen detweede rol. Hij neemt gedifferentieerder waar door de groterekennis (bijv. de stijlfiguren). Zijn kennis stelt hem ook instaat een van het patroon afwijkende tekst te waarderen aLseen experiment. De verschillen tussen docenten en leerlingenzijn zelfs zo groot, dat docenten niet correct kunnen voor-

37

- 32 -

spellen wat het oordeel van leerlingen zal zijn (Newkirk,1984b). Ziv (1903) ondervond dit aan den lijve. Opstellen diezij beoordeelde nadat deze herschreven waren, bekritiseerdezij soros op punten waarop zij juist herschreven waren op basisvan de opmurkingen van medeleerlingen. Bovendien, de opstellenwaren niet voor haar geschreven# zodat zij 'gaten' in deteksten aantrof, die voor de bedoelde lezers helemaal geengaten waren, doordat zij veel meer een gemeenschappelijkreferentiekader deelden met de schrijver.

rubze onderzoeken laten ons het probleem van de validiteitvan het oordeel zien. Het inschakelen van leerlingen alscommentatoren was een poging om het gebrek aan validiteit vandocentoordelen op te vangen als het om communicatieve tekstenvoor medeleerlingen ging. Die medeleerlingen hanteren echter,als zij niet verleid worden tot thematische identificatie,zelf ook schoolse normen. Worden zij wel geboeid door deinhoud van de tekst, dan geven ze als hulpinstructeur dieschrijver geen adequate feedback over meer schoolse kenmerkenvan het opstel. In paragraaf 3.4., Conclusies, komen we hieropterug.

Niet elle commentaar dat leerlingen krijgen wordt verwerkt ineen herschreven tekst. Jones (1977) concludeert dat hetafwijzen van commentaar in de helft van de gevallen terechtwas. Er is dus ook commentaar dat, indien geaccepteerd enverwerkt, tot verbeteringen zou leiden. Welke processen spelenbij dit afwegingsproces een rol? Wellicht is een gemis aanrevisievaardigheid een factor in dit proces. Rubin (1983)ontdekte dat leerlingen door leerlingenrespons wel een kri-tische leesvaardigheid ontwikkelden, die zij ook konden toe-passen op eigen teksten, maar dat zij nog niet in staat warende teksten op die punten te verbeteren. Ook andere factorenkunnen het accepteren en verwerken van commentaar beinvloeden.Zo laat Danis (1982) zien dat het mondeling becommentaridrenschrijvers voor problemen stelt. Schrijvers zijn onzeker overhun rol tijdens dit soort gesprekken, vertonen de neiging zichterughoudend op te stellen om de discussie snel af te ronden,weten niet wat ze van de anderen willen en vragen te weinig omverduidelijkingen.

Het kan ook zijn dat leerlingen de autoriteit van defeedbackgever in hun oordeelsproces betrekken. Soms wordt deinstructiefout gemaakt leerlingenrespons toe te passen bijexpxessieve teksten. Danis (1982) constateerde dat schrijversdan hun medeleerlingen niet als een valide publiek beschouwen,omdat er helemaal niet communicatief geschreven behoefde teworden. In dit verband vond Stone (1981), dat kritiek vanmedeleerlingen over inhoud en opbouw niet werd geaccepteerd;de schrijvers achtten zichzelf inhoudelijk expert. Kwam dezekritiek van de docent, dan word deze wel verwerkt, terwijlzijn stilistisch commentaar terzijde werd gelegd: studentendenken dat de docent geen lezer maar leraar is, die foutenzoekt. Dergelijke fouten, opgemerkt door medeleexlingen werdenwel verwerkt, blijkbaar omdat schrijvers denken dat dezeoppervlaktekenmerken het begrip van de lezer beInvloeden.

38

- 33 -

Ook Ziv (1983) concludeert dat schrijvers, ondanks hunvermogen tot commentaar geven, weinig verbeteringen aanbrengenin hun teksten als het om inhoudscommentaar ging. Zij veron-derstelt dat leerlingen vinden dat 'peers' de inhoudelijkeautoriteit missen en/of ervaring in het reviseren ontberen.ComMontaar op het niveau van spelling, interpunctie, woordkeusetc. leidde wel tot revisies. Dit komt overeen met observatiesvan Jones (1977), die van 71 leerlingen van een highschool(seniors) de kladverie, de commentaarformulieren en deeindversie van drie schrijfopdrachten onderzocht. Leerlingenaccepteerden en verwerkten vaker commentaar dan dat zij dekritiek naast zich neerlegden. Van de gevallen waarin com-mentaar werd afgewezen was dat in 50% terecht. In ruim 70% vande gevallen waarin kritiek werd verwerkt, leidde dat tot eenbetere tekst. Als schrijvers op eigen gezag verbeteringenaanbrachten, bleek dat in 15% van de gevallen een verslech-tering, in 60% een verbetering. Gemiddeld bleven er per opstelnog 5 fouten ter correctie van de docent over. Heisjes ver-beterden gemiddeld neer fouten in hun teksten op tasis vancommentaar dan jongens. De commentaren die tot verbeteringenleidden, konden ingedeeld worden in de volgende categorian:woordkeus (30%), conventies (22%), zinebouw (19%), inhoud(14%), alineabouw (10%) en etructuur (6%). De uit eigenbeweging aangebrachte verbeteringen vertoonden een anderfrequentiepatroon: woordkeus (33%), inhoud (25%), zinsbouw(21%), conventies (la), a1ineabouw (6%), structuur (4%).Kritiek die afgewezen weed, had veelal betrekking op perspec-tief, grammaticale zaken, alineabouw en inhoud.

Een laatste factor kan eon eigenschap van de persoon van defeedbackontvanger zijn. Slechte schrijvers veranderen anderezaken in hun tekst dan goede schrijvers, omdat zij andereopvattingen over een goodie tekst hebben (Stone, 1981). Depersoonlijkheid en het eigen oordeel over becommentarieerdetekst speelt evenzeer een rol in de wijze waarop commentaarverwerkt wordt (8erkenkotter, 1984). Op beide onderzoeken gaanwe kort in. Stone (1981) onderzocht de herschrijfgewoonten vaneerstejaars- en gevorderde studenten, na commentaar vanmedestudenten. In zijn onderzoek betrok hij 150 leerlingen,waarover hij impressionistisch materiaal verzamelde. Hijconcludeert dat herschrijven :neer zin heeft, naarmate leer-lingen gevorderder zijn, omdat alleen zij zich bezig houdenmet inhoud en opbouw en zich niet tot oppervlaktekenmerkenbeperken. Leerlingen met lege cijfers bleken vooral hunslechtste opstellen te willen verbeteren, terwijl leerlingenmet hoge cijfers liever de betere opstellen herschreven. Stoneveronderstelt dat zwakkere leerlingen denken dat herschrijvenhet verbeteren van oppervlaktestructuren is en dat slechteopstellen nu eenmaal veel van dergelijke fouten bevatten. Ditverschijnsel deed zich ook voor toen gevorderder studentenwerd gevraagd 66n van hun zes opstellen te herschrijven. Stoneonderzocht tevens waarin de herschrijvingen van goede enminder goede leerlingen verschilden. Vrijwel iedereen voegde

39

- 34 -

inhoud toe: bij goede leerlingen waren dit werkelijk ver-beteringen, slechte leerlingen vervingen voorbeelden doorandere voorbeelden, wat geen verbetering was. Goede leerlingenveranderden met aucces de opbouw. Slechte leerlingen veran-derden meer woorden dan goads leerlingen, maar de verande-ringen van deze laatsten waren %lacer verbeteringen. Slechteleerlingen plakten wat zinben via nevenschikking aan elkaar,terwijl betere leerlingen vaker transformaties toepasten alsonderschikking, inversie, parallellie. Vooral qua zinsbouwverbeterden de opstellen van goede leerlingen het meest.

Berkenkotter (1984) onderzocht bij 10 eerstejaarsstudentenhoe zij zich gedroegen in commentaargroepen en wat er van hetcommentaar tot revisies weird verwerkt. Zij analyseerde daartoehardopschrijfprotocollen van diverse kladversies en geluids-banden van groepsinteracties. Ze concludeert dat de wijzewaarop schrijvers omgaan met commentaar stark afhangt van depersoonlijkheid van de schrijver, zijn ontwikkelingsniveau enzijn vaardigheid om schrijfproblemen aan te pakken. Aan dehand van drie gevallen wordt deze conclusie toegelicht. Dezedrie gevallen verschillen stark in de mate waarn zij zeg-genschap hebben over hun tekst. De eerste leerling is buiten-gewoon kritisch over andermans teksten, maar laat kritiek opde eigen teksten niet toe, met als argument dat het zljnmening is, zljn tekst. Een tweeds schrijver krijgt zeerpositief commentaar, mar is toch niet teVreden over zijntekst en verbetert deze grondig, onafhankelijk van het le-zerscommentaar. Het derde voorbeeld doet haar uiterste best omtegemoet te komen aan het commentaar, maar bemerkt pas veellater dat die opmerkingen weinig grond hadden.

3.3. Effectstudies

In deze paragraaf bespreken we een groep van 21 effectstudies,op een viertal aspecten. We doen dat met het oog op eenmogelijke bijdrage aan de theorievorming, constructie van hetexperimentele onderwijsprogramma, het onderzoeksontwerp eninteressante afhankelijke variabelen. Het zijn vrijwel ellezogenaamde quasi-experimentele onderzoeken. Onderzoeken meteen meer impressionistisch karakter zoals Smith (1975) enSteinacker (1976), zijn in hoofdstuk 2. verwerkt.,In de meestegewallen heeft man zowel een voor- als een natoets afgenomen,zodat de onderzoeksgroepen vergeleken kunnen worden bij destart van het onderzoek. Omdat echter de proefpersonen nietvia loting aan de condities zijn toegewezen, spreekt men vanquasi-experimenten (Cook en Campbell, 1979, p.6). Bij ana-lyse-problemen in dit soort studies zullen we kort stilstaan.we lichten de onderzoeken achtereenvolgens op vier theme'sdoor. Welke onafhankelijke variabelen zijn in verband gebrachtmet leerlingenrespons? (tabel 3.1.). Op welke afhankelijkevariabelen van schrijfvaardigheid verwachtte men effecten vanleerlingenrespons aan te tonen (tabel 3.2.)? Wat zijn de

40

- 35 -

statistische merites van de onderzoeken Mabel 3.3.1? Ten-slotte: z,jn er aanwijzingen voor het ontwerp van het expe-rimental. ondorwijsprogramma te ontlenen aan de succesvolgebleken experimentele onafhankelijke variabelen?

Heeft het inschakelen van leerlingen als Commentator vanopstellen meer effect op schrijfvaardigheid dan wanneer dedocent commentaar geeft? Uit tabel 3.1. blijkt dat men slechtsin acht van de 21 onderzoeken erin geslaagd is statistischsignificant. verschillen aan te tonen tussen scores van deverschillende groepen. Van die onderzoeken tonen zeven eenpositief resultaat ten gunste van de experimentele didactiek,66n, Earls (1983) vond de controledidactiek superieur. Voorattituden jegens schrijven of schrijfangst is het beeld nietgunstiger: in drie van de tien onderzoeken kon een significantverschil ten gunste van de experimentele didactiek vastgesteldworden.

Tabel 3.1.: De variabelen die in 21 effectstudies gerelateerdzijn aan schrigvaardigheid en attituden t.a.v.schrijven of schrijfangst, met tussen haakjes hetaantal malen dat de relatie onderzocht is. Degetallen verwijzen near de nummers van de studiesdie in bijlage 2 vermeld zijn.

VartabolanSchrigvaardigneld nttitsdan/Schri)fangst

nist gs-tostat

gush s1gnifi-cant ffact

Sagni21-cant effact

clean ighafi-ftcant effsrt

sminafa-cant offset

Onderwtjskenserlmn

1. Onderwl)sprogtanma 4210 2 3,4,6,7,9, 1,S,0,10,12 1101 1,3,70,9,14, 7d,11,2111.14,16,17,10 13,1,19 15,17,2020,21

2. Decent 10 4,S,6,11,14,10 1,114,20 140 11,14C,20e 1,14c,lla204

3. %las (2) 6,17 17

LserlIngkensorksn

4. Sexy 430 4,19b 1,14b 121 20 1

S. Intria-extraversis 420 14,17

6. Schri) 66666 t

fnteractass

11

7. pros. x doe. 1( S,11,111,20 1 131 1,11 20

9. pros. x sax 11. 440 11 1.9,16,19 (21 1,9

9. doe. x sta 11. 120 1,6 42) 1 20

a: rox 119791 1 docantaffect tteedt hist op bt) analyses op de gahsls grotpl seri bt) ana-lysss op subgrosp 411009-1Chri3angstagenp.

U: Sager 119730 : sexe-effect op dtte owbvariabeltn, op twes ander. Met.C: Lyons 1(9760 : docsnteffeCt tresdt op v0Ot 1 subvarlabsle van ttatudn; Pi) duke andsr.

sobvatiabalsn raft.d: balony (1900) i voor SOMMaga ttttt uds vartabslen v.1. voor a ttttt gosh hagnificant effect.4: Svera 1(971) : docantefftet tavola op Vans inEttStrvachtingen, nisi vent sch ttttt van

iosn beawagahstd.

41

- 36 -

van de variabelen in de categorie Onderwijskenmerken, isvooral de variabele docent belangrijk. Een aantal onderzoekenheeft men zo opgezet dat 66n docent aan twee klassen lesgeeft:een experimentele en een controleklas. In de onderzoeken vanBenson (1979), Fox (1979), Lyons (1976) en Sears (1971) blijktde variabele docent een etatistisoh significant effect teweeggebracht te hebben. In het onderzoek van Benson (1979) is heteffect spurieus, omdat de variabele docent samenvalt metleerjaar en leeftijd van leerlingen met verschillen tussenscholen. In het Onderzoek van Pox (1979) blijkt het effect vande variabele docent alleen als de gegevens van een subgroep,namelijk de hoogschrijfangstige leerlingen, geanalyseerdworden. Het is niet onaannemelijk dat vooral deze groepleerlingen gevoelig is voor de persoon van de docent. BijLyons (1976) werd het docenteffect slechts aangetoond voor 66nattitude concept, 'showing my writing to teachers', begrijpe-lijk een docentafhankelijk concept. In het onderzoek dat Sears(1971) verrichtte, toonde zij zowel voor schrijfprestaties alsvoor een attitude concept, - de schatting van de inzet eendocenteffect aan. Voor een ander attitude concept, - deschatting van de eigen bekwaamheid werd geen docenteffectgevonden. Kortom, als het Om attituden gaat, is een docent-effect in drie onderzoeken aangetoond, terwijl in dezelfdeonderzoeken voor andere concepten van attituden geen docent-effect geconstateerd ward. Sommige attituden lijken dusdocentgevoelig. Als het om schrijfvaardigheid gaat lijkt eendocenteffect niet gauw te verwachten, tenzij het een gevoeligegroep leerlingen betreft (Fox, 1978).

De leerlingkenmerken die onderzocht en getoetst zijn, zijnsexe, mate van intro- en extraversie en schrijfangst. Benson(1979) vond dat meisjes beter presteerden dan jongens; Carter(1982) vond eenzelfde tendens, maar niet statistisch signifi-cant. Sager (1973) vond voor een drietal, hoog correlerende

variabelen een significant effect voor sexe (ondersteunendeinformatie, zinsstructuur en globaal totaaloordeel), voor tweeandere variabelen niet (woordkeuze, opbouw). Benson (1979)trof een effect van sexe aan voor zowel opstelkwaliteit,attitude, lengte van opstellen en revisie op alineaniveau,alle ten gunste van meisjes. Als er dus een effect van sexegevonden wordt, blijkt het steeds te gaan om meisjes die beterpresteren dan jongens.

Fox (1978) toonde aan dat schrijfangstige leerlingensignificant beter presteerden na Fox' experimentele onderwijs-procedure dan de schrijfangstige leerlingen die onderwijsvolgden in de controleconditie. Hierboven bleek al dat heterop lijkt dat deze groep leerlingen gevoeliger is voor depersoon van de docent; dit lijkt ook voor het gevolgde onder-wijs te gelden.

van de onderzochte interacties is die tussen programme enandere variabelen interessant. Nu blijkt dat de interactietussen docent en programa van de acht keer maar twee keer

42

- 37 -

significant is, mogen we verwachten dat docenten geen systema-tisch betere prestaties veroorzaken op een van beide pro-gramma's die zij onderwijzen. Opvallend is het relatief grootaantal keren dat een significante interactie tussen programaen sexe van leerlingen werd aangetoond, namelijk vijf van dezes keer. Dit zou erop kunnen duiden dat de onderWijspro-grammes sexespecifiek zijn. In het onderzook van Benson(1979) bleken meisjes beet te hebben bij gestructureerde,informatieve leerlingenfeedback, terwij1 jongens beter pres-teerden in de conditie van docentfeedback. Bij Myers (1979)bleken jongens en meisjes in de controleconditie niet teverschillen, maar presteren meisjes in de experimenteleconditie significant beter. Farrell (1977) meldt een daaraantegengesteld resultaat. Sager (1978) rapporteert een nivel-lerend effect van het experimentele onderwijsprogramma: deverschillen tussen jongens en meisjes werden in de experi-mentele conditie kleiner. De jongens hadden beat bij leer-lingenrespons. Hoewel we erop verdacht moeten zijn dat eondergelijke interactie zich voor kan doen, is er te weinighouvast om specifieke verwachtingen te koesteren over eendergelijke interactie.

Een conclusie van heel andere aard is deze. Uit tabel 3.1.kan opgemaakt worden dat de verslaglegging van de geraad-pleegde onderzoeken gebrekkig is. Soms worden resultatenvermeld van het hoofdeffect docent, maar is niets te vindenover interactie tussen docent en programme (4,6,14, zie tabel3.1.). In een onderzoek waarin sexe is opgenomen als varia-bele, wordt niets vermeld over een interactie tussen sexe enprogramme (4 bijvoorbeeld). Het omgekeerde komt ook voor: welwordt gewag gemaakt van een interactie tussen sexe en pro-gramme, terwijl niets vermeld wordt over een hoofdeffect vansexe (11). Helaas heeft maar 66n onderzoeker (Fox, 1979)gebruik gemaakt van de mogelijkheid gegevens te analyserenvoor subgroepen. Anders was er meer kennis geweest over deinvloed van het niveau van schrijfvaardigheid: is leerlingen-feedback vooral voor goede of vooral voor slechte leerlingeneen goede onderwijsproceuure?

Een tweede analyse van de onderzoeken betrof een beschouwingvan de afhankelijke variabelen binnen schrijfvaardigheid. Ineen aantal onderzoeken heeft men namelijk aspecten van stel-vaardigheid onderscheiden. Wellicht was het mogelijk veelbe-lovende subveriabelen op het spoor te komen. In tabel 3.2.staat een overzicht.

De gegevens in tabel 3.2. laten zien dat men vooral ver-wachtte op formele kwaliteiten verschillen te vinden. In tienonderzoeken zocht men near kwaliteitsverschillen binnen decategorieen Spelling en Interpunctie en Formulering en Stijl,in drie ervan met succes. Naar verschillen in Opbouw en Inhoudis veel minder vaak gezocht. Op geen van de in tabel 3.2. ge-noemde variabelen is opvallend vaak een significant verschilgevonden.

43

- 38 -

Tabel 3.2.: Specifieke Schrijfprestatievariabelen in effect-studies. De getallen verwijzen naar de studies inbijlage 2

Categorie SubcatogOrie

Spelling en interpunctie spelfOuten 7

interpunctie tauten 3,7,16 ,kennie van spelling en 5 4,15interpunctiekennis van grammatica 5,10,151

6formulering en stijl woordkeus 19

- formuleerfouten 7 ,

- correcte, gevarieerde zin4boow 745- goede Mormulering 19

sinsbeginnen 2

- &natal woorden per T-unit 1,3,206

Opbouw duidelijke lijn 7,15 ,

- logisch opbouw 7,16496

inhood ondersteuning, uitwerking 7,19duidelijk theme 7

- belangwekkend 7

- consistent perspectief 7

6Lengte 1 , 11

6ROVISie - totaal 1

kOsmetisch 1,woord 1,

- :in 1,alinea 1

* significant lp 6.05)

Er komt geen veelbelovende afhankelijke variabele near voren.De nadruk die de onderzoekers leggen op de formele aspecten,duidt erop dat men verwacht dat door leerlingenfeedback vooralde editorfunctie verbetert. De processtudies uit par. 3.2.laten zien dot er wel veel commentaar op deze variabelenovergenomen wordt door de schrijver, maar blijkbaar is diteffect ook werkzaam in de groepen die docentfeedback krijgenof transfereert deze kennis niet near nieuwe taken. In 66nonderzoek (Benson, 1979) werd onderzocht of er meer gerevi-seerd werd als gevolg van leerlingenrespons. Het succes vandit ondertoek past in de verwachtingen met betrekking totrevisie: goede schrijvers reviseren meer en op een hogerniveau dan slechte schrijvers.

Uit tabel 3.3. blijkt dat vrijwel elle onderzoeken volgens eenvoortoets-natoets ontwerp zijn opgezet. Het voordeel van hetopnemen van een voortoets in het ontwerp is de mogelijkheidverschillen in startbekwaamheid bloot te leggen. Enkeleonderzoeken zijn echte experimenten, d.w.z. dat de proefper-sonen via loting aan condities zijn toegewezen met het oog opbestrijden van selectie-effecten (Burt, Carter, Clifford, Fox,

44

- 39 -

Maize, Myers, Pierson). De andere onderzoeken zijn qussi-ex-perimenteel van opzet: intacte groepen (klassen) werden in hungeheel aan een conditie toegewezen. Meestal gebeurde datvolgens het lot. Zou men in dat geval klassen els observatie-eenheden beschouwen, dan is ook sprake van een experimenteleopzeti Men anelyseert echter steeds op leerlingniveau. Er isdan sprake van een quasi-experimentele opzet: men heeft danwel enige controle op selectie-effecten uitgeoefend, sear hetselectie-effect van de klassenindeling is niet gecontroleerd.Deze quasi- of semi-quasi-experimentele opzet heeft het nadeeldat de kens groter is den in een experimentele opzet dat decondities al bij aanvang van het experiment van elkaar ver-schillen op relevante variabelen, zoals de mate waerin deafhankelijke variabele aanwezig is. In de fase van statis-tische analyse kan voor deze ongelijke startpositie gecorri-geerd worden mat behulp van covariantieanalyse.

Naast het probleem van selectie-effecten, is er in eendergelijke onderzoeksopzet het probleem van het analyseniveauomdat men de leerling els onderzoekseenheid definieert. Inechte experimenten deelt men proefpersonen via toting incondities in: het analyseniveau is dan terecht het individueleniveau. Het voordeel hiervan is dat het aantal ongecorreleerdewaarnemingen groot is en daarmee het onderscheidingsvermogenvan het experiment. In quasi-experimenten wijst men echterzoals gezegd klassen aan condities toe. Het adequate analyse-niveau zou in dat geval de klas zijn, wat een eanzienlijkeafname aan vrijheidsgraden en van het onderscheidingsvermogenmet zich brengt. In geen van de geanalyseerde onderzoeken isdit probleem onderkend en analyseerde men op individueelniveau alsof er in klassen niet een klasse-effect bestaat, eencorrelatie tussen de individuele scores. Ale men uitgaat vaneen middelmatige effectgrootte (f=0.25) en een intraclasscor-relatie van .07, zou men ongeveer tweederde van het aantalvrijheidsgraden verliezen. De consequentie voor het onder-scheidingsvermogen van de onderzoeken in tabel 3.3. is duide-lijk. Dit probleem klemt des te meer in het geval van eendidactiek zoals in deze studies onderzocht wordt. Deze didac-tiek wordt namelijk niet op individueel niveau uitgeoefend,maar veeleer op .klasseniveau, zeker in de experimenteledidactiek van leerlingenrespons met elle mogelijkheden om met,van en door elkaar te leren.

De laatste kolommen van tabel 3.3. bevatten schattingen vanhet onderscheidingsvermogen van de experimenten, gebaseerd opCohen (1977): de waarschijnlijkheid waarmee de nulhypotheseverworpen zal kunnen worden. De schatting is gemaakt voorct=.05 en een middelmatige effectgrootte (f=0.25), dat witzeggen de mate waarin het fenomeen waarop het onderzoek zichricht, zich in de werkelijkheid voordoet. Deze effectgroottekomt overeen met een intraclasscorrelatie van .24, dat wilzeggen dat bijna 6% van de variantie binnen een populatieverklaard wordt door het lidmaatschap van deelpopulaties(Cohen, 1977, p.26 e.v.). Uit de laatste kolom blijkt dat maarweinig onderzoeken een kans groter dan vier op vijf hadden omde nulhypothese te verwerpen. Alleen Benson (1979), Myers(1979) en Ward (1959) halen deze norm. Dit betekent dat op de

45

- 40 -

Tabel 3.3.s Statietische gegevens van 21 (quasi-)experimenteleonderzoeken. In de laatate kolommen is het onder-scheidingsvermogen vermeld voor een middelmatigeffect ( ..05)

Onderzosk Alhankeliike VOOrtdetevarlabele

NOtOOtO Betroumbaarheld

eouton

Burt

Carter

Clifford

Copland

Delaney

Berla

Far re 1 1

Ford

1. attitude

2. echrljtvaerdlg-

heid

3. revleieveardlg-

held

1. Varieties in

insbeglnnen

1. achri2lveardig-

held

2. interpunctie

1. achrlJtvaerdlS0

held

1. sohrijtvaardig-

heid

2. oreemeticals

kennle

3. grammaticals

vaerdigheid

1. schrijtvaardig-

heid

1. schriltveard1S

heid

2. eyntactieche ont-

mikkelisS

3. attitude

1. chrljtvaardig-

held

2. co nnnnn lea

1. echrijtvaardig-

heid

2. conventies

3. attltuden

1. grammatical* kens.

2. echriltmeardir

13 Items uit de ides

Writing Appre-

henoion Test

20 min.opetel

brief. 4$ min..

TunittlllnqInterPunctle+

louten in brief

90 aln.opstel

oPets1

schrOtteet

toutecore

2 oPetellen.

4$ sin. elk

'vete! 300 A $OO

woorden

Hunts T-unit test

Clegood's attitu-

teat

essay. 90 min.

STEP tat 2A

opete1. 4$ min.

STEP test 2A

Farrell. tt.

vregenlijet

schrl2tteet

*petal

ides

opstel van

posttest

7

ides

idem

ides

ides

ides

idea

idem

idem

idem

idea

ides

ides

ides

Ides

ides

ides

4 6

voortest .63

Retest .73

hollstlsch .69-.94

nelletlech .01-.94

.79 12urY/

.94

.$3

.31

.84

.76

voortest .70

Retest .00

.91

.99

- 41 -

vervolg tabel 3.3.

Analysatachatok nppn

adoe

a onderacheidindavarmadOncond. doe. coact/Sias

AOCOV4 200 6 3 92 97

Ancovs 286 6 3 42 97

ASIOV4 286 6 3 92 97

1)Ancova 56 7 2 46

11Ancovs 87 1 2 64

Ancova 11 67 1 2 64

Ancova 1165 2 2 53 53

Ancovs 92 3 2 56 67

Ancovs 92 3 2 56 67

AnCovit 92 3 2 56 67

Ancova 98 2 2 70 70

Ancova 46 1 2 - 39

Ancova1146 1 2 39

Ancova 1146 1 2 39

hncovs 81 2 2 61 61

Ancova 81 2 2 61 61

Ancova 154 2 4 SO 73

Ancova 154 3 4 SO 73

Ancova 154 3 4 SO 73

Aacova SO 1 2 42

Aneova 50 1 2 42

_: 47

- 42 -

vervoLg tabs]. 3.3

Ondersoek Afbenkolijke Voortooteveriebelo

Net0Ote detrouxbaerhoid

FOx I. ttitudon W.A.?. idea

2. echrijfveerdig-

held

opetol. 90 min. .921.60

3. Lomita

4. echrigveerdig-

heid bij hoogechrijf-

enqatigen

S. longte von opetollen

bij hologschrip-

engetigon

1 woordon

woordan

opstol, 90 min.

santel moorden

Sores L I. schrigvaardig- *Patel ides voortest .07

held .0S

Lagana 1. 'tennis over Step Writing Test

achrijven

2. achrijfvaerdig-Stop loony Teat

Warn

ides

Ivaid

LyOns I. schrigveerdig-2 °Patellas'heid {Isle mina

ides' .90

2. ttitudon Lyon. S isch

differontiael 14x1

idem .90-.96

%Sire I. schrijfveardig- °petal

held

2. interpunctie, schrijftest

hoofdlo ttttt

3. dictie. vervij- schrilftost

singes+

4. rineboux, lo-schriJfteetgische opboux

idem

ides

idom

idem

idem

Myers 1. salinseboux opstal 1200 ides

',cordon)

2. interpunctis idea xdea

Pfeifer 1. schri,fenget - W.A.T. idem .93

- Pfeifer. writing idsm .0?

Apprehension

Measure

2. echri,fveerdig- opstel i4S min.1

hold

idem

Pierson 1. schrilfveerdig-Step writing test

heid

Woo

48

- 43 -

vervolg tabel. 3.3

knolyeetocnniek

ppft doen onderscheidingovermogencond. doe. conditio8

AncOva 107 3 4 62 54

Mova 107 3 4 62 54

AnnVa 107 3 4 62 54

1.1001 40 3 2 33 47

t.test 60 3 2 33 47

Ancova 49 1 2 40

Ancova 1160 1 2 49

Ancove10

60 1 2 49

MOW. 106 2 2 73 73

AnCOVa 106 2 2 73 73

AnCnva 10149 7 2 55

1)AnCOva 149 7 2 55

AnCOV41) 149 ? 2 55

ARCOva1) 149 / 2 55

Arocova 160 4 2 78 90

Ancov6 160 4 2 70 90

"alcove 92 ? 2 67

Ancove 92 2 67

Ancove 92 7 2 67

IAnCOva 1 153 3 2 00 07

49

- 44 -

vervolg tabel 3.3

Ondersoek Afhankelijksveriabel

Voortets Natoeta natroawbaarhaid

Sager 1. achripaardig-

haid

opatel ides) .97

Sears 1. aehrijfvaardi-

heid

Ileasecores ale

covariant)

opathl .63

2. ttitudens achat- @ign instrument idea .7621

Ling !bison inset 124 items)

1. attitudent hot-

ting van igen

kunnen

igen instrument

17 iteme)

idem .0821

Ward 1. chrigvaerdig-haid

*petal ids.

2. kannia over

achripan

Step Writing teet ides

3. ettituda 'oweeureue

Ward's chael idea

11 In can aantal ondermeken as goon coveriantie-anelyse gebtuakt alb ,nalyeetechnLek, suer

varsantie-analyse (Burt, Carter), t-testen !Delaney) en versehilseer4. Magus. Haire, ward).

De ooderroeksopretten laten echtr covariantie-analyse wel toe. /Mr will. van de vergeliikbaar-

herd Ls het onderscheid1ngsvermogeh toch op basis van covariantia-analyse berekend.

2) Test-hertestcorrelatse

resultaten van de overige studies weinig staat gemaakt kanworden als g66n statistisch significant verschil gevonden werdtussen de experimentele conditie en de controleconditie. Alsmen, zoals Delaney, slechts 39% kens heeft om een statistischsignificant resultaat aan te treffen en men vindt het niet, isdan het bewijs geleverd dat de experimentele didactiek geenwinst boekte vergeleken met de control2didactiek? Wat men ineen dergelijk geval doet, is: uitermate streng zijn in hetkiezen van een significantieniveau van .05, - 95% zekerheiddat de verschillen niet aan kens zijn toe te schrijven -, enzeer coulant zijn tegenover het lege onderscheidingsvermogen.waarom zou men onderzoeken of een didactiek vruchten afwerptals men het onderzoek zo inricht dat men slechts een kens van0,40 heeft de verschillen te kunnen aantonen als ze bestaan?Wat men zou kunnen doen, hoewel dat niet gebruikelijk is, ishet significantieniveau wat minder streng te nemen =.10) ,

waardoor het onderscheidingsvermogen toeneemt (bij Delaneybijv. tot 0,53).

50

- 45 -

vervolg tabel 3.3.

Annlysetechnink nppn

ndoe

n coadersehe101nInvernagencond. doc. condition

Ane0Va 3 3 2 62

APCOVa 117 4 2 0 77

Menus 117 4 2 60 77

nncovn 117 4 2 60 77

knee v4 1) 107 1 2 73

Anew, 11107 1 2 73

nne0vn11 107 1 2 . 73

De conclusie die we trekken uit het overzicht van de

statistische eigenschappen van de 21 geanalyseerde onder-zoeken, is dat de onderzoeksopzetten en statistische bewer-kingen te wensen overlaten. Het is niet uitgesloten dat veelvan de onderzoeken 'ten onrechte' geen verschillen tussez deonderwijsprogramma's constateerden, als gevolg van een inade-quaat statistisch ontwerp.

Een vierde analyse van de effectstudies betrof de onafhanke-lijke variabeles het onderwijs zoals dat in de onderzoeken isvormgegeven. Een confrontatie van succesvolle en niet sueees-voile onderwijsprogramma's zou mogelijk werkzame bestanddelenvan succesvolle programme's blootleggen. Deze hoop bleekijdel. De onderzoeken listen zich gewoonweg niet op een aantal

variabelen bexchrOven. Ten eerste bleken de controle enexperimentele onderwijsprogramma's vaak op meer kenmerken teverschillez dan de feedbackfase. Zo waren er verschillen in de

51

- 46 -

instructiefase (Copland, 1900$ Clifford, 1901; Delaney, 1900$Fox, 1970$ Lagana, 1972; Maize, 1954$ Sager, 1973), in hetaantal opstellen dat geschreven werd (Leman*, 1972$ Maize,1954), in de mate van individualisering van het programme(Delaney, 1900; Lagana, 1972), het al dan niet herschrijvenvan upstellen (Clifford, 1901; Earls, 1903$ Fox, 1970). Insommige onderzoeken was sr selfs in de controleconditie inzekere mate sprake van het uitwisselen van opstellen of hetvoorlezen van opstellen aan elkaar (Delaney, 1900$ Lyons,1976$ Sager, 1973). Wilden we een analyse verrichten op desuccesvolle aanpakken, dan moesten we dus een aantal studieselimineren. We vergeleken de aanpakken van seven studies,waarvan er drie succesvol waren (Benson, 1979; Karegianes etal., 1900; Ford, 1973) en vier in een onbeslist eindigden(Carter, 1902; Farrell, 1977; Myers, 1979; Pfeifer, 1901). Inal deze studies werd gebruik gemaakt van leerlingenrespons inpure vorm. In elle gevallen ward gebruik gemaakt van commen-taarformulieren. Alleen in Myers (1979) werd instructiegegeven over tekstkwaliteiten$ in de andere studies bestond desequertie van lesactiviteiten uit schrijven, becommentarifrenen herschrijven. Alleen bij Farrell (1977) werd ook tijdens deontwerpfase van opstellen overleg gevoerd tussen leerlingen.Geen verschillen tussen de twee groepen studies vonden we opde variabelens wijze van feedbackgeven, keuze, aantal enanonimiteit van feedbackgevers, hoeveelheid instructie, momentvan feedbackgeven en de verplichting tot herschrijven. Evenminbleek een verschil tussen de leeftijden van de proefpersonen.we slaagden er kortom niet in werkzame bestanddelen te achter-halen.

De resultaten van de vier analyses brengen ons niet veelverder. Vooralsnog krijgt de theorie uit hoofdstuk 2 weinigsteun van onderzoeksresultaten. Vooral ten aanzien van atti-tuden en schrijfangst lijken de praktijkuitspraken overtrok-ken. Attituden en schrijfangst zijn wellicht vrij stabielekenmerken en laten zich niet gemakkelijk door stelonderwijsveranderen. Het onbesliste karakter van de tweekamp tussenleerlingenrespons en docentfeedback kan toegeschreven wordenaan een ongelukkige keuze van afhankelijke variabelen. Uit dekeuze van specifieke schrijfprestatievariabelen in de onder-zoeken blijkt dat men vooral effecten verwacht van de leerlingals onderwijshulp en niet van de leerling als lezer; in datgeval had men afhankelijke variabelen op meer retorisch niveaugekozen. Het uitblijven van een beslissing in het voordeel vanleerlingenrespons kan ook toegeschreven worden aan de gebrek-kige statistische ontwerpen.

3.4. Conclusies

In dit hoofdstuk hebben we drie groepen van onderzoekenbesproken om meer kennis op te doen voor het samenstellen vaneen stelcursus op basis van leerlingenrespons. In deze pare-

52

- 47 -

graaf trekken we onze conclusies uit doze literatuur: dealgemene literatuur over storende factoren in collega-beoor-delingsprocessen, de literatuur over dergelijke processen instelonderwijs en de effectstudies over leerlingenresponsex-perimenten. Int de effectstudies trekken we tevens conclusiesover het ontwerp van het experiment.

Algemene literatuur. Het geven en ontvangen van collega-beoor-delingen wordt beinvloed door affectieve relaties, sexe en'image-building'. Het lijkt wenselijk suggesties uit dealgemene beoordelingsliteratuur over te nemen. Het is beterale de beoordelaars de schrijver niet kennen en ale zijbeoordelen op basis van criteria. Beoordelaarsgroepen zoudenvan een gemengde samenstelling moeten zijn om sexespecifiekefeedbacktendenties te spreiden. Het is beter de beoordelingendie leerlingen verrichten niet door de docent te laten beoor-delen, wat door sommige voorstanders van leerlingenrespons inonderwijs, zoals Bruffee (1980), wel bepleit wordt. De feed-back moot onpersoonlijk en atomistisch zijn, omdat leerlingendit bruikbare feedback vinden. Ale het om taken gaat, die ergspecifiek xijn, moot de beoordelaar competent zijn op datterrein.-Dat zou voor gedocumenteerde opstellen betekenen, datde beoordelaar-leerling inhoudelijk op het terrein thuis is,doordat hij bijvoorbeeld zelf een opstel schreef over datondereerp.

Collega-beoordeling kan door het openbare karakter van debeoordelingssituatie leiden tot een toename in motivatie(House, 1980: Salili et al., 1976). Deze studies ondersteunende theorie (hoofdstuk 2). In de effectstudies (par. 3.3.)blijkt dit echter niet op te gaan voor aan schrijven gebondenattituden. Men moet voorkomen dat leerlingen zich conformeren,- onder druk aan de oordelen van anderen (White, 1972:Silver en Schlenker, 1981) omdat dat belemmert dat leerlingenzelf een normen- en waardensysteem opbouwen, wat juist bijstollen zo belangrijk is, aangezien leerlingen tijdens en nahet schrijven hun teksten moeten herzien met kritische blik.Het toevoegen van een opdracht het opstel eerst zelf tebeoordelen alvorens het uit handen te geven, xou het gevaarvan een te grote mate van afhankelijkheid van anderen kunnenbestrijden.

Als verscheidene personen feedback geven, is de kans grootdat de oordelen uiteenlopen. Leerlingen die geconfronteerdworden met uiteenlopende oordelen over hun tekst, zullen zelfte gunstig oordelen over die tekst. Het gevolg kan zijn datzij minder grondig zullen herschrijven den op basis van hetgemiddelde van de beoordelingen gewenst zou zijn. Er is watvoor het standpunt te zeggen dat veel variantie in oordelenschrijvers juist te denken zou moeten geven: blijkbaar is detekst niet eenduidig gepercipieerd. Juist dan zouden schrij-vers heel kritisch de oordelen en oorzaken van oordelen mostenanalyseren en niet moeten vluchten in een overschatting vanhun eigen oordeel. In het experimentele onderwijsprogxamma zou

53

- 48 -

dit voorkomen moeten worden. Twee oplossingen zijn denkbaar.Men zou alleen het gemiddelde van oordelen aan schrijverskunnen terugkoppelen. Nadeel van deze oplossing is dat zo'nscore de werkelijke perceptie van lezers niet weergeeft. Deschrijvers hebben wel minder gelegenheid wat gemakkelijk overde eigen tekst te denken, meat het didactische element vandiversiteit in lezers gaat verioten. Zen tweed. oplossing kangerealiseerd wotden door in de herschrijfinstructies op tenemen dat schrijvers met de twee laagste van bijvoorbeeld drieoordelen rekening moeten houden als ze gam herschrijven. Hetis de vraag of een dergelijke oplossing geen negatieve bij-ef-fecten met zich meebrengt. Zo zou men kunnsn stellen dat eendergelijke instructie leerlingen ervan afbrengt eon interne'locus of control' te ontwikkelen, omdat daarvoor de invloedvan beoordeelden op het oordeel noodzakelijk is. We kozenervoor in de instructies voor leerlingen op te nemen datdiversiteit in oordelen kan voorkomen, waaraan dat kan liggenen hoe er mee omgegaan kan worden. Verder verwachten we van dezelfbeoordelingsopdracht een gunstig effect: de relatie tussenhet eigen oordeel en andermans oordelen was voor de schrijverduidelijk.

Om de acceptabiliteit van oordelen te verhogen, nemen we desuggestie van Cederblom en Lounsbury (1980) over de beoorde-ling formatief te laten zijn. Leerlingen moeten nadat zefeedback krijgen in stoat gesteld worden iets met de feedbackte doen. Ze moeten het opstel kunnen herschrijven. Daarbij ishet minder wenselijk de leerlingen te verplichten de voorge-stelde revisies te effectueren. De verantwoordelijkheid voorhet reviseren kan beter bij de leerlingen zelf liggen.

Processtudies. Het is aannemelijk dat leerlingen van 15 jaar,onze doelgroep, in staat zijn teksten te becommentarilren. Zijlijken in twee rollen te reageren op teksten: els natuurlijkelezers, zeker als de tekstinhoud samenvalt met hun referentie-kader, en als (beginnend) tekstcriticus (de instrqctierol).Beide rollen zouden zij moeten kunnen vervullen in een didac-tiek van leerlingenrespons, om verwarring van rollen tevoorkomen. DI de experimentele onderwijsprocedure zullenleerlingen eerst lezen en reageren en daarna pas commentaargeven. De rol van instructeur moet ontwikkeld worden. Dezeontwikkeling heeft tijd nodig en most geleid worden via hetaanbieden van tekstcriteria. Door de volgorde van de tekst-criteria vast te leggen, kan bereikt worden dat lezers nietalleen op oppervlaktekenmerken letten. Het is voor schrijversbeter als zij het commentaar schriftelijk krijgen. Leerlingen-respons moet alleen gebruikt worden als het bij de schrijfop-dracht past: enders beschouwen schrijvers medeleerlingen nietals valide commentatoren.

Leerlingen lijken geholpen te moeten worden de feedback teverwerken: zwakkere leerlingen zouden enders alleen op opper-vlakteniveau reviseren. Leerlingen gam langzamerhand detekst:riteria op eigen teksten toepassen, :near moeten geholpenworden de teksten te verbeteren. Zen mogelijkheid om de

54

-49 -

revisietaak te structureren, is het opstellen van een her-schrijfplan. Het moot leerlingen duidelijk zijn dat zij zalfbepalen welke keuze zij maken uit de feedback, opdat zij niette afhankelijk reageren op andermans oordelen en de zeggen-schap over de eigen tekst verliezen: Er lijkt heel wat tijdgeeDeid Met de transfer van het kritisch inzicht in de feilenvan de eigen teksten, near het verbeteren van die teksten. Eenonderwijsprogramma kan daarom niet kort zijn.

Effectstudies. De belangrijkste les die we uit deze studiestrokken was die van het onderseheidingsvermogen van de sta-tistische toetsen en de klakkeloze toepassing van statistischetoetsen bij niet onafhankelijke waarnemingen. Het onderschei-dingsvermogen dient volgens conventie Sot te zijn; in slechtsenkele studies bereikt men dit. Some zelfs ten onrechtes elsmen zou corrigeren voor de intraclasscorrelatie, zou dit niethet geval zijn. Die gegeven bracht ons tot de volgende strate-gie. Om docenteffecten vast te kunnen stollen moot elke docentzowel open experimentele als een controlegroep lesgeven. Eenklas wordt gezien els de onderzoekseenheid. Via loting wordteen van beide klassen aa, een conditie toegewezen. Het resul-terende onderzoe%sontwerp is dat van eon echt experiment. Deanalyss zullen dan echter ook op klasseniveau verricht dienente worden. Gestald dat we erin slagen tien docenten bij onsonderzoek te betrekken, dan zou dit een onderscheidingsvermo-gen van 18% betekenen (bij een middelmatige effectgrootte bijani.05). Zen dergelij. experiment is niet verstandig, maar eenuitbreiding van het t ltal observatie-eenheden (klassen) tot62 per conditie om r t gewenste onderscheidingsvemogen tehalen, is onmogelijk. Wat we wel kunnen doen, iss in tweedeinstantie analyseren op leerlingenniveau, met een correctievan het aantal vrijheidsgraden. Sij a.OS, een effectgroottevan .25 en eon onderscheidingsvermogen van 80%, zouden we 62leerlingen nodig hebben (ongecorrigeerd) in elke conditie.Afhankelijk van de intraelasscorrelatie kan geschat wordenhoeveel proefpersonen we extra nodig zouden hebben. Hetstreven was dus zoveel docenten bij het onderzoek te betrekkenals mogelijk en vervolgens steekproeven uit elke klas tetrekken, zodanig dat het effectieve aantal proefpersonen grootgenoeg was (zie Kish, 1965, p.162).

In de effectstudies bleek niet Oft afhankelijke variabeleveelbelovend. Verglal was men gericht op formele kenmerken. Diede processtudies blijkt dat men inderdaad op dat niveauverbeteringen aanbrengt. Onze verwachting dat vooral reto-rische kennelAen van de tekst, doel- en publiekgerichtheid,onder invloed van leerlingenrespons zouden verbeteren, werdnoch bevestigd, noch tegengesproken door de resultaten vandeze studies.

Wat de onafhankelijke variabele betreft, het gegevenstelonderwijs, stelden veel onderzoeken teleur. Er was slechtseon beperkt aantal studies waarin de experimentele en contro-leconditie alleen in de feedbackfase verschilden. Wij werden

5 5

- 50 -

vrsterkt in de gedachte de beide condities zo weinig mogelijkvan elkaar te laten verschillen. Of er binnen de varieties vanleerlingenrespons meer of minder werkzame waren, kon uit eenvergelijking van de succesvolle en onbesliste studies nietopgemaakt worden.

56

- 51 -

4. SAMENSTELLING VAN DE EXPERINENTELE ONDERWIJSPROCEDURE

Om te onderzoeken of het inschakelen van leerlingen alscomeentatoren van elkaars teksten effecten op aspecten vanstelvaardigheid teweeg zou brengen als hun prestaties verge-lekeh werden met die van leerlingen, wier teksten door do-centen becommentarieerd werden, moest een onderwijsprocedureontworpen wordea die zowel in de experimentele als in decontrolegroepen gebruikt zou kunnen worden. Ten behoevehiervan werden enkele vooronderzoeken verricht. In hoofdstuk 3vatten wij aanbevelingen uit literatuur over leerlingenresponssemen. We analyseerden tevens een tiental lespraktijken inNederland en verzamelden ervaringen van leerlingen die ver-trouwd waren met leerlingenrespons (par. 4.1.). Op basis vande literatuur en de prektijkinventarisatie werd een eersteversie van de experimentele onderwijsprocedure samengesteld(par. 4.2.). Doze versie werd een jeer lang beproefd in vierderde klassen (H.A.V.O. en V.W.0.). Tijdens dit cursusjaarwerd een vijftal bruikbaarheidsonderzoekjes verricht, teneinde de onderwijsprocedure te optimaliseren (par. 4.3.). Debeproevingen leidden tot een herxiene procedure. Dexe wordtbeschreven in de slotparagraaf van dit hoofdstuk (par. 4.4.).

4.1. Praktijkinventarisatie

De ondernomen praktijkinventarisatie had tot doel meer teweten te komen over werkwijzen en ervaringen van leraren dieop de een of andere wijze leerlingen inschakelen in hetonderwijsleerproces van het stelonderwijs. Daarnaast wilden wevan leerlingen weten hoe zij de werkwijze ervoeren. Beidegroepen van informanten xouden ons informatie kunnen verstrek-ken, op basis waarvan we een optimale concretisering vanleerlingenrespons zouden kunnen realiseren.

Docenten werden individueel, leerlingen groepsgewijsgetnterviewd. Aan leerlingen werd vooraf bovendien een vra-genlijst met open vragen voorgelegd. Via een enquête, verrichtin het kader van een nationale studie over het stelvaardig-heidsonderwijs, onder auspicien van International Associationfor the Evaluation of Educational Achievement (Damhuis, DeGlopper en Wesdorp, 1983) konden wij 57 scholen achterhalendie 'enigszins tot veel' gebruik maakten van leerlingenres-pons. Elf leraren bleken na een uitnodigend schrijven bereidtot een interview over hun motieven en werkwijzen. Van zevenvan hen interviewden we groepjes leerlingen, alsmede tweegroepjes leerlingen die reeds de experimentele leergangvolgden op een proefschool. In totaal werden 48 leerlingengetnterviewd. Zij, en twee tijdens de interviews verhinderdeleerlingen, vulden ook de vragenlijst in. De resultaten vandit deelonderzoek zijn gerapporteerd in Triesscheijn, Bochardten Rijlaarsdam (1984).

57

- 52 -

De lespraktijken op tien scholen warden op een aantalaspecten beschreven (zie bijlage 3). Het overzicht riep bijons vragen op over de opdrachtsituatie en over de commen-taarfase. De opdrachtsituatie vonden wij niet helder geformu-leerd: er werd geen publiek in verneld, er werd neteen eendefinitieve versie gevraaqd, er wird niet altijd vermtld of ereen commentaarfase zou volgen. Uit het gegeven dat docentenvrijwel altijd definitieve versies lieten schrijven, con-cludeerden we, dat zij het leereffect van lezen en becommen-tariaren voor de lezer benadrukten. De verwachting was blijk-bear dat deze het geleerde in een volgende teak zou toepassen.De schrijvers konden met het commentaar niet veel meer doendan het geleerde in een volgende taak toepassen, die henwaarschijnlijk voor weer nieuwe problemen stelde. De praktij-ken toonden ons dat in de commentaarfase weinig aandacht aanhet commentaar geven en verwerken werd besteed. Gezien deliteratuur over commentaarprocessen (hoofdstuk 3) leek het onsverstandig leerlingen hulp te bieden via fasering en hulpop-drachten om deze taken goed uit te kunnen voeren.

Uit de interviews met leerlingen en hun antwoorden in devragenlijst, leerden we hoe zij leerlingenrespons ervoeren.Heel kort samengevat bleak ons het volgende. Ala leerlingenweten dat medeleerlingen hun opstel zullen lezen, zullen zewat terughoudender zijn met informatie over persoonlijkeervaringen en zullen ze de inhoud wat luchtiger presenteren.Het schrijven gaat hun gemakkelijker af, omdat de lezersminder streng zijn dan de docent. Het lezen van elkaarsopstellen vinden ze leuk en leerzaam: ze doen ideefn op,herkennen fouten en ontwikkelen een beeld van wat een goedopstel is. Leerlingen die onzeker zijn over de kwaliteit vanhun opstel voelen zich niet prettig op het moment dat hunopstel gelezen wordt.

De fasen van commentaar geven en ontvangen zijn problema-tischer. Leerlingen rapporteren, deals bekende (hoofdstuk 3),weerstanden. Leerlingen vinden het lastig negatief commentaarte geven: ze vinden het vervelend te kritiseren, zitten met devraag of de geponeerde kritiek terecht is en ervaren eengebrek aan strategiefn om negatief commentaar te formulerenzonder de geadresseerde te kwetsen. Len beoordelingsschemawordt als steun gezien bij de uitvoering van deze taak. Ookblijken affectieve relaties leerlingen parten te spelen bijhet geven van vooral negatief commentaar. Leerlingen zijn bang'teruggepakt' te worden of voor 'verwaand' te worden versle-ten. Leerlingen twijfelen eraan of de commentaartaak met vol-doende inzet en strikt eerlijk wordt uitgevoerd. Op hetaccepteren van het commentaar hebben dergelijke denkbeeldeneen negatief effect. Leerlingen blijken wel heel nieuwsgierigte zijn near het commentaar van hun medeleerlingen. De eigenschatting van de kwaliteit van het opstel speelt in deze fase,evenals in de leesfase, een rol: ale leerlingen zeker zijn vanziohzelf, dan voelen ze zich prettig. Leerlingen voelen zichbij het ontvangen van commentaar nogal eens onprettig. Hetcommentaar valt enders uit dan leerlingen verwachten, ze zijnhet niet eens met het commentaar etc.

58

- 53 -

Al vinden ze commentaar geven niet leuk, ze zien wel in dater geleerd wordt. Leerlingen blijken vrij algemeen positief teoordelen over het nut van deze task: het is goed andereleerlingen te helpen en je wordt er ook wat wijzer van. Jeleert fouten te herkennen en kritischer het eigen opstelleteh. Je leert bovendien wat goede opstelien zijn, todat jeduidelijker weet wear je naartoe moet werken. Zen mening lerenvormen over opstellen wordt ook ale leereffect gemeld. Ook vanhet commentaar ontvangen worden leereffecten onderkend:schrijvers komen te weten wat lezers over het opstel denken,krijgen aanwijzingen voor verbeteringen en denken een volgendekeer op bepaalde punten te zullen letten.

Leerlingen willen het liefst commentaar op de inhoud geven.Zij achten hun medeleerlingen vooral inzetbaar als commenta-toren als het de inhoud van het opetel betreft, docentenzouden vooral de niet-inhoudelijke aspecten voor hun rekeningmoeten nemen zoals taalgebruik en structuur. Als leerlingenechter gevraagd wordt kenmerken van een goede tekst te noemen,overwegen de meer technische aspecten zoals opbouw en taalge-bruik, boven de inhoudelijke aspecten. Dit kan duiden op eensociaal wenselijk antwoord, maar is ook een aanwijzing datopstellen voor leerlingen op twee wijzen functioneren: op eennatuurlijke en op een schoolse wijze. Slijkbaar willen zij vanhun docent leren, en vervullen medeleerlingen een natuurlijkebehoefte dat er kennis genomen wordt van de ontwikkelde ideenin de tekst. Commentaar van medeleerlingen wordt niet voet-stoats geaccepteerd, dat van docenten wel. Zij zien de docentals een sterke representant van de norm: zijn goed/foutopmerkingen worden geaccepteerd, omdat hij daarvoor opgeleidis en meer ervaring heeft op dat gebied. Opvallend is datleerlingen aangeven graag commentaar op de inhoud te hebben,maar er tevens blijk van geven juist dit commentaar niet teaccepteren. Ze aanvaardes: wel commentaar op 'zakelijke'aspecten, zoals spelling. Zodra er dus geen sterke normen voorgoed en Lout bestaan, laten schrijvers het commentaar voor wathet is. Leerlingen zeggen vooral kritiek naast zich neer teleggen als er alleen een oordeel gegeven wordt. Schrijverswillen weten hoe het komt dat een lezer negatief oordeelt, zijwillea van de lezer meer informatie over het waarom.

Conclusies. De resultaten van de praktijkinventarisatie en deliteratuurverkenning leidden tot het ontwerp van een eersteversie van de experimentele onderwijsprocedure die in devolgende paragraaf beschreven wordt. tat de praktijkinventa-risatie concludeerden we het volgende.

De opdrachtsituatie. Opstelopdrachten die een persoonlijketekst vragen, kunnen leerlingen in moeilijkheden brengen alszij weten dat medeleerlingen hun tekst zullen lezen. Zakelijkeopdrachten lijken daarom meer geschikt. Leerlingen moeten heelgoed weten hoe hun tekst verder zal functioneren. Als zijweten wie de tekst zal lezen, - de docent of medeleerlingenkunnen zij hun keuzen qua inhoud en presentatie daarop base-ren.

59

- 54 -

Lezen. De leesfase levert alleen voor leerlingen met eengering vertrouwen in eigen kunnen problemen op. Met twee meat-regelen zouden ook die leerlingen wellicht meer op hun gemakgesteld kunnen worden: a) accentueren dat legen (en becommen-tariaren) van opstellen bedoeld is om elkaar te helpen, om hetopstel te verbeteren vootdat Mit ingeleverd wordt, b) accen-tueren dat de meeste leerlingen fouten maken: voor sommigeleerlingen bleek dit inzicht ertoe te leiden dat zij commen-tear en lezersreacties met open vizier tegemoet zagen.

Commentaar geven. Leerlingen vinden het nuttig om te doen,maar niet leuk. De motivatie de taak zo goad mogelijk uit tevoeren zal op verschillende manieren worden bewerkstelligd. a)Door een herschrijffase op te nemen in de opdrachtenreekswordt duidelijk dat goed commentaar een ander helpt een betereversie te schrijven. Er kan dan een beroep gedaan worden opsolidariteit. Na de herschrijffase worden de teksten nogmaalsgelezen, commentatoren kunnen dan ervaren of hun bemoeienisresultaat heeft gehad. Daarvan kan een bemoedigende werkinguitgaan. b) Door een reflectietaak toe te voegen na de commen-taartaak, die leerlingen opdraagt na te gaan wat zij van dietaak geleerd hebben, wordt de leerzaamheid van die taakbenadrukt. c) Door anonimiteit na te streven worden storendeinvloeden van affectieve relaties tussen schrijvers en com-mentatoren ingedamd. d) Door leerlingen in staat te stelleninhoudelijk commentaar te geven wordt voldaan aan hun na-tuurlijke behoeftet in een commentaarschema zullen de eerstevragen betrekking hebben op inhoud. e) Door te wijzen op devaliditeit van elk serieus oordeel en op het ontbreken vanvaststaande normen voor een goede tekst, zijn leerlingen metweinig vertrouwen in hun oordeelvaardigheid wellicht geholpen.Door in het commentaarschema de commentatoren te helpen hunkritiek te formuleren, worden leerlingen die moeite hebben methet formuleren van kritiek gesteund.

Commentaar ontvangen en verwerken. Vier maatregelen werdengetroffen om in problemen van leerlingen in deze fase tevoorzien. a) Door de docent op gezette tijden het commentaar-werk van leerlingen te latan bekijken op volledigheid, - zijnalle aspecten aan bod gekomen zou leerlingen enigszinsgegarandeerd kunnen worden dat er met inzet is gewerkt.Vermeden mot echter worden dat de commentatoren aan 'imagebuilding' gaan doen (par. 3.1.). b) Door in de commentaartaakook opdrachten op te nemen waaruit het de schrijver kanblijken dat er aandacht aan besteed is, kan de schrijver met:neer zekerheid de waarde van het commentaar schatten. c) Dooreen opdracht te formuleren waarin schrijvers zelf hun opstelwaarderen, voordat de tekst door anderen zou worden gelezen,zouden ze zich minder onzeker hoeven te voelen. d) Doorcommentatoren en schrijvers over hetzelfde onderwerp te latenschrijven, zou inhoudelijk commentaar aan autoriteit kunnenwinnen.

60

- 55 -

4.2. De experimentele onderwijsprocedure: eerste versie

De conclusies uit het literatuuronderzoek (hoofdstuk 3) en depraktijkinventarisatie vormden het fundament voor de ontwikke-ling van de experimentele onderwijsprocedure. Alleen deprocedure met leerlingenrespons werd ontwikkeld. Bij deontwikkeling werd erop toegezien dat dezelfde proceduregebruikt kon worden in klassen waarin docentfeedback gegevenzou worden. De verschillen tussen de onderwijsprocedure in deexperimentele en controleconditie worden in par. 4.4. getoond.De leergang werd ontwikkeld en beproefd gedurende het cursus-jeer 1983-1984 op een school waaraan de onderzoeker deeltijdsverbonden was. Met twee colleges ontwierp or. basprak hij deprocedure en het lesmateriaal. Voor een deel berustte hetlesmateriaal op een op die school gebruikte syllabus voor hetvakonderdeel schrijven. Verder is gebruik gemaakt van Bruffee(1980) en Rijlaarsdam en Blok (1981). Uitgegaan werd van eencursusduur van Cin cursusjaar, omdat leerlingen de tijdmoesten krijgen de ontwikkelde kritische leeshouding om tezetten in revisiestrategieln. In het onderstaande wordt deonderwijsprocedure en het lesmateriaal kort beschreven.

Schrijfopdrachten werden gekozen uit de verzamelingH.A.V.0.-A examenopdrachten. Deze opdrachten voldeden aan onzeeis van zakelijkheid. Het zijn opdrachten waarin een probleem-stellende alinea gevolgd wordt door een stuk of zes citatendie verschillende argumenten en zienswijzen bevatten, met eenbronvermelding. Die opdrachten werden gekozen, die relatiefvaak door examenkandidaten werden gekozen. De opdrachtenwerden zd herschreven, dat de schrijftaak communicatieverwerd. Expliciet werden het doel (overtuigen), het publiek(medeleerlingen), het medium en de aanleiding vermeld. Leer-lingen wisten dat hun opstel becommentarieerd en herschrevenzou worden. Alle leerlingen schreven over dezelfde opdracht,opdat zij elkaar inhoudsuggesties konden geven en de model-working optimaal zou zijn. De leerlingen hadden een week detijd de opdracht te bestuderen en aanvullende informatie teraadplegen. De opstellen werden op school geschreven.

Na de voltooiing van de eerste versie van het opstel, kreegde leerling de gelegenheid een eigen oordeel over het opstelte formuleren. De docent kopieerde alle, gecodeerde, anoniemeopstellen driemaal en verdeelde de kopie0n willekeurig overklasgenoten.

Dan volgde de commentaarfase. Er werd schriftelijk enanonaam commentaar gegeven. We onderscheidden twee fasen: eenlees- en reageerfase en een commentaarfase. Uit de literatuuren de praktijkinventarisatie was het nuttig gebleken onder-scheid te maken tussen de rol van lezer en die van commenta-tor. Daarmee sloten we aan bij Elbow (1981, p.251) die tweesoorten feedback naast elkaar plaatst: 'reader based feedback'en 'criterion based feedback'. Door beide typen feedback vanleerlingen te vragen, is een synthese tussen de opvattingen

61

- 56-

Tabel 4.1.s Fragmenten uit twee feedbackinstrumenten(overgenomen uit Rijlaarsdam, Groeneweg enWeijers, 1983)

Tabel 4.1.A.s Fragment uit het subjectieve reac-tieformulier.

F.

Seeen1et

) & werd echs Ito hes ardemerg be-uolhen

ht de Weds% Inn & het rsatldo mon di kw

44 MeeOen.

j 4

5

Tabel 4.1.B.: Fragment uit het objectiverendecommentaarformulier.

Imam tot het doentenende mocodolowhee pubheligenchewsd

O Woe* de lent in de mlekbes em coder Imo lengespooed to been het dot eat ottsmola'

NeeH. begto it re oug. de Ian Mak bone ml De knack seo de let* worth to -el 'rook.Ha bemn iii ("wan. vintopIlbaar De odet hect Ie Woo mos wei *es asis Ms begin verbeteding weeks MIS Un ren om tag meet wawa IwbbeoVorsnuou ondoseek Vtrochotee leo tow

Wordt de leen het rood wenn des ho ohi not So onanottp re melon bah;

NeeDe let* cat stch m* betroldeo swim bo het*Wenn"be inn vat tit damp.

isI do* w bra nOn O at 440choo cm deletee re lateo Koko det hsp leta In* lift sad*.wimp re snake' Wok. Nelms blob her hip leo

Probkr it mm undscht aso dii *re04010Imping

O 1044t in de *Jot dud. wheover besek den itiesers too ecl so. kn him MO

Nes!iosh on de mower no schnoin. nods son deotter*** le Ii meekest et tehnao vnOt leten 455 2 14 ow

It hei opuel pukka& re km* ea* doi *MeV

NeeLew* sullen row moms kboto Suits ton ifbegmmt

to Lest de Khoo* ell* hecI &Web& opt

Mud M toe (4101414r119o de moue von *browno de intermit*nog meer oet dae Weis toe Warren outtn Ettatal wit LitI Us the nom so otmomomm toosoot do pubbelt ism 11 hi* hinihow

isSoots cel di leen eson mash& kopheo Doorverbegenogen ui iwolintuenio prepentooo lonnuletof *mom wootdkeusio *hood piortsertgensOp de *ens" nut ees psi de tells: ban piperelit tag orIbegeopeltplser mgen

Nee isDe token** is moms stormOlmeded. in lo In de memm geoilkes Anson bo so in de knitolon di kit. iuss tin tt OtpOptn Htt ham els. up5 nom go It sim lemppen le sou deer nef

* atoll* deo de hum traot al we* +eel wis kw*** **men

4I.

Ow hen weeedase )e de emdeelw esn diInet webt Z. wore de *tee pruh. De *deoohnf tftOtils teaPuma mummer.

4 551

I. Mir OM mon 7 on di he/W.)71 ye.odetts. a*norm im* lest( op weirdo* del s & be.nohlteo 84i pen vork0

4 1Is

Dal bhdo &delta un de meows son othoprin*Meek Win. de lege( noel mdi IRIOn.OrlfOM Agile. de coorbeelden. emcdoren. venhodelsphorn hthko eilemsel * mato met dm le.**veep 1411 roem =no of Jig ont yeaicepdeedtp sap op de

4P.

De Inteentrue is thodelok. words hehiet rowontund ill rfornwherd

4 5

I. deo towhead je ben cm sakso oil re o*moon re kohl !tees' deo *cs 'oder

so Sof y001 mow $i lo OP ** 4

6 2

- 57-

van Bruffee (1980), Elbow (1974) en Moffett (1968) tot standgebrachts de leerling is lezer, deelnemer aan de communicatie,en coach, beschouwer van de communicatie. VOor beide rollenontwiorpen we een feedbackformulier. Basis voor de constructievan beide formulieren waren de items van een bestaand en reedsgelvalueerd leerlingenbeoordelingsinstrument (Blok en Rijlaars-dam, 1981, Rijlaarsdam en Blok, 1981). Aan dit instrument la-gen zes categorieen ten grondslags doelgerichthoid, publieksm-richtheid, structuur, betrouwbaarheid, nieuwswaarde en taul-gebruik. Doze categorieen werden in daze volgorde opgenomen inde nieuwe instrumenten, het zg. reactieformulier en het zg.commentaarformulier. In het reactieformulier warden per cate-gorie twee stellingen geformuleerd na eclectic van items dieeen hoge item-rest-correlatie vertoonden in het 1981-instru-ment. Op de stellingen konden lezers reageren door aan tegeven in welke mate ze het eens waren met deze stelling.Tevens moesten zij in enkele warden de indruk noteren die hetopstel op hen maakte.

In het tweed° formulier, het commentaarformulier, wardenper categoric vijf commentaarvragen opgenomen, ook op basisvan item-rest-correlaties in het oude instrument. In dezevragen ward niet iets over de lezer gevraagd, maar iets overkwaliteiten van de tekst. Leerlingen konden op can vijfpunts-schaal noteren in welke mate hun antwoord bevestigend dan welontkennend was. Om de inhoud van de vraag en de schaalpuntente verduidelijken en om de commentaargever tot expliciteringvan zijn antwoord te brengen, werd onder de schaalpunten 1, 3en 5 een tekstie geschreven (zie tabel 4.1.). Commentatorenkonden bij veel vragen niet volstaan door middel van eencijfer antwoord te geven en schaalwaarden aan de schriiver terapporteren, near moesten vaak een toelichting geven of hetnummer van de vraag noteren in het opstel, zodat de schrijverkon nagaan op welke passage het commentaar betrekking had (zietabel 4.1., vraag 7, schaalpunt 4 en 5). pit zou de acceptabi-liteit van de feedback verhogen. Bovendien werd van de commen-tator gevraagd het doel van de tekst te formuleren, publiek-gerichte zinnen te onderstrepen, hoofdzinnen van alinea's teonderstrepen en de overgang tussen inleiding en middenstuk enslot en middenstuk te markeren. Met deze extra taken werdbeoogd dat de commentator de tekst intensief zou lezen en datde schcOver over aanwijzingen beschikte in welke mate decommentator werk gemaakt had van zijn taak. Verondersteld werddat de schriiver via dit formulier over atomistische tekstge-richte feedback beschikte, waarin zowel commentaar op vorm aleinhoud was opgenomen. Om leerlingen in de gelegenheid te stel-len meer informatie over de betekenis van de zes categorieente leren, werd een achtergrondtekst van enkele pagina's ge-schreven over de zes categorieen. Doze tekst konden leerlingenook raadplegen als zij feedback verwerkten en revisies bedach-ten.

.0m de commentaartaak aantrekkelijker te maken voor deleerlingen, werd een beroep gedaan op de nuttigheidsfunctie

63

- 58 -

die leerlingen in de praktijkinventarisatie onderkenden. Nahet lezen en na het becommentariSren vervulden de leerlingenschriftelijk een reflectie-opdracht, waarin gevraagd werd dezelfwaargenomen leereffecten te noteren.

De leerlingen ontvingen vervolgens via de docent hun drieanoniem becommentarieerde opatellen terug; drie kopieSn metaantekeningen en drie of meer multobladen waarop itemnummers,scores en toelichtingen geschreven waren. Om de leerlingen tehelpen de grote hoeveelheid feedback te verwerken, werd dezetaak in stappen verdeelds ordenen, samenvatten, kiezen, op-stellen van herschrijfplan. In de instructie werd benadruktdat leerlingen zelf verantwoordelijk waren voor hun keuze uitelle feedback en het recht hadden feedback naast zich neer teleggen. Wel werd geeist dat leerlingen hun keuzen zoudenverantwoorden. Na het opstellen van het herschrijfplan werdgedurende 66n lesuur de dotinitieve versie herschreven. Eenpear lesuren later rouleerden de mappen door de klas omelkaars laatste versies te kunnen lezen.

De experimentele onderwijsprocedure werd ingepast in hetbestaande lessenplan. In de eerste twee trimesters zoudenleerlingen twee van deze schrijtronden van 6 1 10 lesurenvoltooien, in het laatste trimester 66n. De multomap die elleopdrachten bevatte, werd na elke schrijfronde per trimesteringeleverd en kwantitatief beoordeeld als onderdeel van hetrapport. Tevens kozen leerlingen een van de twee trimester-opstellen uit, en legden die aan de docent voor een rapport-cijfer voor. De docent beoordeelde het commentaar dat leer-lingen gaven niet inhoudelijk, om een 'image building' effecttegen te gaan. Er werd slechts nagegaan of de taak verrichtwas.

Gedurende het cursusjaar werd de experimentele onderwijs-procedure beproefd op verschillende wijzen en momenten.Daarvan doen we verslag in de volgende paragraaf. Sommigeresultaten van de beproevingen leidden tot revisies.

4.3. Vijf bruikbaarheidsonderzoeken

In de loop van het cursusjaar waarin de experimentele onder-wijsprocedure werd uitgeprobeerd door twee docenten en deonderzoeker in vier derde klassen, zijn een vijftal bruik-baarheidsonderzoeken verricht om informatie te verzamelen overde wijze waarop de onderwijsprocedure functioneerde. Op basisvan de resultaten van deze onderzoeken brachten we verande-ringen aan in het leerlingenmateriaal en de procedures. Wevatten de opzet en de resultaten van deze onderzoekjes kortsemen. In de volgende paragraaf (4.40 relateren we beslis-singen aan wijzigingen in de experimentele onderwijsprocedureaan deze onderzoeken.

Beproeving 1; procesonderzoek. Doel van dit onderzoek was nate gaan welke problemen leerlingen op de proefschool ervoeren

64

- 59 -

bij het werken met de twee feedbackinstrumenten, - het reac-tieformulier en het commentaarformulier -, in hun rol vancommentator en in de rol van schrijver die het commentaarverwerkt. Negen Atheneum-3 leerlingen uit drie verschillendeklassen, die eenmaal de gehele lescyclus in klasseverbandhadden gevOlgd, werden voor de tweede cyclut uit hot klasse-verband gehaald en voerden enige taken hardopdenkend uit. Deprotocolanalyse is gerapporteerd in Rochardt en Rijlaarsdam(1984).

Commentatoren. De interpretatie van de in de formulierenopgenomen criteria verschilde soms van wat bedoeld ward,waardoor de validiteit van de formulieren in het gebruikinboet. Ook bleek dat leerlingen niet aan elle vijf vragen percategorie evenveel waarde hechtten: er vond een niet in deinstructie opgenomen weging pleats. Wel was het zo, datleerlingen ongeveer dezelfde vragen als de kern van eencategoric beschouwden.

feast dit inzicht over de betektalis van de commentaarvragenvoor leerlingen, constateerden we een vijftal problemen voorcommentatoren. Het eerste probleem betrof de vragen in deformulieren. Leerlingen moesten teveel vragen beantwoorden,hadden problemen met de interpretatie van sommige vragen enervoeren overlap tussen de vragen. Het tweede probleem betrofhet fieven van een waardering. Sons konden leerlingen geenwaardering toekennen, some wilden ze het niet. Ze konden hetniet als het bevraagde tekstelement in het opstel ontbrak ofniet duidelijk te identificeren was. Rot niet willen waarderensproot voort uit het geringe belong ddt leerlingen hechttenaan sommige tekstelementen. VOoral vragen in de categoriefnbetrouwbaarheid en taalgebruik leken van weinig belang. Degegeven eituatie dat elle leerlingen dezelfde opstelopdrachthadden gekregen, was er ook weleens de oorzaak van datcommentatoren in de problemen geraakten. Vooral vragen in decategorie nieuwswaarde ('een nieuwe kijk op het onderwerpV)en betrouwbaarheid waren voor sommige leerlingen daardoormoeilijk te beantwoorden. Een derde probleem voorcommentatoren was het gebruik van de vijfpuntsschaal. Er dedenzich problemen voor met betrekking tot schaalpuntomkeringen,de kedze voor een schaalpunt en de toelichtingen bij schaal-punten. De schaalpuntomkeringen hadden alle betrekking op diestellingen in het reactieformulier, die een enkele of zelfseen dubbele ontkenning bevatten. in het commentaarformulierhadden commentatoren meermalen moeite met het kiezen van eenschaalpunt, omdat zij rich niet konden verenigen met deomschrijving die bij het schaalpunt vermeld werd.

Naast deze problemen met de didactische instrumenten signa-leerden we twee algemenere problemen: motivatieproblemen enrolproblemen. Op een gegeven moment verlichtten de coalmen-tatoren hun taak door zich te beperken tot het geven vanscores en elle andere verplichtingen te verzaken, zoalstoelichtingen, vraagnummers in het opstel, het onderstrepenvan publiekgerichte zinnen en het formuleren van de doel-stalling van de tekst.

6 5

-60 -

Meer dan de helft van de commentatoren had moeite met derol di. zij vervulde. 'Voor mij is het opstel de moeite waard,wear voor liners?' 'Als ik het publiek ben, dan...' Zijnleerlingen nu lezers, het publiek of moeten zij andermansreacties schatten? Wat moot de referentie voor het oordeelzijn dat zij vellen? Dit rOlprobleem deed zich voor bij vragenuit de categorie nieuwswaardo. Zen ander rolprobleem trad opbij vragen uit do categorie taalgebruik. Leerlingen voeldenzich niet capabel hierover uLtspraken te doen: 'Ik heb er nietveel verstand van, dear moet *en Wear :mar op letten.'

Herschrijven. Hoewel leerlingen worstelen met de enormehoeveelheid feedbackgegevens, hun ideefn over de kwaliteit vanhun opstel en soms het gebrek aan overeenstemming tussencommentatoren, kiezen ze toch vrij intultief die categoriefnvan de feedback, waarop zij relatief het meeste commentaarkregen. We verzamelden per leerling de frequenties van descores 4ie betekenen: verbeterf (scores 1,2,3). De ratio vande frequentie van 'verbeterscores' en 'houden zo scores'definieerden we :as een verbeterindex. Hoe hoger de index, hoesterker het signaal voor de herschrijver dat er verbeterd mootworden. Doze indices zijn vermeld in tabel 4.2. Zen asteriskduidt aan dat dit aspect voor verbetering aanvaard word doorde herschrijver in het protocol of in het herschrijfplan. Hetvalt op dat het aspect nieuwswaarde door deze leerlingen nietverbeterd zal worden, hoe sterk het signaal om het wel te doenook is: van de signalen zijn er 6 sterker dan 1., wat betekentdat tenminste 50% van de commentaren zegt: verbeterf Zelfs inde heel duidelijke gevallen van Etas en Marco wordt nieuwswaar-de niet verbeterd.

Tabel 4.2.: Sterkte van verbetersignalen (de ratio van fre-quenties van scores 1,2 en 3 en scores 4 en 5)

Aspect

One1wichtheld Putatkgtschtheid Stcnecunr Oactnnwlsaarheid NLuw3warde Taalgebrulk

Otchacd

NA! ha lte

CathAt

$1110O

at ten

OAS

mace*

Sandra

Sankt's

.7

2.5

0

1.).

.5

2.3

7.

.2

.5

.6

1.

.1

1.2.

.2

4.3

6.*

.2

.2'

.6

1.7'

.1.

2.2

1.2

.6

2.

.4

3..

.7AI'

.1

1.2

.8..

a.

5.

.4

.9

.8

2.2

.1

3.

1.9

20.

10.

1.

.a

.1.1

.5'

4,

1..

.2.

6.

.1.

.2.

aspect vont vrbecectnq aantoascd

Als we leerlingen buiten beschouwing laten die op de catego-riefn relatief weinig verschillend beoordeeld werden (Richard,Esther, Sandra) en we laten de categoric nieuwswaarde buiten

6 6

- 61 -

beschouwing, dan blijkt dat Nathalie het sterkste signaal vande mos in hear verbeteringen betrekt evenals Bas, Marco enSaskia, en Simon de op 66n na sterkste, evenals Helen. Her-schrijvers lichten die categorie6n eruit voor verbetering,waarop zij relatief het meeste commentaar krijgen. Zij schat-ten de sterkte op vrij grove manier en komen tot en correctresultaat. De categorie nieuwswaarde lijkt niet te functio-neren voor herschrijvers.

Uit een vergelijking tussen de opmerkingen uit de proto-collen over het verbeteren op categorieft en het herschrijf-plan blijkt dat slechts bij 44n leerling informatieverliesoptrad. In een pear andere gevallen trad juist informatiewinstop: in het herschrijfplan werden zelfs ;neer verbeteringenbeoogd dan leerlingen tijdens het verwerken en vaststellen vancommentaar formuleerden. De negen leerlingen deden in totaal19 voorstellen om hun eerste versie te verbeteren. Zen viertalbeoordelaars beoordeelden eerste en herschreven versies op devoorgenorman herschrijving. In negen van 116 19 gevallen werd detweede versie beter gevonden op het voorgenomen verbeterings-aspect dan de eerste versie door drie of vier van de beoorde-leers. Zeven leerlingen verbeterden hen opstel zichtbaar optenminste 46n aspect. In 44n geval bleek de eerste versieunaniem beter dan de tweede versie.

Beproeving 2: vragenlijstonderzoek. Doel van dit bruikbaar-heidsonderzoek was te onderzoeken of en in welke mate deleerlingen de feedbackopdrachten uitvoerden en de gekregenfeedback verwerkten en hoe zij oordeelden over het reactiefor-mulier en het commentaarformulier. Overeenkomstig het eerstebruikbaarheidsonderzoek werd de bruikbaarheid voor twee rollenonderscheiden: de bruikbaarheid voor commentatoren en voorherschrijvers. Gedurende de vierde schrijfronde werden aan deleerlingen op de proefschool vier vragenlijsten voorgelegd.Elke vragenlijst werd verstrekt op het moment dat leerlingenaan het desbetreffende onderdeel van de experimentele onder-wijsprocedure werkten. Van 88 leerlingen werden vragenlijstenretour ontvangen. De belangrijkste bevindingen worden hieron-der samengevat.

Het reactieformulier. Commentatoren zeiden ellen op de 12reactiestellingen van dit formulier te reageren. De opdrachtde indruk te beschrijven die het opstel maakte, werd door 80%steeds vervuld. De leerlingen waren verdeeld over de aantrek-kelijkheid van deze opdracht, maar een duidelijke meerderheidvond hem zinvol (74%).

De belangrijkste oordelen over het formulier waren de vol-gende. Gevraagd werd near de validiteit van het reactiefor-mulier: toon je daarmee je eerste reactie? 'Ja zei 74%; 'nee'vond 26%. Het invullen van het reactieformulier werd nietmoeilijk gevonden: slechts 13% gaf te kennen moeite te hebbenmet dit formulier. Twee stellingen bleken moeilijk te zijn,beide betroffen het aspect betrouwbaarheid. Verder werd noggevraagd near het relatieve belang dat commentatoren hechttenaan de 12 stellingen. Verreweg de belangrijkste stellingvonden zijs 'Ik ben eigenlijk niet overtuigd', inderdaad eenfinaal criterium voor een betogende tekst.

6 7

- 62 -

Herschri vers vonden vrijwel ellen (96%) dat de 12 reactie-stellingen a tijd ingevuld waren. Over de opdracht een verbaleomschrijving van de indruk te geven waren zij minder optimis-tisch dan commentatoren: 58% antwoordde ja/bijna altijd; 30%soms; 12% nee/bijna nooit.

Wat de validiteit van het formulier betreft: 38% vond datzij via de scores te weten kwamen wat lezers van hun opstelvonden; 61% vulde hier 'matig' in. Toch zei 62% bij heterschrijven rekening te houden met de cores; 38% zei datniet te doen. De verbal* indrukomschrijving werd informatiefgevonden (700; iets meer leerlingen (760 zeiden rekening tehouden met deze omschrijving bij het herschrijven. Herschrij-vers vonden het niet moeilijk om te begrijpen wat de scoresbetekenden (80%). Ook herschrijvers vonden 'II: ben eigenlijkniet overtuigd' de belangrijkste ste1Ling. Tenslotte werd nogaan herschrijvers gevraagd van hoeveel leerlingen zij eenreactie wilden om good te kunnen herschrijven: 73% antwoordde3; 15% 2; 4% 1 en 9% gaf te kennen van meer dan drie leer-lingen reacties te willen.

Het commentaarformulier. Ook hier werd eerst gevraagd nearde werkwijze van commentatoren en daarna naar hun oordelen.Commentatoren moesten eerst de hoofdgedachte formuleren: 82%iii-1110717-aoen. Daarna moest van elke alines de kernzinonderstreept worden: 61% zei dat te doen, 23% deed het nooit.Het markeren van de overgang tussen inleiding, kern en slotwerd door 70% gedaan, 30% deed het nooit. Met een golflijntjepubliekgerichte zinnen aangeven deed slechts 56%. Het beant-woorden van de commentaarvragen scoorde hoog: 95% deed dit.Bij een aantal commentaarvragen moesten leerlingen het corres-ponderende vraagnummer in het opstel noteren om aan te gevenwear de feilen zijn. Bij 12 van de 17 vragen waarvoor dit vantoepassing is zei 40% of meer dit nooit of bijna nooit tedoen. Het invullen van het commentaar kostte veel tijd: 51%werkte 15 A 30 minuten, 41% 30 A 45 minuten per opstel.Welke taken vonden commentatoren geschikt om goed commentaarte geven? Van groot belang vonden zij commentaar in het opstelzelf (98%), toelichtingen bij antwoorden op commentaarvragen(92%), verwijzingen in het opstel naar commentaarvragen (82%)en de antwoorden op de commentaarvragen (821). Over de zinvol-heid van ander* taken was men verdeeld.

Het overgrote deel (94%) vond dat de schrijver door hetcommentaarformulier geholpen zou worden. Over de moeilijkheidvan de commentaartaak en onderdelen ervan oordeelde mengedifferentieerder. Het invullen vaa het commentaarformuliervond 20% moeilijk; 65% antwoordde 'gaat wel' en 51 vond hetmakkelijk. Van de extra opdrachten werden het aangeven vanpubliekgerichte zinnen en het noteren van vraagnummers in hetopstel moeilijk gevonden. Vrij mooilijk werd het onderstrepenvan kernzinnen van alinea's gevonden. De belangrijke taken alshet beantwoorden van de commentaarvragen, het toelichten vandie antwoorden en het plaatsen van commentaar in het opstelzelf werden niet moeilijk gevonden. Er werd ook per commen-

68

- 63-

taarvraag near de moeilijkheid gevraagd. Vier vragen werdendoor 40% of meer van de leerlingen ale moeilijk ervaren: tweevragen over doelgerichtheid, 66n over structuur en 66n overbetrouwbaarheid. Als geheel bleken de categorieft doelge-richtheid en betrouwbaarheid het moeilijkst. Om de betekenisvan de aspecten :oor leerlingen te achterhalen. word gevraagdwelke commentaarvragen het best uitdrukten wat de commentatoronder het aspect verstond. Mize gegevens konden worden ge-bruikt bij het selecteren en herschrijven van vragen. Voor ditdoel word ook near het relatieve belang van de commentaarvra-gen gevraagd en near de mate van duidelijkheid van de vragen.Wat dit laatste betreft vond 59% dat er wel wat vragen ver-duidelijkt zouden kunnen worden, waarbij het nummer van debetreffende vragen genoemd word. Over de duidelijkheid van detoelichtende tekstjes onder de schaalpunten was men (85%) weltevreden. Van enkele tekstjes werd gezegd dat deze wel duide-lijker konden. Het aantal antwoordmogelijkheden bij de commen-taarvragen vond men wel genoeg (81%); 68% vond vijf mogelijk-heden precies goed, 27% zou a2n drie mogelijkheden genoeghebben. Veel leerlingen vonden het commentaarformulier te lang(42%) of veel te lang (31%). Uit de mogelijkheden om de com-mentaartijd te bekorten word vooral gekozen voor het becommen-taritiren van minder opstellen: 32% koos voor een korterformulier en drie opstellen; 24% voor een korter formulier enminder opstellen; 44% wilde het formulier zo houden, maarminder opstellen. Gevraagd near de minimale omvang van hetformulier om een goed commentaar te kunnen geven, antwoorddebijna de helft (48%) 16-20 vragen; van 18% mocht het nogminder zijn (11-15), 15% vond 21-25 vragen een adequatelengte. Als de leerlingen voor de keuze gesteld zouden wordenaspecten te moeten laten vallen, zouden ze doelgerichtheid enpubliekgerichtheid willen behouden en taalgebruik en betrouw-baarheid niet.

Wat krijgen herschriivers aan feedback binnen? Zij nemen dehoeveelheid feedback wat pessimistischer wear dan de commen-tatoren. De hoordgedachte wordt volgens 67% van de herschrij-vers geformuleerd; het onderstrepen van kernzinnen door 43%;het markeren van de overgang tussen inleiding, kern en slotdoor 53%, het markeren van publiekgerichte zinnen door 42%;het noteren van nummers in de kantlijn door 61%; het beant-woorden van de commentaarvragen door 98%.

Er bleken geen commentaarvragen te zijn die volgens her-schrijvers vaak werden overgeslagen. Wel waren er vragen,waarbij het verplichte corresponderende nummer in de kantlijnvan het opstel ontbrak: van drie vragen gaven 10 of meerleerlingen aan dat het nummer vaak ontbrak. Herschrijvers(86%) vonden de scores op het commentaarformulier behulpzaamals het ging om het verbeteren van het opstel. Een nog groterpercentage (90%) gaf te kennen bij het herschrijven rekeningte houden met de scores. Over de behulpzaamheid van de extraopdrachten verschilden herschrijvers nauwelijks van mening metcommentatoren. Alleen het markeren van hoofdzinnen werd (nog)

69

- 64 -

minder behulpzaam geacht (26%),evenals het markeren van deovergang tussen inleiding, kern en slot (44%). Ook aan her-schrijvers word gevraagd wat de twee belangrijkste vragen peraspect waren. Hun ooreelen waken niet opvallend af van die vancommentatoren. Onk ward Imvraagd near de acht belangrijkste ende ache onbelangrijkste commentaarvrtgen. Deze gegevens zoudeneen rol kunnen spelen het selecteren en herschrijven vancommentaarvragen. Over Iengte van het formulier was menverdeeld: 45% vond de . aveelheid commentaarvragen preciesgoed, 51% vond de hoeveelheid te groot. Het merendeel gaf aan20 (40t) of 25 (32%) antwoorden nodig te hebben op even zoveelvragen om goed te kunnen herschrijven. Gesteld voor de keuzede hneveelheid commentatoren te bepalen, gaf 73% te kennen erdrie nodig te hebben; 19% had gewleg aan twee. Als herschrij-vers gevraagd wordt op welke twee aspecten zij in elk gevalcommentaar willen hebben, gevan zij aan doelgerichtheid (54 x)en publiekgerichtheid (34 x) de voorkeur. Structuur, be-trouwbaarheid en taalgebruik zouden wat hen betreft mogenvervallen.

Heproeving 3: statistische analyses. Het doel van dit deelon-derzoek was na te gaan of de feedback die leerlingen aanelkaar geven met behulp van de twee didactische instrumentenvan voldoende kwaliteit was. Tevens werd de interne structnurvan de instrumenten aan een analyse onderworpen en de matewaarin elk instrument jets eigens vertegenwoordigde. Voor dereanalyses werden de scores verzameld die leerlingen in detweede schrijfronde op de proefschool toekenden. De data zijndus onder normale condities verzameld, met alle mogelijkebronnen van ruis. Het ging ons niet om de kwaliteit van deinstrumenten onder optimale omstandigheden, maar om de kwali-teit zoals die zou zijn in het gewone schoolgebruik. Elkopstel werd door drie leerlingen beoordeeld. Van 110 opstellenwerden de scores verwerkt. De beoordelaarsovereenstemming werdberekend op gesommeerde scores. De overeenstemming bleek laagvoor het reactieformulier (een correlatie van .50) en matigvoor het commentaarformulier (.65). Het commentaarformulierbestond (par. 4.2.) uit zes categorieft van elk vijf commen-taarvragen. De overeenstemming tussen beoordelaars varieerdevan .52 tot .61 per categorie. De coafficilnt voor het reac-tieformulier mocht laag zijn: feedbackontvangers wisten datzij te maken hadden met eerste indrukken, die sterk lezersaf-hankelijk zijn. Alr leerlingen echter de instructierol over-nemen van de docent door hun scores op het commentaarformulieraan de schrijver tftrug te koppelen, is een zekere mate vanovereenstemming gewenst, aangezien de ontvanger enders zeerdivergente feedback zou krijgen waaruit moeilijk af te leidenzou zijn wat nu het algemene oordeel is over het opstel. Erzou naar middelen gezocht moeten worden om de overeenstemmingte verbeteren. De interne consistentie van beide instrumentenbleek bevredigend (Cronbachs alpha op over beoordelaars ge-sommeerde scores voor het reactieformulier .83; voor hetcommentaarformulier .93). Ook le categorieen van het commen-

70

- 65 -

taarformulier bleken uit vrij homogene verzamelingen vragen tebestaan: Cronbachs alpha varieerde van .70 tot .83. Er bleekwel overlap tussen deze categorieans de categoriesomscorescorreleerden van .51 tot .70. Enkele vragen bleken sterk tecorreleren met enders categoriefn. Sij het selecteren enhersChrijven van vragen zou met de correlatias tussen devraag-eigen categoriecorrelaties en de vraag-andere categorie-correlaties rekening gehouden worden. Set reactieformulier enhet commentaarformulier vertoonde eveneens overlap. De corre-latie tussen somscores bedroeg .71.

Reproeving 4s zelfrapportages. Het doel van dit deelonderzoekwas na te gam of leerlingen leereffecten constateerden bijzichzelf na de cursus en aan welke fase van de lessencycluszij deze effecten toeschreven. In de praktijkinventarisatiehadden we al door leerlingen gerapporteerde relaties tussenlezen en becommentarifren van elkaars teksten en leereffectenverzameld, maar het was de vraag of het door ons geconstrueer-de onderwijsprogramma eveneens in de ogen van Iserlingenvruchten afwierp. De via zelfrapportages verkregen effectenzouden een rol kunnen spelen in de uiteindelirce veraie vanhet onderwijsprogramma. Ze konden gebruikt worden als moti-verende elementen. Aan het eind van het cursusjaar werd deleerlingen die de gehele cursus hadden mee9emaakt, gevraagdper didactische fase te rapporteren wat zij er volgens henzelfvan leerden. tat de leerverslagen van 81 leerlingen uit vierderde klassen werden drie fragmenten geanalyseerd, namelijk deantwoorden op de vragens 1. wat leerde ik door het lezen vanandermans opstellen2 2. wat leerde ik door het becommenta-rifren van andere opstellen2 3. wat leerde ik door het commen-taar op mijn opstellen2 Per vraag werden de propositiesgescoord door twee onafhankelijk scorende doctoraalstudenten,die werkten met een op basis van de praktijkinventarisatievantgesteld categorieanschema. De gemiddelde overeenstemmingtussen scoringen dezer studenten bedroeg 7511 (Rijlaarsdam,1984).

tat de analyses bleek dat leerlingen van het lezen van el-kaars opstellen over het onderwerp leerden en modellen vanteksten opbouwden. Ze leerden zowel via slechte als goedevoorbeelden. Zen aantal uitspraken legde een direct verbandtussen geconstateerde kwaliteiten in andermans opstellen, heteigen opstel en de te schrijven herziening.

Het commentaar geven had vooral tot gevolg dat leerlingencriteria verwierven en internaliseerden. Een aantal leerlingengaf aan dat zij die toepasten als ze gingen schrijven. Anderenmeldden dat zij het tijdens het becommentarifren geleerdetoepasten op hun hertichrijving. Een paar leerlingen schrevendat door de commenta_rtaak het gewone lezen was veranderd.Naast daze leereffecten die elle gemeen hebben dat er eenanalytischer inzicht ontstaat, gaf eenderde van de leerlingenaan iets geleerd te hebben met betrekking tot de commentaar-handeling zelf. Of men schreef dat het nu gemakkelijker was

71

- 66 -

het commentaar op de eigen tekst te begrijpen, of men rappor-teerde dat de communicatieve situatie enige verplichtingenoplegde, zoals objectiviteit en behulpzaamheid.

Van het ontvangen van commentaar werd vooral geleerd wat ergoed en tout aan het eigen opstel was, waardoor goed her-schreven kon worden. Ook werden algemenere uitspraken gedaan,die duidelijk maakten dat leerlingen kennis over criteriaverwierven, die bij sommigen een rol speelden bij het schrij-ven van nieuwe opstellen. Er waren ook leerlingen die schrevente hebben geleerd hoe ze zich moesten gedragen als ze commen-tear kregen. Voor anderen ging van het gekregen commentaar eenvoorbeeldwerking uit near het zelf commentaar geven: goedevoorbeelden werden overgenomen.

Geconcludeerd werd dat elle drie de fases in de ogen vanleerlingen duidelijk repercussies hadden op het schrijven. Hetlezen van elkaars teksten had een eigen functie, omdat leer-lingen daarover meldden dat zij over het onderwerp leerden endat geleerde toepasten in hun herschrijvingen. Dit was eenbeoogd voordeel van de situatie dat schrijvers en commentato-ren over hetzelfde onderwerp schreven. Overwogen zou moetenworden, ondanks bezwaren geuit in het procesonderzoek (deeerste beproeving), deze situatie te handhaven. Duidelijk werdook dat de fase van herschrijven aan het doel beantwoordde:leerlingen gaven te kennen het tijdens de commentaarronde ge-leerde in de herschrijffase toe te passen.

Finale beproeving. Om na te gaan welke problemen de organise-tie van een schrijfronde opleverde als verschillende docenteningeschakeld werden die er nog vrij onbevangen tegenoverstonden en om de aan het hoofdonderzoek deelnemende docentente trainen, werd voor deze docenten een proefronde georgani-seerd. Tevens werd de beoogde schrijfopdracht voor de toets-momenten in het hoofdonderzoek uitgeprobeerd. Er werd eenhandleiding voor zes lessen geschreven. Het leerlingenmate-riaal was zo samengesteld, dat er een grote mate van over-eenstemming was met de eerste schrijfronde in het hoofdor.-derzoek. Leerlingen ontvingen een boekje met opdrachten,formulieren en gelinieerde pagina's. Alleen op de categorieftdoel- en publiekgerichtheid werd commentaar gegeven. De vragenvan de feedbackinstrumenten waren nog niet gereviseerd. Achtdocenten werkten mee aan de proefronde. Uit logboeken vandocenten, observaties door onderzoekers en een gemeenschap-pelijke evaluatievergadering met docenten werden vijf hoofd-problemen besproken en voorstellen geformuleerd.

De schrijfopdracht werd aan de moeilijke kant gevonden.Niet elle klassen hadden er moeite mee, maar enkele moesten opweg geholpen worden door de docent. Besloten werd dat deopdrachten die op de proefschool waren uitgeprobeerd nogherzien zouden moeten worden wear het de citaten betrof, dieovergenomen werden uit de zogenaamde H.A.V.0.-A-opdrachten.

De periode (mei-juni) bleek bijzonder ongeschikt voor eenreeks lessen. De periode wordt gekenmerkt door grote dis-

7 2

- 67 -

continulteit en veel docentenbemoeienissen met examens.Besloten ward de afronding van het onderzoek begin mei 1985 teplannen.

De schrijfronde legde leerlingen een strak werkritme Op. Opzich was dit geen bezwaar, maar een wat ruimere lesplanningzou voor docenten en leerlingen aangenamer zijn, zeker in hetbegin van het cursusjaar waarin leerlingen moesten kennismakenmet deze wijze van werken. In samenhang met het in het vorigepunt genoemde werd besloten niet de geplande zes, maar vierschrijfrondes in de cursusplanning op te nemen, die per stukwat langer konden duren.

Niet in elle klassen lukte het docenten de leerlingen ervante overtuigen dat leerlingen anoniem moesten becommentarieren.Voor het begin van het hoofdonderzoek leek het toch van belangdat docenten dit konden bereiken. Man verwachtte dat sulks ineen 'verse klas wel zou lukken. Enkele docenten deden deandere tips aan de hand, zoala het uiteenplaatsen van banken.Zeker omdat leerlingen hun papiermassa's goed moeten organi-sezen, was deze wenk heel plausibel voor leerlingen.

Docenten waren veel tijd kwijt met het kopiaren en sorterenvan opstellen die becommentarieerd moesten worden. Vooral alsabsente leerlingen hun werk later inleverden of men zich moestbehelpen met zeer eenvoudige kopieerapparatuur, word het werkvan docenten seer tijdrovend en onoverzichtelijk. Beslotenwerd leerlingen op setjes zelf-doorschrijvend papier te latenschrijven. Met enige voorbedrukte gegevens zou dit ook hetsorteerwerk van docenten aanzienlijk vergemakkelijken.

4.4. Definitieve experimentele onderwijsprocedure

De vijf bruikbaarheidaonderzoekjes leverden ons veel informa-tie over het functioneren van de experimentele onderwijsproce-dure en de twee feedbackinstrumenten. We besloten elle stappenuit de eerste versie (par. 4.2.) te handhaven. We beschrijveneerst de veranderingen die we aanbrachten in het materiaal ende gehele procedure. Daarna beschrijven we het totale lesmato-riaal. In hoofdstuk 6, par. 6.3., wordt een schrijfronde uit-voerig beschreven zoals die in het onderzoek werkelijk pleats-vond. Daarom blijven we hier beknopt.

Een eerste verandering was het aanbieden van ,een veelgrotere hoeveelheid lcerstof over de zes categorieal waarop decursus gebaseerd was; doelgerichtheid, publiekgerichtheid,structuur, betrouwbaarheid, nieuwswaarde en taalgebruik.Daarmee wilden we bereiken dat de inhoud van de feedback-instrumenten een referentiekader kreeg, hetgeen de validiteiten betrouwbaarheid van de instrumenten ten goede zou komen.Herschrijvers beschikten daardoor over meer kennis om verbe-teringen aan te brengen.

Een tweed. verandering was het bekorten van de commentaar-task. In het proefjaar gaven leerlingen op dertig commentaar-vragen antwoord. Uit verschillendc beproevingen bleek dataantal teveel. Door nu per schrijfronde twee categorieal te

73

- 68 -

introduceren, wilden we bereiken dat er een heviger concentra-tie op die twee categoriedn zou plaatsvinden. De validiteit ende betrouwbaarheid van de feedbackinstrumenten zou daarmeegebaat zijn.

Per tweetal categoriedn werd dan ook de theorie (ziehiervoor) daarover aangeboden. In de eerste schrijfrondewerden doel- en publiekgerichtheid geintroduceerd, vervolgensstructuur en betrouwbaarheid en in de derde schrijfrondekwamen nieuwswaarde en taalgebruik aan bod. in de vierdeschrijfronde zou een samenvattende procesgang van het schrij-ven van een opstel de leerstof zijn. Gezien de ervaringen inhet proefjaar (zie beproeving 2) zouden commentatoren op nietmeer dan twintig vragen antwoord geven. Per categorie werdenvijf vragen geformuleerd, zodat in de derde schrijfronde uitde dan dertig beschikbare vragen er twintig geselecteerdmoesten worden. We hlelden vast aan drie commentatoren peropstel: commentatoren zouden liever minder opstellen vancommentaar voorzien, maar waren als herschrijvers toch blijmet drie commentatoren.

De derde verandering had betrekking op de feedbackinstru-menten. Ze werden beide gehandhaafd, maar wel gewijzigd. Opbasis van correlaties, moeilijkheidsgegevens, betekenisfoutenwerden vragen en toelichtende tekstjes bij schaalpuntenherschreven. Wear mogelijk werd in de schaalpunttoelichtinggevraagd een verwijzing in het opstel te noteren. De vragen inhet commentaarformulier werden stelselmatig in de derdepersoon gesteld, opdat leerlingen vanuit hun coach-functiefeedback zouden geven. Alle uit de beproevingen (1,2 en 3)beschikbare informatie werd gebruikt om het reactie- en hetcommentaarformulier te verbeteren.

Ben vierde verandering betrof de begeleidende instructiebij de taken commentaar geven en commentaar verwerken. In hetproefjaar hadden we vrijwel uitsluitend via mondelinge in-structie toelichtingen gegeven op deze fasen en de problemendie leerlingen ontmoetten. Nu de cursus echter overgedragenmoest worden naar andere docenten, was het goed op de ervarenproblemen te anticiperen. Daartoe werden op basis van leer-lingervaringen ult de praktijkinventarisatie en de beproe-vingen instructieteksten geschreven over het commentaar gsvenen problemen als 'wie ben ik dat ik daarover mag oordelen?' ende invloed van affectieve relaties op oordelen over teksten.Daarover werd bijvoorbeeld geschreven dat een vriend gedupeerdis als hij van de commentator vergoelijkend commentaar zoukrijgen: met commentaar help je de ander een goede herschrij-ving te maken. Ook werden instructieteksten geschreven overhet ontvangen en interpreteren van feedback. Voorgedaan werdbijvoorbeeld hoe te handelen bij een gebrek aan overeenstem-ming tussen commentatoren.

Een vijfde verandering gold de fase van commentaar verwer-ken. Leerlingen kregen een formulier waarmee zij snel inzichtkonden krijgen in de grote hoeveelheid feedbackgegevens diezij kregen. Verder werd in instructieteksten voorgedaan hoecommentaar samengevat kon worden en hoe een keuze uit hetcommentaar verantwoord kon worden. Er werden voorbeelden enbesprekingen van herschrijfplannen opgenomen.

74

- 69 -

Hen zesde verandering betrof alleen de erste schrijfronde.In de finale beproeving hadden wij voor de leerlingen eengeheel voorbedrukte schrijfronde samengesteld, wat de organi-satie in de klas vergemakkelijkte. Voor leerlingen die voor deeerste keer aan zo'n schrijfronde deelnamen, betekende dezevoorstructurering een aanzienlijke steun in de grOte hOeveel-heid taken die zij moesten uitvoeren. Voor de eerste schrijf-ronde in het onderzoeksjaar maakten we een dergelijke voorge-drukte schrijfronde.

Een zevende verandering was van meer organisatorische aard.We steiden aan docenten zelfdoorschrijvend papier beschikbaar,waardoor zij verlost waren van het kopiMren van opstellen.Doordat elke set samengesteld was uit vier verschillendekleuren, kon er nu ook voor worden gezorgd dat elke leerlingeen keer als aerate word becommentarieerd. De commentatorenzouden nu van drie leerlingen een opstel ontvangen; elk vandie opstellen had een andere kleur. Door de volgorde van wer-ken vast te leggen via een af te werken kleurvolgorde, werdvan elke leerling SSn kopie het eerst becommentarieerd.

Een achtste verandering was het opnemen van extra-commen-taartaken bij categorieMn waarvoor er nog geen geformuleerdwaren. De taken hebben tot doel de opstellen al in enige matevoor te bewerken vooraleer antwoorden op de commentaarvragenwerden geformuleerd. Bij betrouwbaarheid moesten Jeerlingen inde kantlijn van het opstel aangeven (jai, nee! of ?) in welkemate .:As het met een uitspraak eens waren. Voor nieuwswaardemoest in de kantlijn (nieuwl) geschreven worden als er eenelement met nieuwswaarde aangetroffen werd. Voor taalgebruikmoesten met commentaarvragen corresponderende nummers in dekantlijn ginoteerd worden, zoals 27 (te makkelijk taalge-bruik), 27 (te moeilijk taalgebruik), 30 (onpersoonlijktaalgebruik). Bij het beantwoorden van de commentaarvragen konniet volstaan worden met het aankruisen van een cijfer. Bij 22van de dertig vragen moest tevens een met de vraag correspon-derend nummer in de kantlijn van het opstel geplaatst worden.Bij negen van de dertig vragen moest een toelichting bij éSnof meer van de antwoordmogelijkheden geschreven worden.

Voor de controleconditie werd vrijwel hetzelfde instructie-materiaal gebruikt. Alleen de instructieteksten over commen-taar geven en verwerken werden aangepast. De docent die defeedbacktaak vervulde in de controleconditie zou dat metdezelfde feedbackinstrumenten doen: het reactie- en hetcommentaarformulier. Hij zou dezelfde commentaartaken ver-vullen. Omdat leerlingen in de controleconditie geen feedbackgaven, werden de reflectietaken 'Hat heb ik geleerd van hetlezen/het becommentariMren van andermans opstellen?' vervangendoor een andere: 'Hat heb ik geleerd van deze schrijfronde?'In tabel 4.3. worden de twee condities naast elkaar gezet.

De leerlingen dienden al het werk te bewaren in een multo-map. Deze bevatte vier afdelingen:Algemene informatie. Elke tending nieuw materiaal werd verge-zeld door een pear pagina's informatie over hoe het pakket dit

75

- 70 -

keer in elkaar stak en opgeborgen moest worden en een route-beschrijving van de desbetreffende schrijfronde.Informatie over schrijven en opstellen. Deze afdeling bevattedrie delen. In deel A ward de leerstof over aspecten vanteksten gepresenteerd. In deel B werd ingegaan op de reflec-tietaken. Deel C bevatte elle informatie, waaronder de reac-tie- en commentaarformulieren, over het geven en verwerken vancommentaar.Werkafdeling. Voor de eerste ronde ward een geheel voorgedruk-te ronde opgenomen, waardoor leerlingen begeleid warden in deorganisatie van elle stappen. Verder ward daze afdeling gevuldmet de schrijfopdrachten en eigen multopapier voor andereschrijfronden.Rommelhoek. Hierin ruimde de leerling al het materiaal op dathij produceerde tijdens open ronde, maar dat niet in de defini-tieve werkafdeling opgenomen moest worden.

Tabel 4.3.: Vergelijking tussen de onderwijsprocedures van deexperimentele en de controleconditie

Experimentele conditie Controleconditie

1. Bestuderen van instructietekstenover tekstaspecten, maken vancontrolevragen, bespreking in deklas. bestudering van de schrijf-opdracht

2. Uitvoeren van de schrijfopdracht.'clad en net. in de klas

3. Reflectietaak: wat vind ik vanmijn opstel en hoe verliep hetschrijfproces dit keer?

4. Lezen van drie anonieme op-stellen

5. Reflectietaak: wat heb ik ge-leerd door het lezen van deopstellen?

6. Becommentarifren van dezelfdedrie opstellen

7. Reflectietaak: wat heb ik ge-leerd door het becommentariarenvan de opstellen?

8. Commentaar ordenen, samenvatten,kiezen

9. Rerschrijfplan opstellen10. NerschrOven

1. idem

2. idem

3. idem

4. Tijdens twee lesuren wear-in de experimentele conditie

5. commentaartaken verricht.krijgt de controleconditiewerk op uit de gebruikte les-

6. of leesmethode. De docent7. leest en becommentarieert de

opstel thuis.

8. zdem

9. idem10. idem11. Reflectieopdracht: wat hob ik ge-

leerd van done schrijfronde?

Uit tabel 4.4. kan opgemaakt worden welk materiaal perschrijfronde werd toegestuurd. Het lesmateriaal werd vergexelddoor een docentenhandleiding. Dexe bevatte een algemeen

76

- 71 -

gedeelte en een gedetailleerde planning per schrijfronde. Inhet algemene gedeelte kwamen aan de orde: het verdelen van deopstellen over commentatoren, het bewaken van de werksfeer ende anonimiteit, het opvangen van absenten, het controleren vande schrijfmappen, het bijhouden van de logboeken en hetbeoordelen van de opstellen voor het rapport. Verder ontvingendocenton enig additioneel materiaal. Zij kregen de beschikkingover doorschrijfpapier, waarop leerlingen in 66n schrijfhan-doling vier extImplaren van hun opstel produceerden. Docentenkregen formulierem waarmee zij snel aan leerlingen feedbackkonden geven over hun schrijfmappen. Ook werden per schrijf-rondo aangepaste formulieren geleverd, waarop leerlingen hetgekregen commentaar kondon ordenen tot een overzicht. Hetcomplete lesmateriaal iDe Schrijfmap) is te raadplegen in hetbijlagenxapport 1, behorend bij dit onderzoeksverslag. Inhoofdstuk. 6 doen we nauwkeurig verslag van de gang van zakenvan de sp:hrijfronden, waardoor de lezer een beeld krijgt vanonze aanpek.

Tabel 4.4.: Overzicht van lesmateriaal t.b.v. het experi-mentele stelonderwijsprogramme

1. rood. 2. roods e rend* 0 rood*

A19emerle Ariformetie

Informatle overSchrspen rt opte11n

deaf A

dee*.

d*1

ruedefing

paqina

23 pedine'e Overdoel- ea poblsek-gerichtheld.

6 oaqine'e over doulenkoetealrodea.

23 9401ea's aver 't%melte VOA COMSO 9.VOA, alproblemen ea deformulierea vOordoe1gericbthe10 enrvibtiebgerschtheld.12 Mina's overhet vmorke0 VOACOMMenti4V.

22 paglee'St deethrWoodracht enen voorgedruktecoevit ethri,f.roadie.

5 peoirm'e. 2 paqine'0.

20 pdioe'll ever 16 mu ** coe 4 paglea'S.strectuor ea be- nieuvevaarde ea bevettendetrovvbeerheld. tealgebrutk. .011 memenvet-

tende schrs)t-procedure.

peoa's overde oedeoboeft'Bingen.

5 rwon's: deformu1kareastructuur ea be-trouvbeerhetd.5 O4Okria's overherschriltplemeo.

19 pegtee's metloformatle overhet ondeevetp.

peqtaes deforevlaerenasevvev 66666teelmObrUik.

25 pagtees eat 30 pegloe's setAnformatte over inforeata overhet oodarverp. het oademerp.

. 7

- 73 -

5. INSTRUMENTATIE EN MEETKWALITEIT VAN DE DATAVERZAMELING

In dit onderzoek onderscheiden we drie soorten afhankelijkevariabelen: Schrijfprestatievariabelen, Schrijfprocesvaria-belen en Psychologische Variabelen. Voor elle variabelen zijnmeetinstrumenten ontwikkeld; sommige daarvan zijn in voor-onderzoek boproefd. Voor de Schrijfprestatievariabelen zijnopstelschalen geconstrueerd (par. 5.1.) en analytische sco-ringsvoorschrifter (par. 5.2.). Voor de Schrijfprocesvaria-belen is een codeerschema ontwikkeld (par. 5.3.). Vcor dePsychologische Variabelen is een zelfrapportage-instrumentsamengesteld (par. 5.4.). Van elk instrument wordt de con-structie beschreven met beschikbare betrouwbaarheidsgegevens.Tevens worden meetkwaliteiten van de dataverzameling gerap-porteerd. Voor de wijze van dataverzamelen, aantallen proef-personen e.d. verwijzen we near hoofdstuk 6.

5.1. Opstelschalen

Voor het maken van Schrijfprestatievariabelen werden tweeschrijfopdrachten opgesteld, opstelschalen geconstrueerd enanalytische scoringsvoorschriften ontwikkeld. In deze pare-graaf wordt de constructie van de schrijfopdrachten en deopstelschalen beschreven, alsmede de kwaliteit van de viaschaalbeoordeling verkregen scores uit het hoofdonderzoek.

Constructie. Voor het aerate en tweede toetsmoment werd 44nschrijfopdracht ontwikkeld, voor het derde moment een tweede.De schrijfopdrachten sloten qua opzet aan bij de schrijfop-drachten uit de leergang. De opdrachten bevatten: een situa-tieschets, bevattende de aanleiding, het doel, het publiek enhet medium; een opdracht, met daarin nadrukkelijk nog eensvermeld het doel, het publiek en het medium; een hoeveelheiddocumentatie over het onderwerp, bestaande uit citaten enbewerkingen van fragmenten uit dagbladen, tijdschriften enboeken. De eerste opdracht werd ontleend aan een zogenaamdeH.A.V.0.-A eindexamenopdracht. Leerlingen dienden een antwoordte formuleren en te beargumenteren over de vraag 'Bestaat erstress onder scholieren7'. Deze opdracht was op de proefschoolalsmede in de finale beproeving (hoofdstuk 4) uitgeprobeerd.De tweede opdracht werd op eigen gezag ontwikkeld. Leerlingenmoesten nu hun mening geven over 'De zin of onzin van huis-werk'. Deze opdracht werd beproefd op een zevental scholen inhet kader van de constructie van een aantal meetinstrumentenvoor taalvaardigheid voor een ander project (Van den Bergh etal., 1986).

Voor de constructie van de opstelschalen werd de door Bloken Moeksma (1984) beproefde werkwijze gevolgd. Er werd eenverzameling in kwaliteit verschillende en uiteenlopendeopstellen uitgetypt en na een training aan een vijftal Neer-landici voorgelegd. Deze laatsten dienden te schatten hoeveelkeer beter een te beoordelen opstel was dan een door de on-

78

- 74 -

derzoeker gekozen standaardopstel, dat door projectteamledenals middelmatig was beoordeeld. Deze taak werd voor elk van devier prestatievariabelen verricht, aan de hand van globalekenmerkenlijstjes.

Per variabele warden twee tot vijf beoordelingsvragen ge-steld, die werden vergezeld door opstelkenmerken die men inhet te beoordelen opstel zou moeten aantreffen bij een posi-tief respectievelijk negatief antwoord. De volgende beoorde-lingsvragen werden gesteld:Publiekgerichtheid: De relatie tussen schrijver en lezer:maakt de iEhrijver contact met de lezer? De relatie tussenonderwerp en lezer: bevat de tekst inhoudelijke elementenwaaruit blijkt dat de lezer met het onderwerp te maken heeft?Doelgerichtheid: Bevat de tekst een duidelijk standpunt in dediscussie? Bevat de tekst inhoudelijke elementen die de over-tuigingskracht van de onderbouwing bevorderen/verminderen?fobor Is de tekst optisch goed ingedeeld? Is het opstei goedInge eeld in inleiding, kern en slot? Wordt de hoofdgedachtein de inleiding en het slot geformuleerd? Zijn de alinea'sgoed met elkaar verbonden? Zijn de alinea's goed opgebouwd?glias Zijn de zinsbouw en de woordkeus gevarieerd? Bevat hetopstel taaltrucjes, stijlfiguren? Is het taalgebruik persoon-lijk?

Er werden 64 opstellen in getypte vorm in boekjes gebun-deld: de volgorde in elk der boekjes was een willekeurige. Perbeoordelaar waren er acht boekjes: voor elk van de viervariabelen twee: een boekje waarin de oordelen moesten wordengegeven in getallen en een boekje waarin de oordelen moestenworden gegeven in lijnen. De vijf beoordelaars drukten eerstin lijnen en later in getallen uit hoeveel beter of slechterdan het gegeven standaardopstel het te beoordelen opstel was(vgl. Blok en Hoeksma, 1984). De beoordelingszittingen vondenplaats op het onderzoeksinstituut. In het algemeen bleken debeoordelaars in deze eerste constructieperiode niet alien evengoed gestuurd te worden door de instructies. De stabiliteitvan de beoordelaars was over het algemeen redelijk, maar hunonderlinge overeenstemming liet te wensen over. Deze datableken in eerste instantie geen solide basis voor een opstel-schaal. Inmers, van een in de schaal opgenomen opstel zou metveel te weinig zekerheid gezegd kunnen worden dat het eenzeker schaalpunt representeerde. Aileen de gegevens voor devariabelen Stijl en Opbouw f'Huiswerk'l werden voldoendegeacht. Voor de overige zes schalen moesten opnieuw con-structiezittingen worden gehouden.

Op drie wijzen werd getracht in de tweede constructie-periode de beoordelaars beter op elkaar af te stemmen: viabeoordelaarsselectie, intensievere trainingen en feedback. MIbeoordelaar werd op grond van zijn afwijkend beoordelaars-gedrag niet voor een tweede constructieperiode uitgenodigd. Deconstructeurs ontvingen naast de beoordelingsvragen en ken-merkenlijstjes opstellen die als voorbeelden bij de kenmer-

79

kenlijstjes dienden. Deze werden in instructiebijeenkomstenbesproken evenals het standeardopstel. Len tiental opstellenward als training beoordeeld en besproken. Daarna vervulden deconstructeurs onafhankelijk van elkaar hun beoordelingstaak.De constructeurs zeiden behoefte te hebben aan feedback.Regelmatig werd daarom de beoordeling onderbroken voor hetberekenen van correlaties. Als een enkel opetel en legecorrelatie veroorzaakte werd het besproken. De resultaten vandeze tweede constructioperiode blelmn wel voldoende als basisvoor een schaal. In tabel 5.1 staan de resultaten van detweede constructieperiode samengevat, alsmede de resultatenvan de waste periods ('Huiswerk', Stijl en Opbouw).

Tabel 5.1.1 Stabiliteitsco1ffi2f1nten1) (8) en compatibili-teitscolfficienten (c) bij de schaalconstructievoor de opdrachten 'Huiswerk pi) en 'Stress' (S)na logaritmieche transformctie der ruwe scores

oord1ser Pub1tekqerschtNe1da Doelvtrichthetd" Opbouw. St1;1

s c s c s c s cUSOS N $ N S NSOS OSOS1 .76 .63 .71 .73 .72 .$3 .81 .76 .78 .77 .81 .82 .79 .70 .71 .70

2 .78 .83 .74 .74 .113 .94 .71 .82 .86 .89 .77 .87 .81 .86 .79 .79

1 .48 .81 .81 .76 .96 .93 .71 .88 .87 .88 .87 .8$ .11$ .78 .88 .73

4 .89 .74 .84 .81 .8S .69 .82 .77 .84 .$1 .72 .86 .78 .61 .73 .62

11 Stabt1stett: de correlatie tussen d scores yen en oordeleer op '111nen' en op 'oetei.len'.

21 Coopatabt1stekt: de corre1etie tussen d scores vim 6ft bspoordlaer en de overicie beoorde-!oars.n . 64n )0

Vervolgens stelden we schalen semen waarmee de opstellen uithet experiment beoordeeld werden. De scores van 'lijnen, en'getallen' werden logaritmisch getransformeerd om een inter-valschaal te verkrijgen en vervolgens per beoordelaar gesom-meerd. Deze werden op hun beurt gesommeerd tot juryscores. Dehomogeniteit van deze scores bleek hoog (zie tabel 5.2.).

Tabel 5.2.: Homogeniteit van jury-oordelen bij opstelschaal-constructie (Cronbachs alpha: n=4 beoordelaars)

Publiekgericht- Doelgericht- Opbouw StijlOpdracht heid heid

Huiswerk .96 .95 .90 .90

Stress .90 .92 .94 .86

so

- 76 -

Deze juryscores werden getransformeerd near een schaal met eengemiddelde van 100 en een standaardafwijking van 15. Van elkvan de acht schalen is de gemiddelde standaardafwijking van debeoordelingen berekend: deze beliep waarden van 2.8 tot 4.4.Deze waarden zijn een indicatie voor de zekerheid waarmee menweet dat de score een zekere waarde op de schaal reprer,n-teert.

Tabel 5.3.: Correlaties tussen de opstelschalen voor Publiek-gerichtheid, Doelgerichtheid, Opbouw en Stijl.Hoven de diagonaal voor de opdracht 'Huiswerk',onder de diagonaal voor de opdracht 'Stress'

SchaalPubllekge-richtheid

Doelgericht-?mid

Opbouw Stijl

Pub1Lekgerichtheid .39 .17 .66

Doelgecxchtheid .17 .17 .10

Opbouw .54 .03 .44

Stijl .62 .31 .45 -

Uit de acht opstelschalen werden voor elke schaal vijf opstel-len gekozen die op of nabij de schaalpunten 70, 85, 100, 115en 130 lagen. Alleen opstellen waarover beoordelaars hetrelatief sterk met elkaar eens waren, kwamen voor selectie inaanmerking. Het resultaat van deze keuze =est bovendien aende voorwaarde voldoen dat elke schaal andere opstellen bevat-te. We beschikten tenslotte over acht schalen, met ieder vijfvoorbeeldopstellen, waatmee de beoordelingstaak verricht werd.Daze beoorde1ingsschaltn zijn integraal opgenomen in hettweede bijlagenrapport. ten beoordelingsschaal bestond uit eengroot vel papier, waarvp een lijn aangebracht was met alsgrenspunten 70 en 130. op gelijke afstanden waren 85, 100 en115 op de lijn aangebracht. Boven de lijn waren de vijfopstellen ingeplakt die elk een schaalpunt representeerden. Inschema:

opstel

1

opstel

2

opstel

4

opstel

5

55 60 65 70 75 80 85 90 95 100 105 110 115 120 125 130 135 140 145

81

- 77 -

Dataverzameling. Uit het hoofdonderzoek resulteerden 792opstellen (zie hoofdstuk 6). Doze werden door twee onafhanke-lijke beoordelaars op de variabelen Doelgerichtheid, Publiek-gerichtherid, Opbouw en Stijl beoordeeld met behulp van opstel-echelon. Seoordelaars dienden aan de te beoordelen opstellenscors toe te kennen na vergelijking van de kwaliteit van hette beoordelen opstel en de voorbeelden van de opstelschalen.Twee b000rdelaars van wie bekend was uit ander aan de S.C.O.verricht onderzoek dat zij nauwkeurig b4loordeolden en onder-ling overeenstemden, verrichtten de beoordelingstaak voorachtereenvolgens de aspeoten Opbouw, Doelgerichtheid en Stijl.Zij verrichtten de teak op het instituut. Twee andere beoor-delaars, die ook bij de constructie van de opstelschalenbetrokken waren, beoordeelden de opstellen op de variabelePubliekgerichtheid. Ede van belden beoordeelde de opstellenthuis. Voor elke variabele werden eerst de opstellen 'Stress'(voor- en tussentoetsopstellen waren onherkenbaar voor beoor-delaars gemixed) en vervolgens de opstellen 'Huiswerk' (na-toots) beoordeeld. De opstellen waren in willekeurige volgordegelegd, maim wel zo dat de opstellen van een klas zich opgelijke afstald bevonden, opdat geen kits het voor- of nadeelhad zich voor- of achterin de reeks van 792 opstellen tebevinden. Het hole pakket werd in porties van 15 opstellenverdeeld. Elke beoordelaar beoordeeld de portico en dus deopstellen in dezelfde volgorde. Voorafgaand aan do beoorde-lingszittingen word een proefset thuis als voorbereidingbeoordeeld en werden de voorbeeldopstellen op de schemageanalyseerd. Daarop velgde een bespreking onder leiding vande onderzoeker. Er werd gestreefd near consensus over dewaarde van de schaalvoorbeelden en over de inhoud van debeoordelingsvragen. Tijdens beoordelingszitzingen werdensteekproeven genomen om de overeenstemming tussen de becorde-leers vast te stellen. Ale dat near aanleiding van een rola-tief lage correlatie ( .50) nodig bleek, werden opstellen diedie lege correlatie veroorzaakten, opgespoord. Een peardaarvan werden door de beoordelaars besproken onder leidingvan de projectleider. Dit leidde tot steeds verfijnderebeslissingsstrategiefn voor de beoordelaars. Na afloop van hetbeoordelen van een variabele herbeoordeelden de beoordelaarsnog een dertigtal opstellen opdat hun stabiliteit berekend konworden. De betrcuwbaarheidsgegevens zijn vermeld in tabel 5.4.

De variabelen bleken vrij onafhankelijk. De correlaties tussende variabelen waren niet hoog (tabel 5.5.).

8 2

1

- 79 -

Tabel 5.4.: Stabiliteitscoafficianten (Pearson correlatiestussen eerste en tweede beoordeling) van elk derbeide beoordelaars en de overeenstemmingscoaf-ficifnten (Pearson correlaties) tussen beidebeoordelaars van hun beoordelingen met behulp vanopstelschalen

VariabeleStabiliteit(n = 30)

Overeenstemmingin = 792)

Publiekgerichtheid .81 .84 .64Doelgerichtheid .89 .91 .78Opbouw .80 .69 .78Stijl .89 .97 .76

Tabel 5.5.: Correlaties tussen de beoordelingen van de Schrijf-prestatievariabelen Doelgerichtheid, Publiekqe-richtheid, Opbouw en Stijl op drie toetsmomenten(n = 264)

Tijdstip 1An=264)

OpbouwDoelgerichtheid .47Publiekgerichtheid -.03Stijl .38

Doelger.

.13

.29

Publiekger.

.27

Opbouw Doelger. Publiekger.Doelgerichtheid .34

Tijdstip 2 Publiekgerichtheid .30 .28(n=2F4) Stijl .52 .40 .54

Opbouw Doelqer. Publiekqer.Doelgerichtheid .58

Tijdstip 3 Publiekgerichtheid .34 .31(n=264) Stijl .43 .30 .44

5.2. Analytische opstelscoringsvoorschriften

Twee Schrijfprestatievariabelen, Doel- en PubliekgerichtheiA,werden op nog arre wijze dan via opstelschalen gemet-n. V30rdeze variabelen werden analytische scoringsvoorschrift.. ont-wikkeld. Het leek verstandig om deze twee belangrijk( varia-belen op twee wijzen te operationaliseren. Operationalisatiesop analytisch niveau waren nog niet beschikbaar. Hen pogingdaartoe zou ook van didactisch belang kunnen zijn.

Constructie. Er werd een beperkte literatuurstudie verricht(Jansen en Scheringa, 1984). De daaruit verkregen eisen dieaan een doel- en publiekgerichte tekst zouden mof an wordenqesteld, werden gecategoriseerd. Deze categoriean dienden alshu1pmiddel voor het genareren van scoringsitems. Gestreefdwerd near een dichotome scoring. De scoringftvoorschriften zijndocr voor de scoringstaak geworven Neerlandici beproefd. Op

83

- 79 -

basis hiervan zijn de formuleringen bijgesteld. Tevens werdenaan de items toelichtingen toegevoegd, alsmede een aantalopstellen waarnaar verwezen werd in genoemde toelichtingen.

Het object van de scoringen van beide opstelkwaliteitan wasverschillend. Voor de scoring van Doelgerichtheid was de holetekst uitgangspunt. Voor Publiekgerichtheid word d inleidingvan het opstel gescoord. Scoring van de hole tekst zou een teomvangrijke teak zijn. Bovendien is de inleiding bij uitstekhet tekstgedeelte, dat vrijwel uitsluitend tot doel heeft eenlezer te bereiken (zie voor de relationele functie Bract,1979; Schulz von Thun et al., 1982). Dit relationele aspectvan Publiekgerichtheid word in de xperimentele leergang storkbenadrukt.

Het bleek mogelijk voor Publiekgerichtheid scoringsitems teformuleren, die onafhankelijk van elkaar gescoord kondenworden, d.w.z. in principe in *Ike willekeurige volgorde (opitem 19 no). Voor Doelgerichtheid bieek dit niet mogelilk:sommige beslissingen waren afhankelijk van elkaar. In tabel5.6. worden de scoringsitems voor Doelgerichtheid gepresen-teerd, in tabel 5.7. die voor Publiekgerichtheid.

Tabel 5.6.: De items van de scoringsvoorschriften Doelgericht-heid. Voor het item is het itemnummer vermeld

Categorie6n Items

Tekstsoort 1. Is de tekst overwegend argumentatief?

Standpunt 2. Fo..Auleert de schrijver een standpunt over'Bestaat er stress onder scholieren?' /

'Hoeft huiswerk zin?'3. Op welke pleats in de tekst formuleezt de

schrijver expliciet zijn standpunt finlei-ding, kern, s-ot)?

Onderbouwing 4. Wordt een poging gedaan het standpunt aan-vam het stand- nemelijk te maken?punt 5. Hoe onderbouwt de schrijver zijn standpunt?

6. Is de onderbouwing voldoende om het stand-punt aanvaardbaar te maken?

Samenhang 7. Is 2t betoog over het bestaan van hetverschijnsel stress onder scholieren / dezin van huiswerk het centrale element van detekst?

8. Is de informatie van de tekst zodaniggerangsch:$kt dat er 66n heldere lijn in hetopstel zit?

84

- 80 -

Tabel 5.7.: De items van de scoringsvoorschriften Publiekge-richtheid van da inleiding. Voor het item is hetitemnummer vermeld

HOOFDCATEGORIE INHOUD

Subcategorie Contact ischrijver-Lezer,17-05Fat de lezer persoonlijk aangesproken fje,

jij, jullie, gebiedende wijs)?2. Nanifesteert de schrijver zichzelf (ik, me)?3. Kenmerkt de schrijver zichzelf?4. Suggereert de schrijver overeenkomsten tussen

zichzelf en lezers?

Subcategorie rat (Lezer-Onderwerp). W jst de schrijver via een expliciete feite-lijke uitspraak op het belang van de informa-tie voor de lezer?

6. Roept de schrilver emoties op bij de lezer?

Subcategorie Aandacht/S arming7. Stelt de schrijver een vraag?8. Presenteert de schrijver het onderwerp als

iets ongewoons?9. Gebruikt de schrijver beeldspraak die aansluit

bij de interesse/ervaring van de lezer?10. Roept de schrijver iets uit?11. Vertelt de schrijver een anekdote?12. Wbrdt de aandacht van de lezer op een andere

finhoudelijkel manier getrokken dan 7-11?

HOOPDCATEGORIE BEGRIJPELIJKHEID

Subcategorie Structuur1177ETZTZE-de tekst een titel die inhoudelijk en/of

structureel de lezer voorbereidt?14. Beschrijft de schrijver het communicatieve

kader waarin de tekst te plaatsen is?15. Identificeert de schrijver het tekstthema?16. Verstrekt de schrijver informatie over de rest

van de tekst?17. Bevat de tekst uitsluitend elementen die

relevant zijn voor een publiekgerichte inlei-ding?

Subcategorie Taalgebruik18. Bevat het fragment 66n of meer zinnen langer

dan 15 woorden?19. Zijn deze zinnen allemaal goed leesbaar?20. Bevat de tekst een moeilijk abstract woord?

85

- 81 -

Dataverzameling. De scoring van de 792 opstellen werd verrichtdoor vijf werkloze Neerlandici, die ook bij de opstelschaal-constructie betrokken waren. leder scoorde een pakket van 200opstellen. Dit bestond uit 148 voor elke scoorder verschil-lende opstellen en 52 gemeenschappelijke opstellen. De verde-ling Van de Opstellen was zodanig dat elke scoorder nagenoegevenzeer bijdroeg aan de te construeren klassescore. Devolgorde waarin de 148 opstellen werden aangeboden was eenwillekeurige. De set van 52 opstellen was op een voor elkescoorder gelijke volgorde regelmatig over het pakket van 148verspreid. Oeze 52 opstellen werden na afloop van de scoringnogmaals gescoord door elke beoordelaar. Nadat de scoring enherscoring voor de variabele Doelgerichtheid had plaatsgevon-den, werd de scoring en herscoring voor Publiekgerichtheidafgewerkt. De beoordelaars werkten onafhankelijk van elkaar.

De gemeenschappelijke set van 52 opstellen was de basisvoor betrouwbaarheidsanalyses. Daartoe werden eerst enkelehercoderingen aangebracht, zodat elle scoringsitems dichotoomwerden. Ben aantal scoringsitems van Doelgerichtheid wasafhankelijk. Dit maakte het onmogelijk om de gebruikelijketoets- en itemanalyses toe te passen, waarmee de homogeniteitvan de toets kon worden bepaald. Voor de variabele Publiekge-richtheid kon dit wel (KR-201 .24). Beide verzamelingen itemskonden derhalve niet ale een homogene test beschouwd worden.Besloten werd geen somscores te berekenen en uitsluitend opitemniveau, mits het betreffende item betrouwbaar gescoordwas, exploratief naar veranderingen tussen toetsmomenten encondities te kijken.

Per scoringsitem werd de stabiliteit van elke baoordelaarberekend en de overeenstemming tussen beoordelaars. Voor deovereenstemming is Cronbachs alpha berekend. Op dichotomeitems toegepast komt deze index overeen met KR-20. Voor destabiliteit is een index berekend, bekend als Bennetts S(Bennett, Blomquist en Goldstein, 1954). In deze index wordtde ruwe overeensteming gecorrigeerd voor de kans die eenobservatie heeft om door toeval in een categorie terecht tekomen. Brennan en Prediger (1981) spreken in hun overzicht vanovereenstemmingsmaten de voorkeur uit voor Bennetts S als demarginalen niet van tevoren bepaald zijn. In de tabellen 5.8.en 5.9. worden de betrouwbaarheidsresultaten van de scoringenvoor respectievelijk Doelgerichtheid en Publiekgerichtheidgepresenteerd. Uit de tabellan blijkt dat we er maar zeergedeeltelijk in geslaagd zijn voor Doelgerichtheid betrouwbaarte scoren items te formuleren; voor Publiekgerichtheid is datbeter galukt. Bij de interpretatie van de rasultaten (par.7.5.) zullen we aan de scores op onbetrouwbaar gescoorde itemsweinig waarde kunnen hechten. Voor Doelgerichtheid gaat hetdan om de items 4,5a,5b,5c,5d,5e en 8; voor Publiekgerichtheidom item 6.

- 82 -

Tabel 5.8.: Stabiliteiten (Bennetts 5) van vijf beoordelaarsen de jurybetrouwbaarheid (Cronbachs alpha) van deanalytische scoring van de variabele Doelgericht-heid. (n varieert, omdat scoringsitems afhankelijkvan elkaar zijn en is maximaal 52)

Scoringsitem Stabiliteiten Jurybetro,:wbaarheid

1 .33 .57 .54 .54 .56 .69

2 .76 .75 .96 .88 .81 .86

3a .61 .53 .66 .83 .82 .94

3b .61 .69 .51 .83 .76 .84

3c .81 .76 .61 .92 .70 .86***

4 .66 .88 .90 .75 a .13**

5a .90 a .95 .58 .94 .22

5b .62 .47 .27 .79 .56 .72

5c .62 .83 .37 .58 .56 -.03

5d .52 .13 .76 .79 .69 .32

Se .90 .80 .66 .79 .69 -.51

Sf .52 .100 .51 .26 .88 .75*

6 .38 .60 .71 .75 .06 .58

7 .37 .59 .54 .62 .45 .57

8 .41 .38 .88 .77 .29 .33

= de scores van Ben beoordelaar vertoonden geen varian-tie.

** = de scores van twee beoordelaars vertoonden geen varian-tie.

*** = de scores van drie beoordelaars vertoonden geen varian-tie.

a) Voor deze beoordelaars kon op dit item geen Bennetts Sberekend worden wegens een gebrek aan variantie doordattowel op tijdstip 1 als op tijdstip 2 elle opstelleneenzelfde code kregen.

87

- 83 -

Tabel 5.9.; Stabiliteiten (Bennetts S) van vijf beoordelaarsen jurybetrouwbaarheid (Cronbachs alpha) van descoring van(n=52, m.u.v.n36)

de variabele Publiekgerichtheid.item 12 en 19 die afhankelijk zijn;

Scoringsitem Stabiliteiten Jurybetrouwbaarheid

la .84 .88 .92 .100 .80 .92lb .100 a .96 .100 a .77lc .69 .88 .88 .92 .84 .86ld .80 .100 .85 .96 .88 .972 .92 .96 .100 .100 .80 .993 .100 .92 .92 .92 .92 .824 .92 .88 .92 .92 .84 .885 .65 .77 .73 .77 .886 a a .77 a .100 .257 .92 .96 .92 .100 .76 .97,8 .96 .100 .96 .96 .100 .909 a .96 .100 .100 a .62

10 .96 .100 .100 .100 .92 .92,11 .84 .88 .73 .96 .96 .4712 .76 .88 .79 .77 .96 .4113 .88 .100 .92 .96 .92 .9714 .96 .100 .96 a .100 .8315 .53 .62 .25 .81 .61 .6716 .84 .92 .85 .88 .88 .7717 .88 .69 .58 .65 .53 .7118 .88 .96 .72 .100 .96 .9419 .65 .63 .49 .77 .53 .70,20a .100 .88 .92 .92 a .7220b -96 .88 .85 .88 .100 .73,20c .96 .85 .85 .85 a .53

= de scores van dan beoordelaar vertoonden geen varian-tie

** = de scores van twee beoordelaars vertoonden geen varian-tie.

*** = de scores van drie beoordelaars vertoonden geen varian-tie

a) Voor deze beoordelaars kon op dit item geen Bennetts Sberekend worden wegens een gebrek aan variantie doordatzowel op tijdstip 1 als op tijdstip 2 &lie opstelleneenzelfde code kregen.

5.3. Schrijfprocesvariabelen

voor het beschouwen van verschillen in schrijfprocessen isgekozen voor de methode van hardop denken als dataverzame-lingstechniek (Ericsson en Simon, 1984). Er werd op basis vanhet schrijfprocesmodel van Hayes en Flower (1980, 1983) eencodeerschema ontwikkeld, aangepast aan de hypothesen die wij

88

- 84 -

in hoofdstuk 2 formuleerden. In daze paragraaf beschrijven wehet codeerschema en de kwaliteit van de met behulp van ditschema verkregen gegevens in termen van betrouwbaarheid. Hetschema is integraal opgenomen in bijlagenrapport 2.

Constructie. Zoals in hoofdstuk 2 beschreven is, onder-scheiden Hayes en Flower (1980 1983) drie hoofdprocessen: hetplannings-, het formuleer- en het reviseerproces. De afstem-ming van de processen wordt geregeld door een monitor. Tweevan genoemde processen bestaan weer uit subprocessen. Planningbestaat uit genereren, structureren en doelbepalen. Reviserenbostaat uit lezen en corrigeren. Deze hoofd- en onderverdelingvormde de basis voor ons codeerschema. Het codeerschema werdop grond van een aantal proefprotocollen, de specifiekeschrijfopracht en onze hypothesen verfijnd. Het uiteindelijkedoel was zoveel mogelijk verschillende (sub-)processen in hetschema onder te brengen met het oog op latere analyse. In hetkader van de exploraties in dit onderzoek, beperken we debeschrijving van het schema tot de categoriean waarmee dehypothesen onderzocht zouden worden.

Daartoe moesten in de categorie genereren net genereren vanideeen en het genereren van presentatiestructuren wordenonderscheiden: in de categorie doelbepalen het herhalen vantaakeisen uit de opdracht en het genereren van eigen criteriavoor een goede tekst; in de categorie formuleren het omzettenvan gedachten in schrijftaal, - het zichzelf dicteren -, enhet in overweging nemen van woorden en zinnen; en in de cate-gorie corrigeren maakten we onderscheid in het veranderen vankleine tekstdelen (woorden, zinnen) en van grotere fragmenten.Om te kunnen bepalen of schrijvers gebruik maakten van inter-actionele monitoring (Hagen, 1981), brachten we in de catego-riean genereren, doelbepalen en corrigeren het onderscheid aantussen neutrale opmerkingen en opmerkingen waaruit can lezers-perspectief bleak. In tabel 5.10. wordt het relevante gedeelteuit het codeerschema gepresenteerd. Het schema is via hetcoderen van proefprotocollen uitgeprobeerd, bijgesteld enuitgebreid (Seltzer en Sochardt, 1985).

Dataverzameling. Voor de wijze waarop de protocollenverzameld zijn, verwijzen we near hoofdstuk 6. Nu gaan wealleen in op de wijze waarop de 44 protocollen (22 klassen,66n leerling per klas, voor- en nameting) bewerkt warden engescoord. De bandjes werden uitgetypt met behulp van eentekstverwerker, waarin ingevoerd waren de schrijfopdracht, deinformatie over het onderwerp, de kladversie van het opstel ende netversie. Alles wat een leerling volgens het bandje er-tussendoor zei, werd aan het protocol toegevoegd en wat niethardop wend gezegd van wat al in de tekstverwerker stond, werdgewist. De typist bracht in de merges al vier codes aan:hardop schrijven, hardop lezen van de opdracht, hardop lezenvan eigen tekst en hardop denken. Stiltes werden met puntjesaangegeven. Er werd geen interpunctie aangebracht: als eenproefpersoon een gedachte afrondde volgens het intonatiepa-troon, werd een schuine streep getypt.

89

-85 -

Tabel 5.10.: Codeerschema schrijfprocessen (fragment uitBaltzer en Bochardt, 1985)

PfOCOseell voorsoselden von prececoltrespeotwo

02. 2a1tlattsuetiO t.a.v. 4roems/mm*40

voet hat OdellVen von tekat1014 ***Seattle**

/. vox Mt amen Van @ilea takat

2. *et het lmea ven emdraetst/titeten

4. weet het "Mete** 1060mska1s2 von Wen* etyore

1. soot atruatusleao van Need*. ervatimpon, ate.

6. vmet teal*** von Wife

7. War do seeps! vaa 06 schelltoodzsebt aimgeheel et ashalealajk stool Yee do setts*.

*Mesa*O. veer het @teepee met *kelpie/la**

01. sat aaaaa e* ot eyelet* @tail* von prodeht,

&mime et otl1. Mamie*, **hale* Wens** /N (*mutual)

%P tvobliek-120S1e01t)

2. eleee dmeio ot aelteti4 week.** *atm**

de Islet meet **dean (M *'P 2

04. c*

I. ideede. vreatineen,kenely, menineon

flahoudeeWee het opetell./W * I

\P2cook amoottlneen die *rep vljste dot menmot Ilene beam, le, sondee al 'peeltete lohoyden I. moment

altarnatseve pesos**. aaaaa lyceum

cast pottatt elle etweeen so evasion**,

am* het sullen al. noes et arnm/". 1P. 2

cook niat-laheydelilhe oemstkin91n1

de, ai othrsavenda Imams ea** veot

1. Spelling

1. Simone

J. *orden

I. deotponetia

1. layout

10. **Leese 11***arwegeraNetetleten1 von

1. 44e et eon me0t62 woman dam hot loot* sloe

ce91mm0.e51 /M1

2. die ot eon eentei seesaws yotdos ton*

in de kehatt:''P2I. ade tekOteedeeite det het sweat I. op-

' 0liesenteesui ,

2

4. *se tekateoNeelc **dot tme an do

Wet *2

,,st 1

S. de hoLe sot dam toe geptodeaeetde totatN,

6. de intesroctls

hetwochogem eet in het hied *Jot, wen**4551 *elf is in het eet Se esemilyen

it 91 nu *tat mode eess de vootbeeldoo opotheilve*

even eve wit 14 *0 heb Vtaah

Lk spa de tate** nod mat eena a

lk ea bedenhao wee 14 as miasmal In Sey Weemssakstlyeahvoe lee tato* MOM*. / *no van 'lot ***Man

wit 14 au *Oh meet 14 eases otdemso

14 ea het dcesiaase or sPeltetstalt

14 mask oat* lee *twos et klad a* dam *ego itsateen le het me tv &catalyse/ it Oa no in eat net otetipen

it ate, ye he 000 /dot wee het / aaaaa

46t <km it no lint seldet/ dot *Polk @Mascot

het mesten dee enesvoat 2 tootle. **dee

ae lk Peet madeleetiaseen overtuipan

hat poem% oust ea lanqe sienen woedao

as meet mle vosrbeele an eat leeslineen louls vanden

see hod** as slave*** oek dee hat le** met klndorm cool dycrdat is

mendelinge mistiest. det I. soh Vnotheeld vonCat le wet **We heelmenae.

vet 0.1 Lk dset owe *Peen / *vas sal 11 see tee***

it ken vt aatentlilk een **Smelts@ van Wen

eat voetbeelden gat da pasktiA *hat leakagesto

hoe eu it dot heel opechellven

eot *Abel

hos sey dog komen....komt die...

1eetlsegen...seydoe...*7*11...diefletMet. *00 nutet0...kw** oaken...,kenos? nee. **tele poet

eke** alsnoa / lemur& tegel / tent ovoselsan

**et eeldt **sea.* ale all 'lease'l

II ilmithin9a* *Ile bile.. dig slams .seq..5 pp

die heett aaaaa motaaaaaa ta maks*

Jlt as as* tate sin

publsakeeticate omelet*** sip bOv.:

die sewn's* se niat

ate guithO SO wok seal vinden

90

- 86-

vervolq tabel 5.10; Codeerschema schrijfprocessen (fragment)

00. worooderee Iftrbo1otee1 14 lOarappal a talimpan

I. van 44ft at 410 mita& cooceee Ale hot Motet tamale cloortleeee el,. Slit.,

oljn eprooehroolo oe W. dlt &troop SS dem.pa3 vee daps ace mak 14 0640 4041 Mom

3. Ice 446 et Sea metalware's ftplag

la as allot oe* I dee scelletterleMe epoortkr, IP.2 Mal mak 04 matte' tee, eat moms *whiter

3. het catotipscloolto thoosopoi &chat 155151

le eppeehrevos\P.3

4. sea t5k4a41401,414 Osseo.) corder tette

le de toast oel I

P . 3

s. do hela tot dee tee sestroduceerda celia1 ...9i. 1

O. do tatorpuhatle

7. la het "net" verboterd Irochrlrese yea het "tlsd.,cachet:eft(1.p.v. Ii 62 P)iI. opal/log

3. aiambouv3. weardkets

a. ee tb/jhate et peeeeee tootoodeaP. ISO tbijhate et Paseo., wegletea6. ess mord teerceses7. sea %Med teslateaO. Destinies lot. *let te terbeteree

Vamp ja, last seer attteel

De protocollen warden daarna ingedeeld in zinvolle eenheden(Wouters en De Jong, 1982). In een zinvolle eenheid vindt 66ncognitief proces plaats. De indelinq is door twee assistentenuitgevoerd.

De protocolfragmenten zijn door twee Neerlandici qecodeerd.Beiden scoorden twee protocollen als training en bespraken deresultaten daarvan onder leiding van de onderzoeksassistentfragment voor fragment. Elk protocol is daarna door een vanbeiden qecodeerd. Het was onmogelijk voor hen te weten uitwelke conditie het protocol afkomstig was. Gedurende de tweemaanden dat er qecodeerd ward, is op vier momenten een proto-col door beiden qecodeerd. Over deze protocollen is de be-trouwbaarheid berekend met behulp van loglineaire modelpassingmet protocol, codeurs en categoriedn als termen. Het modelzonder codeurs black goad te passen (G1w20.42, df 32, p g.5).Daaruit kan geconcludeerd warden dat de scores verkregen metbehulp van dit schema codeursonafhankelijk zijn.

91

- 87 -

Op grond van de datamatrices moesten we besluiten eenaantal categoriean te laten vallen vanwege zeer lage cel-frequenties. Het betrof het onderscheid tussen neutrale enpubliekgerichte opmerkingen, het genereren van criteria en hetgenereren van presentatiestructuren. Deze scoringen werdenopgenoMen in een restcategorie. Hierdoor vervielen de hypo-thesen over de publiekgerichte aanpak van de proefperSonen inde experimentele conditie, over hun gebruik van criteria inhet proces en over het genereren van presentatiestructuren(zie par. 2.5.)

5.4. Psychologische Variabelen

Uit de didactische literatuur, mar ook uit onderzoeken bleekdat men verwachtte dat een steldidactiek waarin leerlingenelkaars teksten becommentarieerden, vermindering van schrijf-angst teweeg zou brengen. In ons onderzoek was het in eersteinstantie ook de bedoeling de mate van schrijfangst alsafhankelijke variabele op te nemen. Echter, na statistischeanalyse van een onder vijftienjarigen afgenomen vertaling vaneen Amerikaans schrijfangstinstrument (Writing ApprehensionTest van Miller en Daly, 1975) bleek een verfijning van deafhankelijke variabelen mogelijk, die correspondeerde met indidactische literatuur (Rijlaarsdam, 1984) genoemde effecten.Met gebruikmaking van Bergen (l981) werd getracht een meertheoretisch onderbouwd instrument te ontwikkelen. Na eenbeproeving en statistische analyse weri het uiteindelijkeinstrument vastgesteld. In het navolgende beschrijven we deontwikkeling gedetailleerder.

Constructie. Begonnen werd met de afname van een vertalingvan Miller en Daly's W.A.T. De lijst van 26 items werd afge-nomen op een aantal leerlingen die tot onze doelgroep behoor-den (Atheneum en H.A.V.O., derde klassen, n=114). De scoreswerden geanalyseerd op inhoudelijke samenhang. De hele schaalbleek homogeen (Cronbachs alpha .86). Binnen de schaal blekendrie homogene, interpreteerbare schalen van elk vijf A zesitems te onderscheiden, die niet al te sterk met elkaarcorreleerden (.42 - .66). Deze schalen benoemden wij near deinhoud van de items die de schaal droegen. Onderscheidenwerden de schaal Angst-voor-het-niet-Kunnen-schrijven (Cron-bachs alpha .82, 5 items, kenmerkend item 'Ik heb, voordat ikaan de opstel begin, het idee dat het me slecht af zal gaan'),de schaal Houding-jegens-Schrijven (Cronbach alpha .841 6items, kenmerkead item 'Schrijven is erg leuk') en cit schaalHouding-jegens-Beoordeeld-worden (Cronbachs alpha .761 6items, kenmerkend item 'Ik zou het leuk vinden wat ik schrijfaan tijdschriften te sturen voor publikatie').

De gevonden subschalen stelden (ma in staat specifiekerehypothesen te formuleren en te toetsen. Het leek ons wenselijkom binnen de beperkte mogelijkheden die het hier gerappor-teerde onderzoek ons bood een poging te doen een meer theore-tisch gefundeerd schrijfangstinstrument te ontwerpen. We zoch-

92

- 88-

ten daarvoor aansluiting bij Bergen (1981), die de S.S.A.T.ontwierp, de Situatie Specifieke Angst Test. In navolging vaneen aantal theoretici onderscheidt Bergen drie componenten inangst: een cognitieve, een affectieve en een psychofysiolo-gische component. Bergen beschrijft deze componenten alsvolgt.

Cognitieve component: dit is 'Angst-voor-het-niet-Kunnen'in de betekenis van verwachting, het zich zorgen maken oftwijfelen aan een goede afloop van de te verrichten taak. Dezeangst komt voort uit een laag concept van eigen bekwaamheid enis het resultaat van de subjectieve taxatie van de situatiedie als bedreigend voor de persoon wordt ervaren. De items dieBergen formuleerde hebben betrekking op ervaringen van twij-fel, onzekerheid, spanning en op ongerustheid over de eigencompetentie.

Affectieve component: dit is wat Bergen met betrekking totevaluatie-angst 'Evaluatieve gevoelenz noemt. Het gaat omego-betrokken gevoelens, die de uitvoering van de teak nega-tief be/nvloeden. Situaties die positieve affecten van trotsen tevredenheid kunnen opleveren worden opgezocht. Situatiesdie negatieve gevoelens als beschaamdheid, ergernis en teleur-stelling behelzen, warden vermeden.

Psychofysiologische component: het betreft hier fysiolo-gische (hartkloppingen, zweten, ademhalingsproblemen, buik-pijn, beven) en psychische verschijnselen (in paniek raken,zenuwachtig zijn, niet kunnen inslapen) die optreden insituaties die voor de persoon bedreigend zijn. Ze maken hembewust van gevoelens van spanning en van verhoogde activiteitvan het autonoom zenuwsysteem. Deze ervaringen hinderen hembij de effectieve uitvoering van taken.

Twee van de door ons aangetroffen clusters in de W.A.T.correspondeerden inhoudelijk met twee componenten die Bergenonderscheidde. Angst-voor-het-niet-Kunnen-schrijven was op tevatten als de cognitieve component van schrijfangst en Hou-ding-jegens-Schrijven als do affectieve component. Beslotenwerd te pogen een schrijfangstinstrument te ontwerpen op basisvan de drie door Bergen onderscheiden componenten. Daaraanwerd toegevoegd eer schaal voor het meten van de Houding-jegens-Beoordeeld worden. Bovendien werd een schaal opgenomendie we, analoog aan Bergens instrument, Persoonlijke /nzetnoemden, om daarmee na te kunnen gaan of er ,een groteremotivatie om een goede tekst te schrijven gekweekt werd dooreen experimentele leergang zoals men in didactische literatuurwel aannam (Rijlaarsdam, 1984, p.25,29).

Bergens items voor de schalen voor de drie angstcomponentenen persoonlijke inzete alsmede de items uit de W.A.T. diendenals voorbeeld voor de constructie van het nieuwe instrument.Dat bestond uit vijf schalen:Cognitieve Component: Angst-voor-het-niet-Kunnen-schrijven (14items AK);Psychofysiologische Component: Begeleidingsverschijnselen (11items BV);

- 89-

Affectieve Component: Houding-jegens-Schrijven (10 items HS);wouding-jegens-Beoordeeld-worden (11 items HS);Persoonlijke inzet voor het schrijver van goede teksten 110items PI).

De items werden in willekeurige volgorde in 66n vragenlijstaangeboden, di. werd afgenomen in het cursusjaar, vocrafgaandaan het hoofdonderzoek op 533 leerlingen uit derde klassenH.A.V.O. en V.W.O. van scholen die zich hadden aangemeld voorhet hoofdonderzoek. De scores werden aan een statistischeanalyse onderworpen. De homogeniteit (Cronbachs alpha) van deschalen was redelijk tot goed: AK .90; BV .76; HB .84; HS .91;PI .71. Vijf items zouden op grond vim een lege (r 5.30)itemschaalcorrelatie geSlimineerd moeten worden. De correla-ties tussen de schalen varieerden van .33 tot .73. De itemsvan de schalen PI en BV correleerden met andere schalenvrijwel even hoog als met de eigen schaal.

Besloten werd de BV-schaal en de PI-schaal niet in hetonderzoek te gebruiken, omdat we er niet in geslaagd warenvoor deze variabelen schalen te construeron die zich onafhan-kelijk van andere schalen gedroegen. Daarmee verviel ook demogelijkheid 66n schrijfangstscore samen te stellen door dedrie angstcomponentschaalscores te sommeren. Van de andereschalen werden alleen die items gebruikt, die een correlatievertoonden met de rest van de schaal die .15 groter was dan decorrelaties tussen het item en een andere schaal. Zo ont-stonden drie schalen: AK (14 items), HB (8 items) en HS (9items). Op deze schalen zijn heranalyses uitgevoerd. Dehomogeniteit (Cronbachs alpha) van de schalen was bevredigend:AK .90 HB .80; HS .91. De itemschaalcorrelaties waren a.47.Gezien de matige correlaties tussen de drie schalen (.41 -.48) mocht aangenomen wordon dat deze schalen iets eigensrepresenteerden. Kenmerkende items voor deva schalen waren:AK: 'Zelfs al moet ik nog met mijn opstel beginnen, denk ik aldat het me slecht af zal gaan'; HB: 'Ik wil graag dat mijnvrienden lezen wat ik geschreven heb'; HS: 'Schrijven is heelleuk'.

Dataverzameling. Op de drie toetsmomenten is aan alleleerlingen het instrument afgenomen, bestaande uit de 31 itemsdie drie variabelen representeren. Om na te gaan hoe deschalen zich gedroegen in het hoofdonderzoek zijn ze nogmaalsgeanalyseerd. De items zijn zodanig gespiegeld dat een hogescore positief is: weinig angst (AK) of positieve attituden(HB en HS). De scores van proefpersonen die 66n of meer itemsgeen score toekenden, zijn niet in de berekeningen betrokken.

Voor elke schaal zijn de homogeniteit (Cronbachs alpha), deitem-restschaalcorrelatie en de correlaties tussen de somsco-res van items van de drie schalen berekend. Alle berekeningenzijn voor elke afname apart uitgevoerd. De correlaties tussende schalen belopen waarden variftend van .27 tot .40, met eengemiddelde van .34. De schalen bleken homogeen. Voor de drietijdstippen apart werden Cronbachs alpha en itemrestcorrela-ties berekend. Voor de AK-schaal bedroegen de alpha's .90, .89

94

en nogmaals .89 entot .71. De alpha'sitemrestcorrelatiesHS-schaal vonden weitemrestcorrelaties,

5.5. Conclusies

- 90 -

varieerden de itemrestcorrelaties van .35van de la-schwa waren .80, .81 en .82; debeliepen waarden van .29 tot .66. Voor dealpha's van .90, .93 en nogmaals .93 envaridrend van .56 tot .85.

Voor dit effectonderzoek konden we goon gebruik maken vanbestaande meetinstrumenten. Een belangrijk onderdeel van hetonderzoek was dan ook het ontwikkelen van instrumenten. Opbasis van hetgeen in dit hoofdstuk is gerapporteerd, con-cluderen we dat we erin geslaagd zijn ook tot nu moeilijkmeetbare Schrijfprestatievariabelen betrouwbaar te meten metbehulp van opstelschalen. Voor Schrijfprew!esvariabelen, een ophet moment van ons onderzoek nog tamelijk onontgonnen terreinvan onderzoek, werd een uitgebreid codeerschema ontwikkeld,waarmee objectief gecodeerd bleek te kunnen worden. VoorPsychologische Variabelen die aan schrijven gerelateerd zijn,werd een zelfrapportage-instrument ontwikkeld waarin drieinteressante variabelen geoperationaliseerd werden. Problema-tisch is nog het instrument waarmee op analrtische wijzegetracht werd Doelgerichtheid en Publiekgerichtheid te meten.Opmerkelijk was dat de items uit het instrument voor Publiek-gerichtheid tezamen geen betrouwbare test vormen. We vermoedendat dit veroorzaakt wordt doordat de functie tussen de veer-digheid op Publiekgerichtheid en de scores op ons instrumentniet lineair is. Ergens is er een optimum in het aantal itemswaarop men moet scorens als men op 19 items positief scoorttoont men wel dat men over een groot aantal technieken be-schikt, maar tevens dat men het effect ervan op een lezeronjuist schat. Bij Doelgerichtheid bleek het instrument ook opitemniveau weinig betrouwbaar.

we concluderen dat de met behulp van de ontwikkelde in-strumenten verkregen scores van voldoende kwaliteit zijn om tekunnen dienen voor de effectanalyses en dat we met behulp vande scores op de items van de analytische scoringsvoorschriftenvoor Doel- en Publiekgerichtheid uitsluitend exploratief, endan nog op voorzichtige wijze, verschillen tussen scores vancondities en toetsmomenten kunnen beschouwen.

95

- 91 -

6. METHODE EN PROCEDURES

Doel van het onderzoek was een experimentele steldidactiek tebeproeven. Daartoe werd gebruik gemaakt van een experimenteelontwerp met voor-, tussen- en natoets, waarin klassen gebloktwerdn op do variabele docent (Mellenbergh, 1977). We beschik-ten over acht scholen met in totaal elf docenten. Elke docentgaf les aan twee derde klassen, die aselect aan 6dn van detwee condities werden toegewezen. In de experimentele conditieonderwezen de leerlingen elkaar door elkaars teksten schrifte-lijk te becommentarilren. In de controleconditie was de com-mantaartaak aan de docent voorbehouden. Afhankelijke variabe-len waren Schrijfprestatievariabelen (Doelgerichtheid, Pu-bliekgerichtheid, Opbouw en Stijl), Psychologische Variabelen(Angst-voor-het-niet-Kunnen-schrijven, Houding-jegens-Schrij-ven, Houding-jegens-Beoordeeld worden) en Schrijfprocesvazia-belen. De vergelijking word gemaakt met de klas als analyse-niveau. Om mogelijke initille verschillen tussen klassen teverdisconteren in de effectanalyses, werd zo mogelijk gebruikgemaakt van covariantie-analyses met de voortoetsscores alscovariaat. Beschrijvende statistieken warden gebruikt om dekwaliteit van de instrumenten te bepalen en om toetsprestatieste beschrijven. Relaties tussen Psychologische Variabelen enSchrijfprestatievariabelen werden beschreven met behulp vanPearson product-moment correlaties. Schrijfprocesvariabelenwerden met behulp van ioglineaire modelpassing gelxploreerd.

In dit hoofdstuk beschrijven we de procedures. In par. 6.1.wordt de wijze van dataverzamelen beschreven inclusief detoetsafnameprocedures. In par. 6.2. komen de scholen, proef-personen en docenten aan bod. In par. 6.3. beschrijven we opbasis van docentlogboeken de praktijk van de onderwijEpro-cedures. In par. 6.4. worden de resultaten van een implemen-tatie-onderzoek gerapporteerd. Voor het overzicht van elleonderzoeksmaatregelen verwijzen we near tabel 6,1.

De activiteiten tijdens het cursusjaar waarin de effectenvan de experimentele onderwijsprocedure getoetst werden,kunnen in drie groepen onderscheiden worden: het voorzien inonderwijsprocedures, het afnemen van toetsen en het contro-leren van de onderwijsprocedures. In tabel 6.1. worden dezeactiviteiten ten behoeve van een totaaloverzicht in schemagebracht.

Bij dit schema horen twee toelichtingen. In de oorspronke-lijke opzet was het de bedoeling de leerlingen driemaaldezelfde schrijfopdracht voor te leggen. Op advies van da.betrokken docenten herzagen we dat plan en ontwierpen voor cenatoets een andere schrijfopdracht. Er werd gekozer voor eenontwerp met een tussentoets om eventueel demoti.atie-effectenop te vangen die zouden kunnen ontstaan aan het eind van zo'n

9 6

- 92 -

Tabel 6.1.: Overzicht van onderzoeksactiviteiten in hettoatsingsjaar

MUM62sIblyussibIlis

UndeSSoOmmotrpOtios.

Wpogt4dt6 tuft06104 tstio. 1 Woes 2 Cstlis 3 IVISessost VUtis Oftte0tslssas 'asoemds246 rls 20s

44101)tplatati4 OrIcacbt its suort024 spdisChtvftobelbe 000000 * butswers

DI 14,01010,1114be 2012,40402 61. so:weasel 0s sous.vasidosimi 24,0104421, toots

most

0 $41WOOpt0COlva[10. 001441it opdrICO2Sikhs .2.1edorbs is *042dpes Is slat

112adoess 000 olleee

Controls ad4204001

O 4204 00000 3.0.011 a a a

bl lwrItabslobbusb 8 8 x m

O .tomb.s0.200tOserssase s m

O Isellagsnssobwilipt s

feavds wib-ow0 60,4 septrobt fts0.11.4 ps-tob tab bbt m.2

intensieve stelcursus. Alle te behandelen leerstof was in deeerste drie cursussen aan bad gekomen, zodat de tussentoetsals eerste natoets te beschouwen is. Een tweede overweging omeen vroege en een late natoets te plannen was de kans opuitval. Tamers, we konden, statistisch gezien, over maarweinig klassen beschikken. Uitval door bijvoorbeeld ziekte vandocenten zou het statistisch ontwerp zeer verzwakken.

6.1. Dataverzameling en toetsprocedures

Tabel 6.2. is een overzicht van het aantal leerlingen per klasbij het begin van het cursusjaar met vermelding (tussen haak-jes) van het aantal leerlingen dat aan elle toetsmomentenmeedeed. Dit kleinere aantal vormde de groep waaruit per klaswillekeurig twaalf leerlingen getrokken werden. Aan de handvan de scores van deze twaalf leerlingen werden klassescoresberekend. De subgroep van 264 leerlingen is representatiefvoor de gehele groep leerlingen die aan het onderzoek mee-werkten. De verschillen tusaen beide groepen wat de gemid-delden op de dr.Le Psychologische Variabelen betreft, variarenvan .04 tot .90. Het grootate verschil is bij lan4e na nietstatistisch significant.

Van elk van de willekeurig gekozen leerlingen werden devoor-, tussen- en natoetsopstellon diplomatisch uitgetypt ombeoordelaarsproblemen te reduceren. Boven het opstel werd eenidentificatienummer aangebracht. Op geen enkele wijze was heteen beoordelaar mogelijk te achterhales uit welke klas ofconditie een opstel stamde.

9 7

- 93 -

Tabel 6.2.: Overzicht van het aantal leerlingen per school perklas, met vermelding (tussen haakjes) van hetaantal leerlingen dat op drie toetsmomenten eenopstel schreef

Schoolnr. Docentnr.

Conditie

Experimenteel Controle

1 1 29 (24) 30 (2a)1 2 24 (15) 22 (17)2 3 32 (22) 32 (27)2 4 17 (12) 19 (15)3 5 23 (21) 25 (24)4 6 31 (17) 31 (25)5 7 22 (21) 23 (20)6 8 24 (16) 22 (16)7 9 23 (17) 25 (17)8 10 25 f2l) 20 (16;8 11 26 (16) 26 (19)

Voor de analyses van de Psychologische Variabelen diendendezelfde leerlingen als proefpersoon als die waren geselec-teerd voor de Schrijfprestatievariabelen. Voor het onderzoeknear Schrijfprocesvariabelen meldden zicii - so= op vrijwi1-lige basis, soms na aandrang van de docent -, via de docententwee leerlingen per klas, een jongen en een meisje. Van elle44 aangemelde leerlingen werd een voortoets- en een natoets-protocol verzameld. Per duo werden daarna aselect van een debeide protocollen uitgetypt, in proposities ingedeeld engecodeerd.

De afnames van de toetsen beschrijven we hieronder kort. Devoortoets werd afgenomen in de tweede of derde les van deeerste schoolweek. De docent fungeerde ais proefleider. Hijontving een handleiding met daarin letterlijk uit te sprekenteksten. Als voorzorgsmaatregel voor het verkrijgen vanonafhankelijke scores werden de tafels uit elkaar gezet. Naeen introductie en een voorbeeld werd gedurende 10 minuten deattitudetoets afgenomen. De ingevulde exemplaren werden dooreen leerling omehaald en in eea antwoordenvelop gedaan. Hetmoest voor de leerlingen duidelijk zijn dat de scores nietdoor de docent ingezien zouden worden. In datzelfde lesuurwerden daarna de opstelopdrachtboekjes uitgedeeld, met deinstructie zich in de opdraoht te verdiepen. De boekjes werdenaan het eind van het lesuur opgehaald en aan het begin van hetvolgende lesuur weer uitgedeeld, met de instructie:

'Je krijgt nu twee lesuren om het op:Ael te schrijven. Jemaakt kladaantekeningen, of een kladversie, dat moet jezelf weten hoe je het best een opstel op poten kunt zetten.Na een half uur waarschuw ik je: het is goed om dan onge-veer aan je net te beginnen. Alle aantekeningen, klad-stukken en het net komen in het boekje. Denk eraan: Schrijfeen 1eesbaar net! Schrijf overtuigend en publiekgericht.Begin met het invul1en van de gegevens aar. de voorzijde."

98

- 94-

De boekjes werden aan het eind van het lesuur opgehaald en hetvolgende lesuur weer uitgedeelds 'Schrijf dit lesuur je opstelaf. Bedenk dat het goed leesbaar moet zijn. Schrijf in zwart.Schrijf overtuigend en publie)Tericht. Praat niet meer.' Detoetsboekjes werden aan het eind van dit lesuur opgehaald enin het bijzijn van de leerlingen in een envelop gedaan diewerd dichtgeplakt. Leerlingen die nog niet klaar waren,mochten in een tussenuur of pauze de laatste hand aan hunopstel leggen.

In de introductieles had de docent reeds twee vrijwilligersgevraagd voor het hardopschrijven. Deze leerlingen werdenvrijgesteld van enige lessen, zodat zij ruim de tijd haddeneen hardopschrijfopdracht te vervullen. Voor het inrichten vande testsituatie volgden wif) de adviezen vnn Swarts, Hayes enFlower (1980). Na een kennismaking met een lid van het onder-zoeksteam dat als proefleider fungeerde, werd een schrifte-lijke instructie gelezen. Daarna werd een denkpuzzel voorge-legd die hardop uitgevoerd moest worden. Vervolgens kreeg deproefpersoon een stukje van een cassettebandje te horen,waarop een hardopschrijvende leerling te horen was. Hetfragment was z6 geconstrueerd, dat elle mogelijke processen ensubprocessen erin voorkwamen. De proefpersoon probeerdetenslotte zeIf een paar regels naar aanIeiding van een op-dracht hardop te schrijven. Dit fragment werd gezamenlijkteruggeluisterd. AI deze instructiemaatregelen vergden circa20 minuten. Als de proefpersoon geen verduidelijkingen meerwenste, werd de opstelopdracht verstrekt. De proefleiderbediende de geluidsapparatuur, hield aantekeningen bij enweerhield de proefpersoon van stiltes door een enkele aan-sporing. Men verbleef in dezelfde ruimte als de proefpersoon,op een hem zo 4einig mogelijk storende wijze.

De sfnames van de tussentoets verliepen onder nagenoeg de-zelfde omstandigheden. Aangezien dezelfde opstelopdracht werdgebruikt als voor de voortoets, werden er nu twee lesurenuitgetrokken voor de attitudenvragenlijst en de opstelopdrachtsamen. Er werd toegelicht waarom dezelfde opstelopdracht werdgebruikt. De proefpersonen die de hardopschrijfopdrachtvervulden, kregen nu slechts een korte herhaIing van deinstructie over de bedoeling ervan. Zij kregen 11/2 uur de tijd.Voor het hardopschrijfonderzoek was dit toetsmoment de na-toets.

De natoets gold de Psychologische Variabelen en schrijf-prestatievariabelen. De leerlingen kregen twee lesuren de tijdom de attitudenvragenlijstjes in te vullen en de nog nieteerder uitgevoerde opstelopdracht te maken.

6.2. Proefpersonen, docenten, scholen en formeren van condi-ties

Het experiment werd uitgevoerd in derde kIassen (V.W.O. enH.A.V.0.). De leerlingen waren 14 & 15 jaar oud. Bij de keuze

9 9

voor deze populatie speelden de volgende overwegingen een rol.Eel doelstelling van de experimentele cursue was publiekge-richt schrijven. Voor deze vaardigheid is vereist dat deschrijver zich de effecten van de communicatie op de ontvangerkan voorstellen. Deze metapositie nemen leerlingen near ver-wachting niet veel eerder dan op die leeftijd in (Flavell,1977; Glucksbeig et al., 1975; Shantz, 1975). Zen tweedsoverweging gold de praktijk van derde klassen. In schooltypesals het H.A.V.O. en Atheneum hebben derde klassen een watonduidelijk curriculum. Snerzijds wordt de onderbouw afge-sioten, anderzijds is er de voorbereiding op de bovenbouw. Decurricula zouden er niet onder lijden als in dat leerjaar dederde klas als een proeftuin zou worden gebruikt. Het verkrij-gen van medewerking van docenten zou voor derde klassenwaarschijnlijk niet problematisch zijn. Een derde overweginggold de equivalentie van groepen. In vierde klassen, waarinhet onderzoek qua lesinhouden ook goed zou passen, zijn degroepen bij het vak Nederlands ongelijk qua samenstelling doorvakkenpakketkeuze. In derde klassen is daarvan geen sprake.

De leerlingen die bij het onderzoek betrokken werden, warenafkomstig van acht verschillende brede scholengemeenschappen.Deze scholen zijn geworven via een oproep in het leraren-vakblad Levende Talen en via een wervingsbrief. Deze briefwerd verstuurd aan de secties Nederlands van 119 scholen meteen V.W.0.-afdeling. Dit waren de scholen, die niet behoordentot de 40 scholen die al voor een ander stelvaardigheidson-derzoek waren aangeschreven, maa: wel voorkwamen op een com-puterlijst van het Centraal Instituut voor Toetsontwikkeling.Van de aangeschreven secties bleken er 38 in principe bereidtot deelname aaa ons onderzoek. Vertegenwoordigers van dezesecties werden uitgenodigd voor een informatieve bijeenkomst.Van 13 secties nam een vertegenwoordiging aan een van zesbijeenkomsten deel. Acht secties en hun schoolleidingen zegdentoe bereid te zijn met 66n of twee docenten deel te nemen aanhet onderzoek. Als negende school werd de school bereidgevonden die als proefschool had gediend. Om roostertechnischeredenen moest 66n school afvallen die nog wel deelnam aan definale beproeving (par. 4.3.)

De schoolleidingen van de acht resterende scholen ontviligeneen brief waarin het doel van het onderzoek werd toegelicht engevraagd werd de lesroosters van de beide klassen van elkedeelnemende docent zoveel mogelijk gelijk te laten lopen. Dedirecties zegden toe hiernaar te streven.

Van een drietal scholen namen twee docenten aan het onder-zoek deel. Tabel 6.3. is een overzicht van de deelnemendescholen, het aantal docenten per school en de klassegrootteaan het begin van het schooljaar 1984-1985.

De schoolgrootte varieerde van 850 tot 1300 leerlingen, meteen gemiddelde van 1065. Drie scholen hadden een rooms-katho-lieke signatuur, twee waren openbaar en de overige drie wareneen bijzonder neutrale school, een protestants-christelijke en

100

- 96 -

Tabel 6.3.; Overzir:ht van de deelnemends scholen met leer-lingenaantal per klas per aug. 1984

Aantal leerlingen per klas

School Afdeling Sxperimentele Controleklas klas

----

Heerlen V.W.O. 29 30H.A.V.O. 24 22

Dordrecht V.W.O. 32 32H.A.V.O. 17 19

Tilburg I V.W.O. 23 25Nieuwegein H.A.V.0./V.W.O. 31 31Tilburg II V.W.O. 22 23Wassenaar V.W.O. 24 22Waddinxveen V.W.O. 23 25Zierikzee V.W.O. 25 20

H.A.V.O. 26 26

een oscumenische samenwerkingsschool. De twee openbare scholenherbergden drie schoolsoorten (M.A.V.O., H.A.V.O. en V.W.0.),de andere scholen waren H.A.V.0.-V.W.0.- scholengemeenschap-pen. Op 66n school waren de derde klassen hsterogeen ings-desld. Op alle ander ,. scholia:: waren sr svenvsel typen derdsklassen als er schoclsoorten waren in de desbetreffendsschool.

De grootte van de sectie varieerde van vijf tot achtdocenten. In alle secties waren lesmethoden voorgeschreven.Naast verschillends soorten bloemlezingen of leesboeken,werden gebruikt: Functionedl Nederlands (4x), Taal Vandaag(2x), Taalgoed (lx) en Opbouw (Ix). In het jaar dat voorafging aan het cursusjaar werd in verschillends mate aan de handvan de methoee gswerkt. Twee docenten op dezelfde schoolgebruikten de methode helemaal niet. De andere dervntengebruikten de metnoden in tenminste de helft van het aantallesuren (2x), of in driekwarz A vijf-zesde van de lesuren.Twee docenten werkten in alle uren met de methode.

De aandacht die men gewoonlijk gaf aan stelonderwijs in dederde klas verschilds. Als de twee docenten die op de proef-school lesgaven niet in deze berekening betrokken worden, danvarieert de schatting van de docenten van een half lesuur totvijf lesuren van een vierwekelijkss termijn (twaalf lssuren):gemiddeld bijna tweedneenhalf van de twaalf lesuren. Ds be-trokken docenten zeiden gswoonlijk vier vijf opstellen in dederde klas ta laten schrijvsn; den gaf slechts twee opdrachtenper cursusjaar. Twee secties werkten al lang met GerichtSchrijven in de eindexamens; den school was dear niet Langgeleden ook toe overgegaan. Ds andere vijf scholen haddennooit iets van doen gehad met deze examenvorm.

De docenten waren overwegend dertigers en veertigers,varidrend van 27 cot 48 jaar, met een gemiddelde van ruim 37

, 101

- 97 -

jaar. Eén van de docenten was een vrouw. Er waren zeveneerstegraders; vier hadden een tweedegraadsbevoegdheid enwaren ellen studerend voor het NO-8 examen. De onderwijser-varing varieerde van vier jaar en vier maanden tot 25 jaar,met een gemiddeldP van ruim vijftien jaar. Negen docentenhadden een volledige bean van 28 of 29 lesuren. E6n docent gaf23 uur les en 66n veertien. Tijdschriften op het gebied vanvakdidactiek werden door vijf docenten gelezen (Levende Ta).en5x en Hoer lx). Een specialistisch tijdschrift op het gebiedvan de taalbeheersing werd door 66n docent gelezen; de anderedocenten waren alleen op taal- en/of letterkundige tijdschrif-ten geabonneerd.

Samenvattend stellen we dat de betrokken docenten gerou-tineerde docenten waren. De aandacht die zij in derde klassenaan stelvaardigheid zeggen te geven, is heel verschillend quatijdsbesteding; het gemiddelde komt overeen met het gemiddeldevan een grotere steekproef. Hit Damhuis et al. (1983) blijkenin de onderbouw gemiddeld twee a drie lesuren besteed teworden aan stelonderwijs.

Zodra bekend was aan welke twee klassen de elf docenten leszouden geven tijelens het onderzoeksjaar, werd geloot tot welkeconditie een klas zou behoren. Deze beslissing werd de docen-ten n.1 de voortoets maegedeeld. Tijdens de voortoets waren deomstandigheden in alle 22 klassen dus hetzelfde.

6.3. De onderwi;sprocedures in de praktijk

In deze paragraaf wordt uitgebreid beschreven hoe de tweeondetwijsprocedures in dit onderzoek zijn uitgevoerd. We doendat uitvoerig om een helder beeld te scheppen van het gegevenonderwijs. Het is belangrijk te weten of de betrokken docentenzich aan de handleiding hebben gehouden en va.st te stellen hoeernstig een eigenhandig ingrijpen voor het onderzoek was. (Dewerkwijze kan ook opgemaakt worden uit de docentenhandleidingdie integraa). is opgenomen in het bijlagenripport 1.) Devaliditeit van het onderzoek zou ernstig aangetast geweestzijn els een docent bijvoorbeeld de procedures verwisselde: deene keer in de ene klas de experimentele onderwijsprocedure,de andere keer in de andere klas. De beschrijving biedt delezer een mogelijkheid te controleren of de onderwijsprocedureeen adequate operationalisatie van leerlingenrespons is en ofhet onderwijs in de experimentele en contrclegroep niet opmeer dan de relevante variabelen verschilden.

De beschrijving van de vier cursussen baseren we op doordocenten en leerlingen bijgehouden logboeken. Elke docent werdverzocht per cursus een voorgedrukt logboek bij te houden.Tevens werd men verzocht een korte beschrijving te geven vande lessen die gegeven werden tussen twee cursussen in. Dit omte controleren of er lesactiviteiten ontplooid werden dieinterfereerden met het onderzoek. Hierop komen we in par. 6.4.terug.

1 02

- 98

De docent werd gevraagd erop toe te zien dat een klasse-logboek bij werd gehouden tijdens de cursussen. V645rin hetschrift werd een klasselijstje geplakt. Leerlingen zorgdenervoor dat het schrift via dat lijstje rouleerde. Hun op-dracht, ook voorin het schrift geplakt, was ddn pagina lang deles te beschrijven, het opgegeven huiswerx voor de volgendeles te noteren, en een omschrijving van de werksfeer te geven.We ontvingen van acht docenten alle logboeken. Van een negendedocent ontvingen we alleen zijn logboek over de eerste schrijf-ronde. De tiende docent stuurde alleen de leeiiingenlogboekenin, die niet geheel volledig waren. De elide docent stuurde,ook na aandringen en aanmanen, niets in. De beschrijving vande cursussen die hieronder volgt, is gebaseerd op de beschik-bare docentlogboeken. De leerlinglogboekeu zijn gebruikt alscontrole.

De beschrijvingen zijn als volgt opgebouwd. Eerst wordtbeschreven welke onderwijsleeractiviteiten er successievelijkaan bod gekomen zijn. Daarna wordt ingegaan op ons bekendeafwijkende lesuitvoeringen.

De eerste cursus bestond uit vijf voorbereidende lessen, tweecommentaarlessen (alleen de experimentele groep), twee commen-taarverwerklessen en een herschrijfles en werd gegeven in deperiode tussen het begin van het cursusjaar (eind augustus,begin september) en de herfstvakantie (half oktober). Edndocent kon pas eind september beginnen en bedindigde deschrijfronde na de herfstvakantie. Alle docenten gaven deschrijflessen in ddn door andersoortige lessen ononderbrokenperiode van vier lesweken.

De voorbereidende lessen: drie theorielessen en tweeschrijflessen. In de eerste les werd de werkwijze voor hetgehele cursusjaar gentroduceerd via een bordschema, hetlespakket voor de eerste schrijfronde uitgedeeld en in multo-mappen ingedeeld en het huiswerk besproken. Dat bestond uithet bestuderen van de instructieteksten over doel- en publiek-gerichtheid en het bestuderen van de schrijfopdracht waarovereen week later geschreven moest worden. Om leerlingen vast tekunnen laten stellen of ze de instructieteksten begrepen,werden zelfcontrolevragen uitgereikt. Het bespreken van deantwoorden op de zelfcontrolevragen besloeg de tweede voor-bereidende les. Als huiswerk werd opgegeven de instructie-teksten over de reflectieopdrachten en de problemen van hetcommentaar op opstellen te bestuderen. Wederom werden con-trolevragen uitgereikt. In de derde les werden deze vragenbesproken. Deze bespreking verliep niet zo intensief ais devragen over doel- en publiekgerichtheid. Leerlingen klaagdenover het vele huiswerk, docenten over nogal wat leerlingen diehun huiswerk niet gemaakt hadden. Via de bespreking kwamen dehoofdpunten van het opgedragen werk toch onder de aandacht.Voorts schreven leerlingen een zelfportret, waarin hunschrijfervaring beschreven wsrd: 'Hoe schrijf ik en wat zijnmijn problemen?'. Als huiswerk werden opgegeveu het in het net

1 0 3

- 99 -

schrijven van de antwoorden op de zelfcontrolevragen en hetnogmaals bestuderen van de schrijfopdracht. De volgende tweelessen waren schrijflessen. In de eerste les werd een klad,een ontwerp of werden aantekeningen gemaakt en werd gestartmet het net voor de eerste versie, die het volgende lesuurafgeechreven werd. Als leerlingen niet klLar waren, werd ineen pauze of tussenuur doorgeschreven. De leerlingen in dedocentgroep schreven op multopapier. De leerlingen in deleerlingengroep schreven op zelfdoorschrijvend papier, waar-door de docent in 66n keer over vier Kopielln beschikte. Alshuiswerk werd opgegeven de eerste reflectieopdracht, dieleerlingen opdraagt te beschrijven hoe het opstelschrijven ditkeer verliep en te oordelen over hun ingeleverde eersteversie.

De commentaarfase: twee lesuren. In de docentgroepenbesteedde men twee lesuren aan andere lesactiviteiten terwijlde opstellen thuis door de docent werden becommentarieerd opdezelfde wijze als in de leerlinjengroep. Deze lesactiviteitenhadden op uitdrukkelijk verzoek van de projectleiding geenbetrekking op stelonderwijs; via docentlogboeken konden weachteraf vaststellen dat docenten zich aan deze afspraakhielden. Alle docenten gelukte het de nakijktijd (20 minutenper opstel) tot 66n week te beperken. Voor de leerlingengroepverdeelde de docent de opstellen. Hiervoor was een verdeel-schema opgesteld, waardoor elke commentator elke schrijfrondeopstellen van andere loerlingen kreeg. In de eerste commen-taarles werd de werkwijze nog eens kort beschreven en deleerlingen voorgedaan hoe zij hun papieren moesten ordenen.Zij hadden acht vellen met opsteltekst: het opstel van zich-zelf en drie opstellen van twee kantjes van andere leerlingen.Elk opstel had een andere kleur: de setjes zelfdoorschriivendpapier waren samengesteld uit vier verschillende kleuren. Deslechtst doorgedrukte kopie was voor de schrijver zelf. Alleleerlingen becommentarieerden de opstellen in een vastekleurvolgorde. Op die wijze was gegarandeerd dat elke schrij-ver door 46n commentator als eerste becommentarieerd werd enniet, door bijvoorbeeld een onaantrekkelijk handschrift, doordrie commentatoren als laatste zou worden bekeken. In deeerste commentaarles word voor alle drie opstellen het reac-tieformulier ingevuld: een omschrijving van de eerste indrukin woorden en een reactie op twaalf stellingen. Daarna werd detweede reflectieopdracht gemaakt: 'Wat heb ik geleerd door hetlezen van drie opstellen?' Als huiswerk werd opgegeven voorhet blauwe opstel het commentaarformulier in te vullen. In devolgende les werd kort ingegaan op problemen van leerlingenmet het opgedragen huiswerk. Vervolgens werden de twee overigeopstellen becommentarieerd. De derde reflectieopdracht was ooklesstof: 'Wat heb ik geleerd door het becommentariaren vandrie opstellen?' Aangezien de opstellen het volgende lesuuraan de schrijvers teruggegeven moesten worden en de docent alsvoorbereidimj de opstellen moest herverdelen, werd het be-commentari4ren afgemaakt in die les, of anders diezelfde dagin een pauze.

Cosimentaar verwerken: twee lesuren. Dit gebeurde in vierstappen: ordenen, samenvatten, kiezen en een herschrijfplanopstellen. Leerlingen deelden de tijd zelf in. Voor het

1!

104

- 100 -

ordenen van het commentaar beschikten de leerlingen in deexperimentele groep over een schema waarin zij de scores vande drie commentatoren op het reactie- en het commentaarfor-mulier overzichtelijk bijeenbrachten. Het commentaar werd percategorie (doelgerichtheid, publiekgerichtheid, diversen/al-gemene opmerkingen) samengevat. De leerling schreef daarna eencommentaar op de commentaren, waarin hij aangaf welk commen-tear hij aanvaardde en welk hij afwees, en de keuze beargu-menteerde. Tenslotte stelde hij een herschrijfplan op: eentweekolommenschema met in de linkerkolom wat de leerling wildeveranderen en n de rechterkolom hoe hij dit doel wildeverwezenlijken.

Herschrijffase: dén lesuur. Beide groepen schreven op basisvan hun herschrijfplan een definitieve versie. De leerlingenin de controlegroep maakten ter afronding hun tweede reflec-tieopdrachtt 'Nat heb ik van deze schrijfronde geleerd?'

De leerlingen leverden hun mappen dén van de volgende les-uren bij de docent in om deze te laten nakijken op compleet-heid, orde en kwaliteit. Leerlingen kregen feedback daarovervia een formulier. Ze konden hun mappen daarna herstellen vooreen cijfer voor het eerste rapport.

Evaluatie. Een paar docenten hebben dit lesschema dooromstandigheden iets gewijzigd. Twee docenten besteedden in devoorbereidende fase en in de fase waarin het commentaarverwerkt werd een lesuur extra aan de schrijfronde, in beidegroepen. Een derde docent gaf zijn leerlingen maar dén lesuurom het commentaar te verwerken tot een herschrijfplan, ook inbeide groepen. Noch de 'overschrijding' noch de bekorting vande geplande lestijd beschouwden we als een afwijking van hetonderwijsprogramma: elle dragende elementen daarvan zijnuitgevoerd.

Aan de tweede cursus laq dezelfde fasering ten grondslaq alsaan de eerste schrijfronde. Op basis van een evaluatievevergadering met de betrokken docenten over de eerste schrijf-ronde werden enkele ingrepen verricht. Het was docentengebleken dat leerlingen zich niet genoeg bewust waren van defictieve communicatieve situatie van de schrijfopdracht. Tentweede was ervaren dat de te bestuderen theorie over doel- enpubliekgerichtheid te los van de te schrijven tekst werdgepresenteerd: er werd aanbevolen een meer geintegreerde vormna te streven. Ten derde vond men de belasting qua huiswerk inde schrijfronde ongelijkmatig. Aan deze drie wensen zijn wemet enkele omzettingen tegemoet gekomen. Deze schrijfrondewerd gegeven in de periode tussen begin november en halfdecember en besloeg vier lesweken. De docent die de eersteschrijfronde later afsloot, begon pas eind november met detweede ronde, die hij half januari beBindigde. Alle docentenwerkten met hun beide groepen gelijk op. Niet elle docentenlukte het aan de tweede ronde een ononderbroken serie lessente besteden: vanaf half november vielen lessen uit door:.apportbesprekingen en gemeenschappelijke proefwerken.

105

De voorbereidende lessen: zes lesuren. Aan het einde vaneen 'gewone' les werd het nieuwe lesmateriaal uitgedeeld eneen huiswerkopdracht verstrekt: het bestuderen van de schrijf-opdracht en het bewerken met codes van de informatie over hetonderwerp. De tweede voorbereidende les werd besteed aan eenklasseleergesprek over de kenmerken van de opdrachtsituatie,(onderwerp, doel, publiek, medium, voorgeschiedenis) en aanhet verwerken van de huiswerkopdracht via groepswerk, eenonderwijsleergesprek of een individuele opdracht. Sommigedocenten gaven de individuele opdracht bovendien als huiswerkop. Deze droeg de leerlingen op hun mening over de in deopdracht geformuleerde stelling te noteren, drie argumentenerbij te bedenken, benevens een ondersteunend citaat bij elkargument. Ditzelfde moest ook gedaan worden voor de tegen-overgestelde mening. Het huiswerk voor de volgende les wasnogmaals de schrijfopdracht te bestuderen. De volgende lesschreven leerlingen het klad voor het middenstuk van hunopstel. Als huiswerk werd opgegeven de instructieteksten overstructuur te bestuderen en de bijbehorende controlevragen temaken. In de daaropvolgende les werden de antwoorden klassi-kaal besproken en werd een individuele opdracht veretrekt: hetcontroleren van het klad op structuur en het benoemen vanalineafuncties. Het huiswerk voor de volgende keer was dezeopdracht af te maken, instructieteksten over betrouwbaarheidte bestuderen en vier controlevragen hierover te beantwoorden.Deze werden in de volgende les besproken, waarna leerlirgenindividueel hun klad op betrouwbaarheid controleerden. Hethuiswerk bestond uit het in het net schrijven van de antwoor-den op de controlevragen en het nogmaals doorlezen van deschrijfopdracht. In de les daaropvolgend werd de eerste versievan het opstel geschreven en bij de docent ingeleverd.

Commentaar geven: twee lesuren. Er werden nu 20 commentaar-vragen gebruikt. Uit de logboeken bleek dat het drie docentenniet gelukte de opstellen uit de controlegroep na een weekweer terug te geven. Eén rondde de schrijfperiode net voor dekerstvakantie af en gaf na de vakantie de opstellen terug; ookde leerlingen in zijn experimentele groep kregen pas na devakantie feedback over hun prestaties. een andere docentviel een aantal lessen uit waardoor beide groepen twee wekenop hun opstellen moesten wachten. Een derde docent had drieweken nodig voor de dertig opstellen uit zijn controlegroep,waardoor de leerlingen hun opstellen geruime tijd later terugkregen dan de leerlingen in de parallelklas. Een andereinbreuk op de planning maakte een docent die de opstellen uitde experimentele groep niet door drie, maar door twee leer-lingen liet becommentariOren, wegens het uitvallen van lesurendoor rapportvergaderingen.

Commentaar verwerken: twee lesuren. In het eerste lesuurwerden de becommentarieerde opstellen teruggegeven en eenwerkplanning afgesproken, opdat leerlingen een week daarna inde les hun herschrijfplannen zouden kunnen opstellen, hettweede lesuur. De docenten merkten in hun logboeken op, dat de

- 102 -

les waarin rij het commentaar aan de leerlingen in de contro-legroep uitdeelden, nogal onrustig was. Veel leerlingenvroegen om verduidelijkingen en uitleg over de symbolen en denummers waarvan hun opstel door de docent voorzien was.Hieruit blijkt dat deze leerlingen de kennis misten die deleerlingen in de andere conditie wel hadden door het uitoe-fenen van de commentaartaak. Wellicht is er via de mondelingetoelichting van de docent extra instructie gegeven.

Herschrijven: 66n lesuur, als in eerste cursus.Evaluatie. Voor zover wij na konden gaan hebben elle docentenzich aan het lessenplan gehouden. E6n docent besteedde fifinlesuur meer aan de voorbereidende lessen, - het doorwerken vande fragmenten maar deed dat in zijn beide groepen. Omdat deeffectieve tijd nogal bekort werd door veel lokaalwisselingen,laste deze docent ook in de fase van commentaar verwerken eeneXtra les in de docentgroep in. Een andere docent liet elkopstel in de leerlingengroep maar door twee leerlingen becom-mentarieren.

De derde cursus. De fasering van deze ronde was als de vorige.Alle docenten gaven hun introductieles vlak voor de keret-vakantie. Zeven docenten startten de eigenlijke cursus meteenna de kerstvakantie en bedindigden deze in de eerste week vanfebruari. EMI docent kon pas eind januari beginnen omdat zijntweede cursus tot in januari doorliep: hij bedindigde de derdehalf februari. Van de overige docenten weten we alleen dat zijde cursus begin februari afrondden, omdat we omstreeks dietijd afspraken maakten voor de afname van hardopschrijfproto-collen, die niet eerder plaatsvond dan nA de derde ronde.

Voorbereidende lessen: vijf lesuren. In de eerste les werdde nieuwe schrijfopdracht uitgedeeld. Bij de schrijfopdrachtwas een aantal zogenaamde voorbereidende oefeningen opgenomen,die de leerlingen gedeeltelijk in de kerstvakantie moestenmaken. Daaronder waren het verrichten van een klein onderzoek-je om nieuwe informatie te genereren, het analyseren van deopdrachtsituatie en het formuleren van het eigen en hettegenovergestelde standpunt.

In de eerste les na de vakantie kregen de groepjes gelegen-heid hun onderzoeksgegevens uit te wisselen en te tabelleren.Daarna leidde de docent een klassegesprek over het onderwerp.Als huiswerk word opgegeven de instructieteksten over nieuws-waarde en taalgebruik te bestuderen en het tweekolommenschemawaarin argumentatie en contra-argumentatie geschematiseerdwerd te vervolmaken op grond van de bespreking in de klas. Invrijwel elle klassen waren er leerlingen die hun kersthuiswerkniet gemaakt hadden, zodat hun groep informatie voor hetonderzoekje moest ontberen. Deze leerlingen moesten dieonderzoeksgegevens alsnog produceren. In het volgende lesuurwerden de zelfcontrolevragen besproken over de instructietek-sten. Er kon begonnen worden aan het huiswerk: de antwoordenop de zelfcontrolevragen in het net schrijven en de schrijfop-dracht bestuderen.

107v.

- 103 -

voor het overige verliep deze schrijfronde als de eersteronde: twee lessen schrijven (een klad en een net), tweelessen commentaar geven (alleen in de experimentele groepuiteraard), twee lessen commentaar verwerken en 66n les her-schrijven. Over het commentaar geven moet nog vermeld wordendat nu niet elle beschikbare dertig commentaarvragen gebruiktwerden, maar een selectie daaruit. De vijf vragen van elkenieuwe categorie, nieuwswaarde en taalgebruik, waren daarinopgenomen en verder twee vragen per 'oude' categoric, (doel-gerichtheid, publiekgerichtheid, stImctuur en betrouwbaar-heid). De tijd die docenten nodig hadden om de opstellenbecommentarieerd terug te geven, varieerde van een tot tweeweken. De docenten die er Linger dan een week over deden,hadden te kampen met ziekte (2x) waardoor lessen uitvielen enmet extra werk door de overname van een conrectorsfunctie(1x).

Evaluatie. Van dit lessenplan werd een paar keer afgeweken.Edit docent liet leerlingen (per ongeluk) toch elle dertigcommentaarvragen gebruiken, terwij1 hijzelf wel een selectiemaakte toen hij de opstellen uit de controlegroep van commen-tear voorzag. Een tweede docent had maar 66n lesuur in deexperimentele groep ter beschikking in de fase van commentaargeven, omdat er plotseling een lesuur uitviel. De leerlingenmoesten daardoor twee opstellen thuis becommentarieren. Verderwaren er twee docenten die in hun beide groepen in pleats vantwee slechts 64n lesuur besteedden aan het verwerken van hetcommentaar. Zij lieten de leerlingen het herschrijfplan thuismaken. Een andere docent gaf de leerlingen in beide groepenjuist een uur extra voor de fase van verwerken en herschrij-van.

Deze overtredingen zijn niet zo ernstig: elle docenten vanwie wij gegevens hadden werkten met hun groepen de geplandeactiviteiten af. Ernstiger was dat een docent zijn lestaakmoest opgeven ten faveure van een conrectorschap. Twee jonge,pas afgestudeerde eerstegraads docenten, namen ieder een klasvan hem over. Het experimenteel ontwerp met de docent alsblokvariabele was daarmee verstoord. Omdat de eigenlijkedocent verreweg het grootste gedeelte van de cursussen onder-wees, beschouwen we het ontwerp tot en met de derde schrijf-ronde als ongeschonden.

De vierde cursus. Synthese. De laatste lessenserie had eensamenvattend karakter. Het doel was de in de drie vorigeschrijfronden verspreide procesaanwijzingen te integreren toteen schrijfaanpak in tien stappen. Het voorbereiden van een teschrijven tekst met een plan, tot nu toe geoefend met eenherschrijfplan, werd nu nadrukkelijk v66rin het schrijfprocesgeplaatst. De nadenkoefeningen (reflectie op de eerste versie,het noteren van leerervaringen tijdens het lezen en becommen-tari4ren van andermans opstellen) waren nu getntegreerd in hetstappenplan. Het doel van deze notities was nu niet meer hetinnemen van een metapositie om zo meer vat te krijgen op het

- 104 -

onderwijsleerproces, maar het verbeteren van de eerste versievan het opstel. Al dergelijke notities waren bouwstenen voorhet herschrijfplan. De cursusduur was drie weken. De docentenkonden kiezen uit twee varianten. In de ene variant bereiddenleerlingen hun eerste versie thuis voor (huiswerk voor 66nweek), in de andere kregen leerlingen drie lesuren gelegenheideen gedeelte van de voorbereidende opdrachten uit te voeren.Zes docenten kozen ervoor de leerlingen in de les te latenwerken. Drie docenten lieten hun leerlingen de eerste versiethuis voorbereiden. De periode waarin de vierde schrijfrondegegeven werd, varieerde van twee maanden tot drie weken. Deperiode werd gekenmerkt door verbrokkeling door mondelingeschoolonderzoeken, paasvakantie en andere vrije dagen in aprilen mei. ESn docent gaf de cursus in de drie weken die aan depaasvakantie (begin april) vooraf gingen. TWee docentenbegonnen na de paasvakantie (half april). Zes docenten gavende introductieles vd6r de paasvakantie en begonnen met decursus meteen na de vakantie. Alle docenten planden hun beidegroepen parallel qua tijd; ook de twee docenten die elk ffngroep hadden overgenomen werkten gelijk op.

Voorbereidende opdrachten; drie lesuren. Ze omvatten zesvan de tien stappen. Na een opdracht waarin de schrijfop-drachtsituatie werd geanalyseerd, het tweekolommenschema datal vaker gebruikt was, een schrijfplan en een 'denkversie',werden de leerlingen ertoe gebracht de versie zelf te contro-leren. Zij moesten daartoe verscheidene stukken uit de in-structieteksten herlezen. Vervolgens schreven zij op schoolhun eerste versie die zij bij de docent inleverden.

Commentaarlessen; twee lesuren. Deze taak was ten opzichtevan de vorige cursussen veranderd. Het reageren ale natuur-lijke lezer via het reactieformulier met de twaalf stellingenwas vervallen, omdat leerlingen te kennen hadden gegeven dattijdens het lezen van de opstellen de commentaarvragen al inhet hoofd speelden. Alleen de extra opdrachten bij doel- enpubliekgerichtheid werden gemaakt, er werden twee commen-taarvragen per categorie gebruikt en er werd een eerste indrukin woorden geschreven.

De docenten hadden vier tot dertien dagen nodig om deopstellen van de leerlingen uit de controlegroep terug tegeven. Nog steeds rapporteerden docenten dat er in die klassenin het Iesuur waarin de opstellen werden teruggegeven veeltoelichtingen werden gevraagd.

Commentaar verwerken; twee lesuren als in vorige cursussen.Herschrijven; 66n lesuur, als in vorige cursussen.

Evaluatie. Er waren twee docenten die enigszins van hetlessenplan afweken. Beiden besteedden zij maar 66n lesuur aanhet verwerken van het commentaar. Efn van beiden liet de leer-lingen in de leerlingengroep geen nummers meer boven deopstellen schrijven, maar stond toe dat zij hun namen ge-bruikten als identificatie zo zij dat verkozen. Het wasduidelijk geworden dat de anonimiteit niet echt meer nodigwas. Bovendien werkte de truc ook niet meer omdat handschrif-ten herkend werden.

109

105 -

Conclusie. Vrij uitvoerig hebben we beschreven hoe de tweeonderwijsprogramma's in de praktijk van een aantal docententen uitvoer werden gebracht. We hebben dat gedaan om te latenzien welke de cursussen waren waarvan de resultaten vergelekenzullen worden. Bovendion was het nodig in te goon op de 'over-tredingen' die docenton maakten tegen het voorgeschrevenlessenFaan. Onze conclueie op basis van de one bekende gege-yens is, dat de cursussen per docent parallel zijn uitgevoerden dat verschillen tussen de lesplannen van de docenten nietzodanig zijn, dat we die zouden aanwenden om verschiilen ineffecten tussen groepen binnen docenten te verklaren.

Het is jammer dat het ons niet gelukt is van alle docentenlogboeken te ontvangen. Of we de lessen van de drie docentenwaarvan we geen of geen volledige serie logboeken ontvingenook tot uitvoeringen van de voorgeschreven lessen mogenrekenen, is niet zeker. Anders bronnen (observaties, vra-genlijsten) staan one ten dienste om daarover meer zekerheidte krijgen.

Op 6dn school moest een docent zich terugtrekken uit hetproject. Hoewel uit de logboeken blijkt dat de twee docentendie hem vervingen parallel werkten, is daarmee toch hetexperimenteel ontwerp verstoord voor wat bettaft de vierdeschrijfronde.

6.4. Controles op de uitvonring van de onderwijsprocedures

In de vorige paragraaf is uitvoerig beschreven hoe de tweeonderwijsprocedures zijn uitgevoerd. Er trod hier en daar aanhet licht dat er verschillen bestonden in het uitvoeren van deonderwijsprogramma's tussen docenten. Op nog twee anderewijzen hebben we gegevens verzameld over de implementatie vande onderwijsprogramma's, namelijk via observaties en vragen-lijstonderzoek. Resultaten van deze twee controlerende activi-teiten worden hierna gepresenteerd. Daarvoor gaan we in op hetvoorkomen van andere onderwijsactiviteiten die verantwoorde-lijk gesteld zouden kunnen worden voor eventueel optredendeeffecten op de afhankelijke variabelen.

Rivaliserende lesactiviteiten. Om te voorkomen dat docentennaast de twee onderwijsprogramma's ook eigen schrijfonderwijszouden goven, werd de docenten gevraagd in de overige lessenvddr de natoets in mei geen lessen te geven waarin het stellenbeoefend werd. Alle docenten zegden toe dit niet te zullendoen en zeiden na afloop van het cursusjaar dit ook nietgedaan te hebben. Men had trouwens de weinige lestijd die overwas hard nodig voor ander* onderdelen van het vak NederlandstOm enig inzicht te verkrijgen in de lessen die men gaf, werdook van de lesuren buiten de cursus een kort verslag gevraagd.Van negen docenten ontvingen we korte lesverslagen over delesperioden tussen de schrijfcursussen. In deze lessen pro-beerden de docenten hun normale derde klasprogramma uit tevoeren, voorzover de beperkte tijd dat toeliet. In elle

110

- 106 -

gevallen bleken de docenten parallel te werken: als er alsprake zou zijn van rivaliserende lesactiviteiten dan zijnbeide klassen van een docent aan die invloed blootgesteldgeweest. Of er sprake zou kunnen zijn van dergelijke les-activiteiten, is moeilijk vast te stellen, omdat gegist moetworden wat bijvoorbeeld de invloed van zinsontleden is op hetproduceren van teksten. In andere klassen weird veel tijd aanhet lezen van fictie besteed en aan stijlfiguren en -fouten.Enige invloed hiervan op de stijl in opstellen is te verwach-ten. Veel docenten lieten leerlingen regelmatig een tekstver-klaring maken: invloed hiervan op de opbouw van opstellen isniet uitgesloten. In elk geval is er geen onderwijs in hetschrijven van opstellen gegeven naast het onderzoeksprogramma.Mochten er verschillen geconstateerd kunnen worden tussen detwee condities in dit onderzoek, dan zijn deze niet aanverschillen in overige lesactiviteiten te danken: men gafsteeds in beide klassen hetzelfde.

Observaties. Een van de wijzen waarop men de implementatievan een onderwijsprogramma kan vaststellen, is na te gaan ofen in welke mate leerlingen in de les bedoelde activiteitenuitvoeren. Hiertoe is een implementatie-instrument oatwikkeld.Omdat de onderwijsprogramma's beide tot in detail zijn voorge-schreven, konden we een gespecificeerde lijst opsteilen van terealiseren lesactiviteiten, daarbij geinspireerd door het doorVan de Grift (te verschijnen) besproken onderzoek van Yeager,Wood en Kissel (1970). Er werden vier hoofdcategorieln onder-scheiden: individuele activiteiten, docent-leerling activi-teiten, leerling-leerling activiteiten en niet-lesgebondenactiviteiten. Elke hoofdcategorie bevatte 7 A 10 activiteiten.De opdracht voor de observator Wks de activiteiten van vier inhet leslokaal verspreid zittende leerlingen te scoren. In achttijdsblokken van vijf minuten werd een leerling driemaal perminuut gescoord. Na vier minuten volgde een pauze van 6611minuut. Tevens noteerde de observator de beginsituatie in deklas en de afronding van de les.

Tijdens de tweede.en de vierde cursus werden lessen geob-serveerd. In de tweede cursus werden achttien klassen bezochtdoor in totaal vier observatoren. Er werden vergelijkbarelessen geobserveerd die elle de voorbereiding tot de schrijf-opdracht als leerstof hadden. In de vierde ronde werden weerachttien klassen bezocht, nu door 6611 observator. De lessendie geobserveerd werden, hadden alle betrekking op 66n van delaatste stappen in het onderwijsprogrAmma: het verwerken vancommentaar. De klassen die in de tweeee en vierde cursusuitvielen, waren niet dezelfde.

Van elke geobserveerde lees:ling is vastgasteld welk percen-tage van de lestijd (max. 40 mint.ten) deze zich bezighield meteen bedoelde lesactiviteit. Over le beide groepen werd hetgemiddelde berekend. Het verschil werd getoetst met de t-toetsvoor onafhankelijke waarnemingen (zie tabel 6.4.).

111

- 107 -

Tabel 6.4.: De gemiddelde lesinhoudgebonden tijdsinvesteringvan de twee condities in percentages (n=36)(E=experimentele groep; C=controlegroep)

Groepen

Moment vanobserveren

.111110.6111.11,

gem. sd gem. sd t-waarde

2e cursus 83.80 17.24 72.14 17.27 2.87*

4e cursus 78.72 16.27 73.56 15.73 1.36

significant p S .05

Uit tabel 6.4. is op te maken dat de gemiddelde leerling om ennabij dertig minuten, driekwart van de lestijd, die dingendoet die van hem verlangd warden. Genoeg om te kunnen stellendat zij met one programa& hebben gewerkt. De experimentelegroep is intensiever bij het programa betrokken dan decontrolegroep. Wij concluderen dat, gezien de observatiege-gevens, de leerlingen in voldoende mate aan de onderwijspro-gramme's hebben meegedaan om ervan te kunnen profiteren.

Vragenlijsten. Na de tweede en de vierde schrijfcursus wardde leerlingen een vragenlijst voorgelegd. Met deze vragenlijstwerden verschillende doelen beoogd. Allereerst werd nagegaanof volgens de leerlingen elle geplande lesactiviteiten haddenplaatsgevonden. Ten tweede kon nagegaan worden welke feedback-boodschappen de leerlingen ontvingen en konden eventueleverschillen tussen beide condities op dit punt vastgesteldworden. Ten derde konden we achterhalen wat leerlingen zelfvan de kwaliteit van de feedback vonden die zij kregen enwelke invloed het commentaar volgens hen had op hun her-schreven versie van het opsttl.

De vragenlijsten bestonden uit 61 A 86 vragen, afhankelijkvan de schrijfcursus en de conditie. Getracht werd de vragenover de cursussen gelijkluidend te formuleren, opdat eenvergelijking tussen de twee momenten mogelijk zou zijn. Helaasbeschikten we niet over een volledig bestand aan gegevens: vanen docent raakten de vragenlijsten over de tweede cursuspostaal zoek. Beschikt ward over de volgende aantallen:ExperiMentele groep 240, respectievelijk 265; Controlegroep225, respectievelijk 273. Per vraag is een frequentieverdelinggemaakt van de gegeven antwoorden per conditie. In het hiernavolgende rapporteren we in tabellen het percentage leerlingenbinnen een conditie dat zegt een opdracht niet uitgevoerd tehebben.

Omstandigheden. We stelden een aantal vragen om inzicht tekrijgen in eventuele verschillen tussen de condities in deomstandigheden waarin leerlingen met het onderwijsprogrammawerkten. We onderscheidden vier factoren die invloed zoudenkunnen uitoefenen op het functioneren van beide curricula: demate van zelfstandigheid van leerlingen (7 vragen), de door

1 12

- 108 -

leerlingen waargenomen docentinspanning (5 vragen), werksfeer(5 vragen) en inzet (8 vragen). In tabel 6.5. staan de gemid-delden van de percentages leerlingen die eon vraag positiefbeantwoordden.

Tabel 6.5.: Omstandigheden waarin de onderwijsprogramma'sfunctioneerden. Oemiddeld percentage leerlingendat een aantal vragen over deze factoren positiefbeantwoordde (E=experimentele groep; C=controle-groep)

Cursus 2 Cursus 4

Factoren

Zelfstandigheid 70 73 68 74

Docentinspanning 77 74 77 78

Werksfeer 64 66 61 74

Eigen inzet 59 56 55 58

De verschillen tussen beide groepen in beide curussen zijngering. Alleen vat de werksfeer betreft in de vierde cursusblijken er in de controleconditie meer leerlingen te zijn diede sfeer positief waarderen. Op elle vragen in deze categorieantwoorden relatief meer leerlingen uit de controleconditiepositief dan 1eerlingen uit de experimentele conditie.

Deelname aan voorbereidende en begeleidende lesactivitei-ten. In tabel 6.6. zijn de voorbereidende en begeleidendelesactiviteiten van beide cursussen opgenomen. De volgorde van.de activiteiten is niet die van het onderwijsprogramma:ter wille van de vergelijkbaarheid hebben wij vergelijkbarelesactiviteiten van beide cursussen naast elkaar gezet. In detweede cursus zijn vrijwel alle voorbereidende lesactiviteitenen begeleidende opdrachten door een flink deel van de leer-lingen gemaakt. Alleen het bespreken van de teksten over hetonderwerp is in de ogen van veel leerlingen niet sebeurd. Uitde lesverslagen bleak echter dat er wel in de klas over hetonderwerp gesproken is. De formulering in de vragenlijst(sbespreken van teksten en citaten') is wellicht niet valide:als er losjes in de klas over het onderwerp gesproken wordt,is dat niet opgevat als 'bespreken van'. We concluderen, datbeide cursussen gegeven zijn zoals we planden, dat de leer-lingen in voldoende nate deelnamen aan het onderwijs en dat deverschillen tussen de twee condities niet zodanig zijn datdeze de oorzaak kunnen zijn van eventuele verschillen op deafhankelijke variabelen.

; 3

- 109 -

Tabel Deelname aan voorbereidende en begeleidende les-activiteiten. Het percentage leerlingen dat zegtnlet aan de activiteit te hebben deelgenomenWixperimente1e groep; Cm'Controlegroep)

Curious 2

1. Laren en beverken vonteksten over het ander-verp

2. Oestuderen van de leer-teksten over structuur enbetroonsaerheld

3. bestuderen von leertek-sten over de reflectie-opdrecnt 'neectle opigen opetel'

4. Net maken von een rq.ko1omMenechema oft stand-punt n arqumenten tegenereren en te OrdenenIfecuItetiefl

S. Schrilven swats vocals

6. Analyse eiqen eereteop atructuur nbetroumbaerheLd

7. Schrliven von 1aerate

S. Ultvoeren van reflectie-opdrecht 1 4rle 101

9. Uicvoeren von reflectle-opdracht 2. Wer qe1serddeer leren Van ender. op-stollen

10. Uit eeeeee reflectle-opdrecht 3: Wet qe144rddOOr becommenteriarenvan endere opetellen/

11. Uicvoeren van reflectle-opdrecht 42 Wet leleerdven hole echrilicuraus7

12. Volgen ven een uitleqdoor de docent over deschcigopdrecht

13. Oesprekinq ven een eentelreketen over het achri3C-onderworp

14. 2elecontrolle Opdrechtenmaken

IS. VolAyen ven de behendellnqven de relecontrole-op-drechoen

C Cur4U4 4

8.4 3.3 1. Beetuderen ven de inform-tie over het onderverp

3.11 2.2

10.5 5.0 2. Bestuderen ven de leer-tekaten over tien steppe('

14.7 14.3

11.7 23.3 3. Nerhelen von Oude th eeeee 40.3 42.1

23.8 17.6 4. rormuleren ven etemdpunt 8.3 4.0

2.3 3.6 3. Schrliven aerate versie 9.0 7.1

19.8 22.4 64.2erete versie controleren 29.6 26.6

6b.Eerete vocals beverken 33.6 31.2

2.1 1.4 7. Schrijven von 1 ee 3.9 3.6

9.2 7.7 8. Slgen merle noteren 32.6 33.1

4.7 nvt 9110. ?Wens becommenteriarenaentekeninlen oaken voorherschrigp1en

42.3 nvr

7.0 aim

nvt 13.4 II. Ataluitende reflAccie-opdracht

44./ 41.7

15./ 10.9

49.1 47.6

3.8 3.6

3.0 7.0

16. Analyse 1,444 de schri3f-situatle

8.9 3.7

17. Innoud roeken 9.9 4.3

10. Schrofplen opstelien 17.3 13.7

Deelname aan de commentaartaak. De leerlingen in de expe-rimentele condities vervulden een aantal commentaArtaken voordrie opstellen van modeleerlingen. Sommige taken waren inbeide cursussen gelijk. Om een indruk te krijgen van defeedback die leerlingen gekregen zouden hebben, wordt in tabel6.7. een overzicht gegeven van alle commentaartaken in beide

1

114

- 110-

cursussen, met vermelding van het percentage leerlingen dat detaak voor minder dan drie opstellen verrichtte. Dit percentageis te beschouwen als een indicatie voor het deelnameverlies.We merken op dat uit de docentlogboeken over de tweedeschrijfcursus bleek dat er in 66n klas een groot aantalleerlingen (75%) slechts twee opstellen te becommentaridrenkreeg (zie par.6.3.). Uit het antwoordenpatroon op de desbe-treffende vraag bleek er nog 64n klas te zijn, waarin dedocent er niet in geslaagd was (bijna) elle leerlingen op drieopstellen commentaar te laten geven. /n deze klas deed slechtstweederde van de leerlingen dit. In alle andere klassen was ernauwelijks een leerling die minder dan drie opstellen kreegvoorgelegd. Tijdens de tweede cursus gaf 851 van de leer-lingen op drie opstellen commentaar, tijdens de vierde cursuswas dat 971.

Tabel 6.7.: Deelname van commentaartaken in de experimenteleconditie. Het percentage leerlingen dat de activi-teit niet verrichtte

Commentaartaken

Cursus

2 4

1. Invullen van 12 reactiestellingen 3.8 nvt

2. Omschrijving van de aerate indruk 5.0 12.4

3. Beantwoorden van commentaarvragen 3.9 7.1

4. Omschrijven van het doel van de schrijver 8.4 10.6

5. Colflijntjes onder publiekgerichte zinnen 36.7 29.8

6. Markeren van driedeling (inleiding, kern, 1100 37.0 nvt

7. Markeren van hoofdzinnen in alinea's 30.1 nvt

8. Markeren van verbindende woorden en zinnen 49.1 nvt

9. Markeren van structuuraanduidende woorden en zinnen 68.2 nvt

10. Reactietekens in de kantlijn plaatsen 22.3 nvt

11. Verwilsnummers van commentaarvragen in opstel plaatsen 40.8 40.1

12. Toelichtingen op antwoorden Schripen 6.9 1.9

13. Opmerkingen in het opstel schrijven 9.4 10.0

De kernonderde3214 van de commentaartaak zijn de nummers1,2,3,11,12,13. Deze zijn in sterke mate geImplementeerd,behalve het noceren van verwijsnummers van commentaarvragen inhet te becommentarifren opstel. Uit de gegemens over detijdsbestedini van commentatoren (tabel 6.8.) blijkt dat dezezeer acceptabel is.

5

Tabel 6.8.: Tijdsbesteding van commentatoren in de experimen-tele conditie per opstel in percentages

Tijdsbesteding Cursus 2 Cursus 4

15 Minuten 11.5 11.415 30 minuten 54.9 43.330 45 minuten 25.7 18.945 minuten 8.0 23.6

In de cursus werd ernaar gestreefd de opstellen anoniem telaten becommentariften. In de vierde ronde is dit principevrij gelaten: wie wilde mocht zijn naam boven zijn opstelschrijven. (Mt tabel 6.9, blijkt dat volstrekte anonimiteitook in de tweede rondo niet bereikt is.

Tabel 6.9.: Anonimiteit van schrijvers (experimentele groep)van opstellen in percentages leerlingen dat zegtgeen, den of meer schrijvers te kennen

Aantal schrijvers bij de commentator Cursus 2 Cursus 4bekend

0 12.4 17.81 31.3 14.72 24.9 15.43 31.3 51.4

We stelden tenslotte een viertal vragen over de perceptie vande leerlingen van hun inzet bij het commentaar geven en heteffect ervan. In de tweede cursus gaf 83.8% te kennen op tweeof drie opstellen hun best gedaan te hebben; in de vierdecursus was dit 95%. De aandacht die men besteedde aan de taaknam toe (89.71 in cursus 2 besteedde veel aandacht, 94.9% incursus 4). Over de duidelijkheid van het commentaar werden decommentatoren (nog) optimistischer: 90.5% (cursus 2) en 97.2%(cursus 4) achtte het gegeven commentaar duidelijk. In dezelf-de orde lag het percentage dat verwachtte dat de schrijver wataan hun commentaar had: 92.4% (cursus 2) en 96.31 (cursus 4).

We concluderen dat de commentaartaak sterk geImplementeerdis.

De aard en hoeveelheid van het ontvangen commentaar. Zeggendat je commentaar gaf, wil nog niet zeggen dat je hot ookdeed. In een van de vooronderzoeken (par.4.3.) bleek al datleerlingen in de rol van commentaarontvanger minder commentaarleken te ontvangen dan zij gaven. We legden hun de verschei-dene commentaartaken voor en vroegen hoeveel van de driecommentatoren deze teak voor hun opstel hadden verricht. We

116

- 112 -

beschouwden de taak a1s ge/mplementeerd els twee van de driecommentatoren de taak verricht hadden. Aan de leerlingen in decontroleconditie legden we deze taken voor met de ja-nee-vraagof deze taak door hun docent verricht was voor hun opste1.

In de tweede cursus zijn van de kerntaken (1,2,3,11,12 en13) in de experimentele conditie het noteren van verwijs-nummers (11) en het maken van 'vrije' opmerkingen in hetopstel onvoldoende ge/mplementecrd. Als docenten commentaargeven, noteren ze wel verwijsnummers (11) en schrijven ze welcommentaar in het Opstel (tabel 6.10.)

In de vierde cursus is de hoeveelheid leerlingen die teklagen heeft over de hoeveelheid commentaar geringer. Alleende omschrijving van de eerste indruk (nr.2) is vaker overge-slagen. Toch is het aantal leerlingen dat zegt geen of weinigverwijsnummers te krijgen en 'vrije' opmerkingen moet ontberennog groot (resp. 48 en 52%). In de controleconditie is weinigveranderd tussen de tweede en vierde cursus. We concluderendat leerlingen in beide condities vooral de resultaten van detaken 1,2,3,4 als feedback kregen, de leerlingen in de con-troleconditie kregen daarnaast 'vrije' opmerkingen in hetopstel van hun docent en verwijsnummers in het opstel. Wear-schijnlijk is de aard van de feedback in beide conditiesverschillend.

Tabel 6.10.: De aard en hoeveelheid feedback in beide condi-ties op twee momenten. Het percentage leerlingenper conditie dat zegt geen commentaar van dedocent (controleconditie) of- seen of weinigcommentaar van 66n medeleerling (experimenteleconditie) gekregen te hebben. (Ewexperimentelegroep, Ccontro1egroep)

Coonentaartaken

Cursus 2 Cursus 4

Z C

1. Inv01.1en van 12 reactieatellingen 5.7 14.0 nvt nvt

2. Obschrijving van de cat* indruk 12.3 15.2 15.9 17.3

I. geantworden von comment aaaaaa gen 10.3 19.6 9.1 19.3

4. doschrijven van het doel van de schrijver 8.4 9.5 11.3 13.9

S. Golflijntjes ender pulikiekgerichte zinnen 54.3 26.9 36.4 39.4

6. Markeren van driedeling (inIelding, kern, slot) 48.8 34.9 nvt nvt

7. Markern Van hooZdzinnen in alinee's 49.0 26.9 nvt nvt

9. Markeren van verbindende woordn en annen 64.7 30.6 nvt nvt

9. Markeran van atructuuraenduidende voorden en zinnen 77.7 53.7 nvt nvt

10. Beectietekana in de kent100 1:400t8en 44.4 33.0 nvt nvt

11. Vervijsnummere van commentaarvragen in opste1 plaetean 61.1 23.3 49.2 23.3

12. Toelichtingen op ntuoorden schri)von 28.1 35.3 18.9 32.4

13. Opmerkingen in het opste1 achrijven 53.1 26.1 52.3 32.2

1 7

- 113-

Waardering van de feedback. Er werden drie vragen gestelddie betrekking hadden op de perceptie en waardering van defeedback door gebruikers. De vraagstelling was in beidecondities gelijk. De antwoordmogelijkheden varieerden echter.In de experimentele conditie hadden leerlingen vier antwoord-moge1ijkheden tot hun beschikking, waarbij het aantal commen-tatoren vcor wie de vraag positief beantwoord kon worden va-rieerde van 3 tot O. In de controleconditie kozen de leer-lingen uit de antwoordmogelijkheden jail, jai, nee en nee!!In tabel 6.11. is samengevat hoeveel procent van de leerlingenniet tevreden was over do feedback die zij kregen. In deexperimenteie conditie achtten wij het onderwijs geslaagd alser tenminste over twee commentatoren tevredenheid bestond. Deantwoordmogelijkheden in de controleconditie maakten hetleggen ven een cesuur niet moeilijk: 'nee!' en 'neell' duiddenop ontevredenheid.

Tabel 6.11.: Ontevredenheid over de ontvangen feedback. Hetpercentage leerlingen dat het commentaar van tweeof drie medeleerlingen negatief beoordeelde (E)en het percentage leerlingen dat de feedback vande docent negatief becordeelde (C). (E=experi-mentele groep, C=controlegroep)

cursus 2 cursus 4

Duidelijkheid 11.6 22.6 10.9 5.3Zorgvuldigheid 27.7 16.2 16.0 2.7Hehulpzaambeid 33.2 21.0 25.5 1.5

Uit tabel 6.11. is op te maken dat leerlingen in de controle-conditie meer problemen hadden met de betekenis van hetcommentaar in de tweede cursus dan hun collega's in de ex-perimentele conditie, maar desondanks de feedback op de tweeandere aspecten positief beoordeelden. In de vierde cursus isde waardering in beide groepen in elle opzichten toegenomen.De leerlingen in de controleconditie hebben de feedback lerenbegrijpen en zijn zeer tevreden over de mate van behulpzaam-heid. In de experimentele conditie is het oordeel over dezorgvuldigheid en de behulpzaamheid gunstiger.

Commentaar verwerken. Nadat de leerlingen het commentaar ophun opstel terugkregen, moesten zij dit samenvatten, beoor-delen en verwerken in een herschrijfplan (tabel 6.12.).

Het blijkt dat de taken van de fase Commentaar Verwerkengoed geimplementeerd zijn. In de beide condities zijn in devierde cursus wat meer leerlingen die zeggen het commentaarniet te hebben samengevat en niet te hebben becommentarieerd.

8

- 114-

Tabel 6.12.: Deelname van leerlingen aan de taken uit de fasevan Commentaar Verwerken. Het percentage leer-lingen dat de activiteit niet verrichtte (E=ex-perimentele groep, Czcontraig-roep)

Cursus 2 Cursus 4

Taken

1. Samenvatten van het commentaar 10.7 12.0 5.8 12.4

2. Becommentaridren van het commentaar 13.7 15.0 11.4 19.4

3. opstellen van een herschrijfplan 5.9 7.8 4.4 2.7

4. Schrijven van een definitieve versie 3.6 5.4 2.8 1.9

/n de handleiding voor de docent was aangegeven, dat leer-lingen niet verplicht waren in de vierde ronde deze tweeactiviteiten afzonderlijk te verrichten: Ze mochten als ze datverkozen deze twee activiteiten in den keer op papier zetten.Aan commentaarverwerkers vroegen we of de commentatorenanoniem gebleven waren. Ook nu bleak dat we *r niet in ge-slaagd waren het commentaar anoniem te laten geven. In deeerste cursus kende 36% van de sthrijvers hun commentatoren,in de vierde cursus was dat percentage gestegen tot 63%.

Conclusies over het vragenlijstonderzoek. Uit de resultatenvan het vragenlAstonderzoek maakten wij op dat de tweeonderwijsprocedures zeker voor wat de kern betreft sterkgeImplementeerd zijn. Dat neemt niet weg dat er aanzienlijkeverschillen tussen klassen zijn. We berekenden ook enkele hierniet gerapporteerde indices, waaruit bleek dat de mate vanimplementatie docentafhankelijk was. We berekenden een indexvoor aanbodverlies (het aantal activiteiten dat volgens 25%van de leerlingen van een klas niet is opgegeven) en een indexvoor deelnameverlies (het aantal lesactiviteiten waaraan eenkwart van de leerlingen van een klas volgens eigen zeggen nietdeelnam). Uit deze gegevens blijkt dat er tussen docenten entussen klassen van docenten wat deze indices betreft somsgrote verschillen zijn. Bij sommige docenten rapporterenrelatief meer leerlingen uit beide klassen meer aanbod- endeelnameverlies. Bij een andere docent is het een van beideklassen waarin relatief veel aanbod- en deelnameverlies werdgerapporteerd. Sommige docenten hadden blijkbaar moeite metbeide onderwijsprogramma's of hun beide klassen, anderedocenten met een van beide klassen of een van beide onder-wijsprogramma's.

Een belangrijk element van het experimentele onderwijs-programme was het verrichten van de commentaartaak. Volgens devragenlijstgegevens is deze sterk getmplementeerd en zijn ersteeds minder leerlingen (tabel 6.11.) die klachten hebbenover de feedback die zij kregen: ook secundaire commentaarta-ken raakten beter in de werkwijze in klassen opgenomen.Leerlingen gaven aan veel tijd en energie in andermans op-stellen te steken.

119

- 115 -

De kern van de feedbacktaak werd volgens feedbackgebruikersin beide condities uitgevoerd. Ze ontvingen van hun docent ofvan twee medeleerlingen de antwoorden op het reactie- en hetcommentaarformulier, en omschrijvingen van een eerste indruken van het doel van de schrijver. Als we de feedbackgegevensuit tabel 6.10. rangordenen volgens het percentage leerlingendat geen feedback op een taak zegt te hebben ontvangen, danblijken de verschillen tussen de condities zich voor te doenna deze vier kerntaken. In de experimentele conditie ontvingenleerlingen voorts toelichtingen op de antwoorden van hetcommentaarformulier en reactietekens in de kantlijn van hetopstel. In de controleconditie troffen leerlingen vooral nogverwijsnummers aan van commentaarvragen in het opstel en op-merkingen in het opstel. Dehalve de kwantiteit van de feed-backgevers, zullen de twee condities tengevolge van hetverschil in de persoon en kwaliteit van de feedbackgever ookhebben verschild in de soort en inhoud van secundaire feed-back.

Er zijn verschillen tussen de condities wat de waarderingvan de feedback betreft (tabel 6.11.). Er zijn ook verschillentussen de twee momenten. In beide condities neemt het aantalontevreden leerlingen af. De docentfeedback is op beidemomenten zorgvuldiger en 4diedt meer hulp dan leerlingenfeed-back. Tijdens de tweede cursus waren leerlingen in de controleconditie minder over de duidelijkheid van de feedback van dedocent te spreken.

In de vragenlijst over de vierde cursus namen we een vraagop over de mate waarin de herschreven versie van de eersteversie verschildes 43% van de leerlingen in de experimenteleconditie en 50% in de controleconditie zei dat de herschrevenversie sterk van de eerste versie verschilde. Op de vraag ofde commentaren veel invloed hadden gehad op de herschrevenversie antwoordde 58% van de leerlingen in de experimentelegroep bevIstigend tegen 56% in de controlegroep. Veel invloedhebben op de herschreven versie wil blijkbaar nog niet zeggendat die versie sterk verschilt van de eerste versie. Of deeerste versie in de controleconditie was van een hogerekwaliteit dan die in de experimentele conditie, Of in deexperiment644 conditie werden andere correcties aangebracht.In elk geval geldt voor beide condities dat de feedback dieleerlingen kregen voor veel van hen ertoe deed.

6.5. Conclusies

In dit hoofdstuk werd beschreven welke procedures gehanteerdwerden in de fase van dataverzamelen. Uit par. 6.2. bleek dathet hoofdbestanddeel van het onderzoek, het uitvoeren van deonderwijsprogramma's, in handen was van ervaren docentenNederlands, werkzaam op een achttal scholen die varieerden ingrootte en gezindheid. Zij voerden voorzover wij na kondengaan de programme's vrij nauwkeurig uit. Uit de door een

120

- 116-

aantal van hen bijgehouden logboeken, bleak een duidelijkbeeld te schetsen van de praktijk van de onderwijsprogramma's(par. 6.3.). Uit observaties en vragenlijstgegevens blekenbeide onderwijsprogramma's good geimplementeerd. Uit delogboeken en de vragenlijstgegevens konden we ook enkelevoorzichtige aanwijzingen Verkrijgen over de verschillentussen beide condities. Het bleak uit de logboeken dat er inde lessen waarin docenten de door hen becommentarieerdeopstellen teruggaven in de controleconditie, veel onrust was.Leerlingen vroegen toelichtingen en nadere uitleg. Toch blijktuit de antwoorden van leerlingen op vragen in de vragenlijstover hun oordelen over de feedback die zij kregen, dat hetmerendeel van de leerlingen dear heel tevreden over was. Wevermoeden dat de interactie tussen docent en leerling eenextra vorm van onderwijs is geweest die in de experimenteleconditie niet plaatsvond. Uit de vragenlijstgegevens bleak ookdat de feedback van de docent waarschijnlijk andere signalenbevatte dan de feedback die leerlingen van elkaar kregen in deexperimentele conditie. We denken dan aan de mate waarin doorde docent gebruik is gemaakt van geschreven commentaar in deopstellen en van verwijsnummers: getallen in het opstel diecorresponderen met vragen uit het commentaarformulier. Het isvan belang dit soort gegevens over het functioneren van deonderwijsprogramma's te betrekken bij de interpretatie van deresultaten.

121

- 117 -

7. RESULTATEN

In dit hoofdstuk worden de resultaten van deze studie gepre-senteerd. We 'brengen in herinnering dat er drie groepenafhankelijke variabelon zijn onderscheiden: Schrijfpres-tatievariabelen, Psychologische Variabelen en Schrijfpro-cesvariabelen. Hot onderzoeksontwerp is een gerandomiseerdblokontwerp. Elf docenten (de blokken) hadden ieder tweeklassen te onderwijzn. Per blok zijn de klassen via lotingtoegewezen aan een van beide condities. Voor de PsychologischeVariabelen en de Schrijfprestatievariabelen beschikten we overde resultaten van drie meetmomenten: een voor-, tussen- ennameting. Voor de Schrijfprocesvariabelen werd als voor- ennatoets een opstel hardop geschreven.

Dit hoofdstuk valt in zes delen uiteen. In par. 7.1. wordtingegaan op de keuze van multivariate covariantie-analyse alestatistische techniek om de hypotnesen over de Schrijfpresta-tievariabelen en de Psychologische Variabelen te toetsen. Inde daaropvolgende paragrafen worden de resultaten voor dehypothesen over de Schrijfprestatievariablen (par. 7.2.),Psychologische Variabelen (par. 7.3.) en Schrijfprocesva-riabelen (par. 7.4.) beschreven. In par. 7.5. komen enkeleexploraties aan bod over de effecten van de factoren sexe endocent op de Psychologische Variabelen en de Schrijfpresta-tievariabelen, over de samenhang tussen deze afhankelijkevariabelen en over de frequentie waarmee kenmerken van Doel-en Publiekgerichtheid in opstellen voorkomen. Het hoofdstukwordt besloten met een concluderende samenvatting.

7.1. Multivariate covariantie-analyse

In par. 2.5. formuleerden we hypothesen over PsychologischeVariabelen en over Schrijfprestaties. In pleats van elkeafzonderlijke nulhypothese te toetsen, bijvoorbeeld die voorelke opstelkwaliteit -, is het uit statistisch oogpunt ver-kieslijk eerst de multivariate nulhypothese te toetsen en pasbij verwerping daarvan elke afzonderlijke nulhypothese teonderzoeken. Men voorkomt daarmee dat het significantieniveaubij het toetsen van elke afzonderlijke hypothese ongemerktgroter wordt dan het per toets vastgestelde niveau (zieMellenbergh, 1976).

Het gebruik van covariantie-analyse wordt aanbevolen in hetgeval dat men niet enders dan via statistische technieken kancorrigeren voor mogelijke initiSle verschillen tussan deexperimentele groepen. In onderwijsonderzoek is dat vaak hetgeval als gevolg van het ontbreken van de mogelijkheid deonderzoekseenheden via loting aan de condities toe te wijzen.In deze studie zou dat zo zijn ale niet de klas maar deleerling de analyse-eenheid was geweest. Loting draagt ertoebij dat eventueel beInvloedende factoren als klassesfeer ge-lijkelijk verdeeld zijn in beide condities. Sovendien sluit

122

- 118 -

loting zelfselectie-effecten uit. Stel dat docenten zelfhadden kunnen bepalen Welke van hun beide klassen de experi-mentele onderwijsprocedure zou volgen, op grond waarvan zoudenzij hun keuze dan bepalen? Verwachtten zij in de ene klasbeter met de experimentele leergang te kunnen werken dan in deandere klas?

De zekerheid waarmee man weet, dat beide condities quarivaliserende achtergrondvariabelen gelijk zijn, neemt toenaarmate de condities meer via loting toegewezen onderzoeks-eenheden bevatten. In onze studio werd een groep gevormd doorelf klassen. Dit is een vrij goring aantal, waardoor de kansop initiale verschillen die invloed zouden kunnen uitoefenenop de uiteindelijke resultaten van de natoetsen vrij groot is.vandaar dat het toch wenselijk is voor doze initiOle verschil-len via de techniek van covariantie-analyse te corrigeren.Deze techniea neemt de correlatie tussen do afhankelijkevariabele en een of meer covariaten in acht. De variantie inde natoetsscores die toe te schrijven is aan de covariatenwordt verwijderd uit de afhankelijke variabele voordat designificantietest wordt uitgevoerd.

In dit onderzoek warden de voortoetsscores opgevat alscovariaten. De veronderstelling was dat de voortoetsscoreszouden samenhangen met de natoetsscorest alleen dan is eenregressielijn te schatten van de natoetsscores op de voor-toetsscores, die de precisie van de variantie-analyse doettoenemen. Volgens Reichardt (in Cook en Campbell, 1979) is devergroting van de precisie van covariantie boven gewone va-riantie-analyse gering als de correlatle tussen voor- ennatoetsscores minder is dan .40. In tabel 7.1. worden decorrelaties tussen voortoets en tussentoets en de voortoets ennatoets gepresenteerd.

Uit de tabel blijkt dat covariantie-analyse .1, het analyse-niveau van de klas zin heeft voor de Psychologische Variabelenen de Schrijfprestatievariabelen (schaalbeoordeeld). Hoewelbij Schrijfprestatievariabelen ook een aantal lage correlatiesvoorkonen in de kolom Totaal, zijn er voldoende correlatiesvan om en nabij .40 of hoger om covariantie-analyse te recht-vaardigen. Getoetst is met voor elke afhankelijke variabele devoortoetsscores op drie (Psychologische Variabelen) of vier(Schrijfprestatievariabelen) variabelen als voortoets, waarbijde met de afhankelijke variabele overeenstemmende variabele deeerste covariaat was.

123

- 119 -

Tabel 7.1.8 Correlaties tussen voortoets-, tussentoets- ennatoetsscores voor Psychologische Variabelen enSchrijfprestatievariabelen voor alle klassen (T)

(n-22) en de klassen per conditie (E/C) (n4211),met tussen haakjes de correlaties voor elle leer-lingen (T:rm264; E/C:n45132)

AfhankelijkeVariabelen

Voortoets-tussentoets Voortoets-natoets

PsychologischeVariabelen

Angst-voor-het- .61 .61 .61 .81 .73 .89niet-Kunnen-schrijven

(.65) (.69) (.60) (.72) (.76) (.68)

Houding-jegens-het- .53 .33 .72 .46 .30 .72Beoordeeld-worden (.59) (.54) (.66) (.60) (.50) (.69)

Houding-jegens het .58 .14 .72 .49 -.10 .74Schrijven (.72) (.73) (.71) (.72) (.65) (.76)

Schrijfprestatie-variabelen

Doelgerichtheid .38 .41 .41 -.02 .27 -.35(.20) (.18) (.23) (.05) (.09) (.09)

Publiekgerichtheid -.02 -.22 .51 .22 .27 .49(.14) (.14) (.18) (.10) (.17) (-.07)

Opbouw .36 .19 .70 .52 .62 .37(.25) (.27) (.24) (.09) (.06) (.18)

Stijl .52 .47 .60 .66 .63 .71(.41) (.33) (.51) (.42) (.39) (.45)

7.2. Resultaten Schrijfprestatievariabelen

In tabel 7.2. worden de gemiddelden en standaardafwijkingengepresenteerd van de vier afhankelijke variabelen van hetcluster Schrijfprestatievariabelen. Hoe hoger de score, hoebeter de prestatie. Het betreft tot klasseniveau geaggregeerdescores, verkregen via sommering van de individuele acores endeling van de somscores door het aantal elementen binnen deklas. De gerapporteerde standaardafwijkingen zijn indicatorenvan de spreiding tussen klassescores, niet van de spreidingtussen leerlingscores.

124

- 120 -

Tabel 7.2.: Gemiddelden en standaardafwijkingen (tussen haak-jes) van klassescores, binnen beide condities opde voortoets (1), tussentoets (2) en natoets (3)vuor de afhankelijke variabelen Doelgerichtheid,Publiekgerichtheid, Opbouw en Stijl (alle vier viaschaalbeoordeling)

Experimenteel

Conditie

(n=11) Controle (n=11)

Toetsmoment

1 2 3 1 2 3

Afhankelijkevariabelen

Doelgericht- 102.48 105.42 105.55 100.92 106.70 106.72heid (4.23) (5.01) (5.97) (4.73) (5.89) (4.11)

Publiekge- 103.37 106.60 100.30 100.98 108.52 101.92richtheid (2.96) (5.79) (4.20) (2.40) (4.56) (3.08)

Ophouw 91.54 101.88 106.23 91.92 99.53 106.86(3.96) (4.50) (6.08) (2.47) (5.20) (5.84)

Stijl 101.34 104.85 111.68 101.87 105.93 112.17(3.98) (5.95) (3.69) (3.32) (4.49) (2.95)

De covariantiematrices van beide groepen verschilden nietsignificant van elkaar (toets van Box). Gegevens over andereassumpties staan in tabel 7.3. Uit tabel 7.3. blijkt dat deniet lineaire associatiemaat eta ( n) in geen enkel gavelsignificant van de lineaire corre1atiecoafic8nt afwijkt. Derelaties tussen de covariaten en de afhankelijke variabelenkunnen dus als lineair beschouwd worden. In de tweede helftvan tabel 7.3. worden gegevens vermeld over de parallelliteitvan de regressielijnen. Als de hellingshoek afhankelijk is vande conditie, zou dit een interactie tussen conditie en cove-riaat inhouden. De interactiecomponenten blijken echter ingeen der gevallen statistisch significant. De verschillentussen de gemiddelden van beide groepen zijn klein tot zeerkIein. De multivariate nulhypothese kon dan ook voor noch detussentoets-, noch de natoetsverschillen verworpen worden(MANCOVA: F=1.97, p=.16; F=.57, p=.69; df in beide gevallen4/13). De toetsen zijn ook uitgevoerd met verwijdering van detwee klassen waarvan de docent zich vlak voor het einde van dederde schrijfronde terugtrok en die werden overgenomen doortwee minder ervaren docenten (par. 6.3.). De uitslagen vandeze toetsen doen echter niets af aan de conclusie (T2:F=1.96, df 4/11, p=.17; T3: F=.56, df 4/11, p=.7I). Deconclusie luidt dan ook dat er als gevolg van het al dan nietinschakelen van medeleerlingen geen verschillen in schrijf-prestaties teweeg gebracht zijn.

1 2 5

- 121 -

Tabel 7.3.: Toetsingsgevens voor de assumptie van lineariteiten parallelliteit van de regressielijneh t.b.v.MANCOVA-toets voor de SchrijfprestatievariabelenDO (Doelgerichtheid), PU (Publiekgerichtheid), OP(Opbouw) en ST (Stijl)

Linasiritait ParallallItalt

00v4r1aat Athankali,ka vripteid4- bijdrage van inter-P4r140,41an A r r ',radon p actia Lassen p

canditia ancov rr i ss t

DO vaortost

PU voortonts

OP voartaets

ST voortoets

00 ttoots

.6584 .7914 .6048 9 .7704 .00747 .054

DO nataat 4949 .0344 .3957 9 .9137 1.70464 .19$

PO Lassen-tants

747, -.0016 1.8593 0 .1605 3.55347 .127

PU wat .5744 .2212 .4913 0 .4917 .14577 .707

OP Lassen-toots

.7666 .3538 1.3778 0 .7040 7.81065 .067

OP waists .7316 .5169 .7481 9 .7481 .00874 .930

ST t ..

toots07,0 .5000 1.8069 9 .1758 .03137 .063

ST pataatn .0516 .6353 1.4877 9 .3634 .02066 .007

Voor de variabelen Opbouw en Stijl is een gestage en groteverhoging in de scores te zien. Aan deze verschillen kanechter niet de conclusie verbonden worden dat beide onderwijs-procedures blijkbaar tot verhoging van de kwaliteiten van deopstellen leidden. Immers, in dit onderzoeksontwerp is nietvoor groei gecontroleerd via een controlegroep zonder enigeinstructie. Zelfs de conclusie dat de leerlingen vooruitgegaan zijn, gaat te vet omdat de stelopdracht en derhalve deopstelschalen voor de voor- en tussentoets enerzijds en op denatoets anderzijds verschilden. In de discussie in hoofdstuk 8komen we hierop terug.

7.3. Resultaten Psychologische Variabelen

In tabel 7.4. worden de gemiddelden en standaardafwijkingengepresenteerd van de drie afhankelijke variabelen van de groepPsychologische Variabelen. Het bltreft hier klassescores. Hoehoger de score, hoe betsr: mit:6er angst en positievere hou-dingen.

De verschillen tussen de gemiddelden zijn wederom klein. Omdeze verschillen statistisch te toetsen is gebruik gemaakt vaneen multivariate covariantie-analyse. Alvorens daze analyse teverrichten, is nagegaan of de gegevens aan twee belangrijkeassumpties voldoen: parallelliteit en lineariteit van deregressielijnen binnen de condities.

126

- 122 -

Tabel 7.4.: Gemiddelden en standaardafwijkingen (tuasen haken)van klaaseacores op de Psychologische variabelen

Conditie

ExperimeKt401 (noll) Controls (n1=11)

Afhankelijkevariabelen

1 2

TOetsmoment

3 1 2 3

Angst-voor- 47.20 47.06 47.69 46.48 46.72 47.19het-niet-Kun-nen-schrijven

(3.20) (4.12) (3.02) (3.03) (3.85) (3.54)

Rouding-jegena- 24.10 25.17 25.06 24.53 24.83 24.81het-Beoordoeld-worden

(2.54) (1.65) (3.45) (2.40) (2.42) (2.48)

Rouding-jegens- 27.02 24.79 25.55 25.30 24.01 24.57Schrijven (1.52) (2.61) (4.01) (3.86) (3.47) (4.22)

Tabel 7.5.: Toetsingsgegvena voor de assumptie van lineari-teit en parallelliteit van regreasielijnen t.b.v.MANCOVA-toeta voor de Psychologische Variabelen:AK (Angst-voor-hot-niet-Kunnon-schrijven), HB(Rouding-jegens-het-Beoordeeld-worden), RS (Hou-ding-jegena-Schrijvon).

Lineeirfteit Para11.111teit

Cevar:aat Aftionkls.A0 vripleids- Bijdrage van inter-variaboten n r grader' p actie tulleen P

tonditie entoveriaat

AK voortootu AK ttoots

AS natoets

OB t pets KB tussen-toots

HS natoets

as voortoots US ttoetsn

HS natoets

.648 .6006 .1261 9 .9979 .00002 .996

.069 .8234 .2762 9 .9683 1.67690 .226

.760 .6209 1.2792 7 .3600 2.67419 .119

.736 .4661 1.3000 7 .3204 .46763 .607

.734 .6927 .6091 0 .7648 .46201 .610

.697 .4702 .6094 8 .6949 1.74030 .203

Aan de assumption; van parallelliteit an lineairiteit vanregressielijnen voldoen de gegevena (tabel 7.5.). Dat is niethet geval voor een derdo assumptie, die van gelijke covarian-tiematrices in beide condities. Dit is nog wel zo bij detussntoetsscores (toets Van Box, r-1.10, df 21/1471, p.1.34),maar niet bij de natoetsgegevens (P1=1.79, df 21/147i, p=1.015).Strike genomen zou op deze gegevens geen multivariate cove-

127

- 123-

riantie-analyse uitgevoerd =gen worden. We hebben dat tochgedaan: de F-waarde is namelijk klein maar wordt statistischsignificant door het grote aantal vrijheidsgraden. De beidematrices verschillen dus niet stork. De toetsingsresultatenwijzen uit dat de multivariate nulhypothese niet verworpen kanworden (tussentoets pm.95; natoets F.301 pim.83; df inbeide gevallen 3/15). Ook hier voerden we de toetseh nog eensuit met verwijdering van de twee klassen die niet in onsontwerp pasten, doordat een docenteffect getntroduceerd wordtoen een docent zijn twee klassen aan twe andere docentenoverdroeg. De resultaten zijn echter vergelijkbaar Pmt.66,df 3/13, p=.59: T3: P.m.19, df 3/13, p.90). De conclusie overde Psychologische Variabelen most hetzelfde luiden ale dieover de Schrijfprestatievariabelens de twee onderwijspro-cedures resulteren niet in verschillende houdingen in klassen.

7.4. Resultaten Schrijfprocesvari.belen

In par. 5.5. is beschreven op welke wijze de schrijfprocesge-gevens van 22 leerlingen verkregen en bewerkt zijn. Na eeninhoudelijke reductie van de 80 categoriedn moest het aantalcategoriein nogmaals teruggebracht worden in verband met hetvoorkomen van lege cellen. De tweeds reductie levorde 22(2x8-)tabellen op. Door de lage celfrequenties konden nietalle voorgenomen exploraties uitgevoerd worden (zie par.2.5.). De 22 leerlingen bleken te weinig criteria te genererenom de categorie die hierop betrekking had te handhaven. Hetonderscheid tussen publiekgerichte en neutrale opmerkingenmoest eveneens vervallen om die radon: er werden nauwelijkspubliekgerichte opmerkingen gemaakt. In tabel 7.6. staan defrequenties per conditie per categorie. De verwachting was datleerlingen in de experimentele conditie op alle andere cate-gorie0n dan de restcategorie hoger zouden scoren dan deleerlingen in de controleconditie. Uit tabel 7.6. blijkt aldat dat niet het geval is.

De gegevens ejn geanalyseerd met behulp van loglineairemodelpassing (zie Vijn, 1982). Doze methode maakt het mogelijkde relaties tussen variabelen te onderzoeken door verschil-lende beschrijvingsmodellen tegen elkaar af te wegen. Tevensis het mogelijk, net als bij variantie-analyse, de bijdragevan de modeltermen te schatten.

r 128

- 124 -

Tabel 7.6.: Frequenties van Schrijfprocesvariabelenconditie en toetsmoment

voor

Categorie

Experimentele conditie Controls conditie

VoortOets Vatoets Voortoets Natoets

1. Restcategorie 2916 2808 3172 3027

2. Zelfinstructie 192 222 217 163

3. Genereren 1203 748 1184 836

4. Structureren 128 194 136 187

5. Formuleringenkiezen

44 30 33 50

6. Evalueren 163 167 197 191

7. Veranderen vanpassagas

50 61 30 37

8. Veranderen vanzinnen, woorden

225 239 202 261

In ons model zijn er drie factoren: Conditie (1), Meet-moment (2) en Categorie (3). Gewoonlijk tracht men via suc-cessievelijk verwijderen van interactietermen tot een spear-zamer dan het verzadigde model te komen. In ons gavel isechter de verwachting dat de interactie tussen conditie enmeetmoment voor de categorieft 2 t/m 8 juist noodzakelijk isvoor een adequate beschrijving van de data. In tabel 7.7,worden de gegevens van een aantal modellen gepresenteerd.

Tabel 7.7.: Aannemelijkheidsverhouding (G2) met aantal vrij-heidsgraden en overschrijdingskans voor een aantalmodellen

Model Ga df

A8CDE

(123)(12)(12)(12)(13)

(13)(13)(23)(23)

(23) 21.69181.0044.7821.88

714148

.003

.000

.000

.005

Uit de passingsgegevens in tabel 7.7. blijkt de interactietermniet ongestraft uit het verzadigde model A verwijderd tekunnen worden. De interactieterm geeft aan dat er een verbandis tussen Conditie, Tijdstip en Categories voor enkele of elle

129

- 125..

categorieon is er een significant effect van de experimenteleonderwijsprocedure. De interactieparameters zijn geschat,opdat nagegaan kan worden voor welke categoric er sprake isvan een significant. interactie. Deze parameterschattingenzijn getransformeerd tot standaardscores. Als de absolutewaarde van zosn standaardscore groter is dan 1.96, mag gesteldwarden dat de desbetreffende cel bijdraagt tot de interactietop 5%) (zie Vijn, 1982). In tabel 7.8. worden doze gestan-daardiseerde parameterschattingen gepresenteerd.

Tabel 7.8.: Geschatte gestandaardiseerde interactieparametersonder model A, voor Conditie 1 (experimenteel) enTijdstip 1 (voortoets) en Categorie8n.

Catgotis1 2 3 4 5 6 7 0

Conditto 111 x Cat. -2.779 .974 -1.638 -.472 ..937 2.546 3.462 .220115dstip 111 x Cat. 1.857 1.345 9.964 .4.401 .076 .416 1.274 1.972Coaditle x Tljelatip x Cat. -1.021 .3.532 .678 -1.067 2,513 -,154 -.264 .967

De gegevens in tabel 7.8. laten zich als volgt lezen. Als deabsolute waarde van de gestandaardiseerde parameterschattingin een cel groter is den 1.96, wijkt hij significant (p.05)af van 0 en draag. hij bij tot het effect op de afhankelijkevariabele. Dit lesulteert in de volgende interpretatie.Allereerst is het behoren tot een van beide condities er deoorzaak van dat de scores op categorie 1, 6 en 7 verschillen.Vervolgens is er het effect van tijd op de categorieln 3, 4 en8, respectievelijk genereren, structureren en veranderen vanwoorden en zinnen. De leerlingen in beide groepen genererenminder en structureren en veranderen neer. Ten derde is er eeneffect van de experinentele onderwijsprocedure op categoric 2en 5 (een interactie tussen tijdstip en conditie). De leer-linen in de experimentele conditie geven zichzelf op denatoets meer instructies dan op de voortoets, terwijl in decontroleconditie het omgekeerde het geval is: de frequentie opde natoets is lager dan op de voortoets. Op categoric: 5,overwegen van zinsbouw en woordkeus, is het patroon omgekeerd:hier blijken de leerlingen in de controleconditie van de on-derwijsprocedure geprofiteerd te hebben.

Samengevat: de gemiddelde leerling genereert als gevolg vangroei en/of het gemeenschappelijke in de onderwijsprogrammassminder items, maar structureert en verandert meer. De leerlingin de experimentele conditie hanteert het schrijfproces alsgevolg van het experimentele programma als een doelgerichtproces, blijkens de toename van de frequentie van zelfinstruc-ties. Do leerling in de controleconditie houdt zich door hetonderwijsprogramma meer met taalgebruikskeuzen bezig.

130

- 126-

7.5. Psychologische Variabelen en Schrijfprestaties: nadereexploratios

In deze paragraaf beschouwen we enkele gegevens uit hetonderzoek, die geen antwoord zijn op de primaire onderzoeks-vragen, maar op zichzelf wel interessant zijn. We gaan in opdrie theme's: analyses met de factor Sexe en Docent, eenbeschouwing van de gegevens van Doel- en Publiekgerichtheid,verkregen via analytische scoring, en enkele gegevens overcorrelationele verbanden tussen de afhankelijke variabelen.

In enkele onderzoeken die in het hoofdstuk over de onder-zoeksliteratuur werden behandeld, bleak soms dat misjes, somsdat jongens beat hadden bij feedback van leerlingen. Zenverklaring voor deze interactie tussen Sexe en Programa wordin geen van deze onderzooken gegeven. In 66n onderzook was ersprake van een hoofdeffect voor sexe. Noe het in ons onderzoeknet de factor Sexe gesteld is, is nu voorwerp van aandacht.

Een eerste indicatie levert tabel 7.9., waarin de gemid-delden op de afhankelijke variabelen voor jongens en meisjesapart zijn vermeld. Ben vergelijking levert enkele vermoedensop over hoofdeffecten van Sexe en interactios tussen Sexe enProgramme. Zo lijken jongens minder Angst-voor-het-niet-Kun-nen-schrijven te hebben dan meisjes en lijken meisjes meerplezier in schrijven te hebben dan jongens.

Tabel 7.9.: Gemiddelden en standaardafwilkingen voor jongensen meisjes apart op de Psychologische Variabelenen de Schrilfprestatievariabelen

Ansa LLLLL ake

vatt46419, lbetsa699ont 1

An9st-9001-641-4181- 49.394060.0-80w1),0 9.44

0406164m,48.414- 23.3460144.14-.61446 6.29

0004$411-men8- 24.4464hs1),44 6.64

00. LLLLLL $119414 1004144466411 14.76

1101,1aoligetLehth4v4 102.620464811 10.01

OpOomw 14496411

641j1 iSch4a13

92.944.66

100.999.62

0spot1e661416 440dItle C041601. 406L

3040n0 0614264b

)0$99$04 64182642 3 3 3 3 1 3 3 1 2 3

49.68 49.68 46.47 43.01 46.93 46.49 46.46 46.06 46.09 43.22 46.246.27 9.02 6.36 CM 9.69 0.60 7.42 6.99 8.89 9.70 4.61

23.27 26.76 24.64 23.09 24.09 23.87 24.33 24.44 23.06 23.12 23.033.78 4.60 S.67 4.84 6.02 6.7) 6.68 6.30 3.43 3.46 3.71

22.73 1441 29.01 26.21 26.6) 21.93 21.17 21.27 27.84 26.42 26.947.64 7.07 4.60 7.91 9,09 6.94 7.48 7.96 7.62 6.11 8.07

104.39 303.79 104.23 106.09 103.36 101.60 106.18 104.36 100.13 107.16 100.3612.06 13.41 11.91 13.09 12.33 13.46 14.83 11.96 13.46 12.23 12.17

106.0 100.19 103.71 106.64 100.19 99.37 106.76 100.22 102.20 110.04 103.1811.76 6.21 8.19 12.47 9.0u 6.61 11.19 7.07 8.49 9.27 7.27

102.12 106.10 90.40 100.36 104.71 91.68 101.30 106.13 90.30 98.02 107.4710.34 11.76 9.42 9.03 12.04 10.39 12.67 12.61 7.91 9.76 10.61

10.37 112.49 101.61 104.42 111.01 101.32 103.66 11041 102.40 107.66 113.6611.62 7.42 9.6) 9.63 8.21 10.36 11.61 7.89 9.90 41.412 3.1t

a) a 64-S9bi m 49-73

ej a 364143 4 640.71

131

- 127-

Wat de Schrijfprestatievariabelen betreft, lijkt er zicheen interactie tussen Programme en Sexe voor te doens meisjesin de controleconditie lijken sneer van het onderwijs geprofi-teerd te hebben dan meisjes in de experimentele conditie. Voorjongens is het beeld minder duidelijk. Voor sommige variabelen(Publiekgerichtheid bijvoorbeeld) lijkt de controleconditie,voor andere de experimentele conditie het gUnstigst voorjongens.

Om doze vermoedens over de relatie tussen Programme en Sincete toetsen, zijn multivariate covariantie-analyses uitgevoerdop een model waarin naast de factoren Programme en Sexe ook defactor Docent is opgenomen. De analyses betroffen zowel detussentoets als de natoets. Ala covariaten werden dezelfdevariabelen gebruikt ale in de analyses in par. 7.2. en 7.3. Deanalyses werden verricht op leerlingenniveau. Dit heeft totgevolg, door de intraclasscorrelatie, dat het aantal vrij-heidsgraden waarmee getoetet is te groot is. Uitgaande van degrootste intraclasecorrelatie van .07 (mor de kwaliteitStijl) zou een reductie van ongeveer tweederde van het aantalvrijheidsgraden gepast zijn (Kish, 1965, p.162). Omdat hethier echter exploraties betreft, lateen we die reductie achter-wege. Alle toetsen zijn ook uitgevoerd voor een kleinere groepleerlingen, namelijk met uitzondering van de twee klassen op66n school, die door twee docenten werden overgenomen. Deresultaten verschilden niet met die van de analyses op hetvolledige bestand. De bevindingen van de laatste analysesworden hieronder gerapporteerd.

Uit elle vier de toz,tsen bleek een statistisch significanthoofdeffect van de factor Docent (p S.05). Dit wil zeggen dater significante verschillen zijn op het moment van de tussen-toots en de natoets tussen per docent 'gepaarde' klassen. Hetwil niet zeggen dat de ene docent met zijn of hear beideklassen beter of slechter gepresteerd heeft dan de anderedocent. Er kunnen ook schoolgebonden factoren zijn waardoortwee klassen op de ene school beter presteren dan twee klassenop een andere school. Uit een inspectie van de univariateanalyses bleek dat het docenteffect zich voordoet op elleSchrijfprestatievariabelen (tussentoets en natoete).

Voor de Psychologische Variabolen treedt het docenteffectop voor Houding-jegens-Schrijven (T21 F-2.69, df 10/162*pam.005; T3t F143.17* df 10/153* pal.000)* Houding-jegens-Beoor-deeld-worden (T3s F=3.41, df 10/153, p=.000) en Angst-voor-het-niet-Kunnen-schrijven (P3: F=2.93, df 10/153, p=.000).

Naast het hoofdeffect Docent bleek voor de PsychologischeVariabelen een hoofdeffect voor Sexe op te treden fip S.05).Uit de univariate analyses bleek dit Angst-voor-het-niet-Kunnen-schrijven te botreffen (T2: F05.04* df 1/162, p=.017)en Houding-jegens-Schrijven (T3s F=5.60, df 1/153, p=.019).Hoewel er dus enige ondersteuning is voor het vermoeden datjongens zeggen minder angst te hebben en meisjes sneer plezierin schrijven rapporteren, is het gebrek aan statistischesignificantie op de tussentoets (HS) en de natoets (AK) eenteken dat een dergelijke uitspraak nog niet gedaan kan worden.Len sexe-effect werd ook aangetoond voor de Schrijfpre8tatie-

3 2

- 128-

variabelen op de tussentoets (Fu4.212, df 4/212, por.01). Diede univariate F-toetsen blijkt het de variabele Opbouw tebetreffen (F-4.72, df 1/215, pia.03). Op de natoets is hetsexe-effect in de multivariate toets niet meer significant.Alle gegevens met betrekking tot de factor Sexe overziend,moeten we besluiten dat er peen eenduidige verbanden tussenSexe en de afhankelijke veriabelen te constateren zijn.

Er bleek zich een interactie voor te doen tussen Docent enProgramme (Psychologische Variabelen). Dit houdt in, dat deene leraar succes had met de xperimentele onderwijsprocedurevoor een zekere afhankelijke variabele, een andere lerearjuist met de controleprocedure. De interactie was op beidetoetsmomenten significant, maar de absolute F-wearde was klein(T2: F=1.60, df 30/470, pme.014; T3: F=1.02, df 30/444, p=,006).Uit de univariate analyses bleek er voor de tussntoets geenafhankelijke veriabele te zijn wearbij dit interactie-effectstatistisch significant was op het 511-niveau; voor de natoetsbetrof het de variabele Houding-jegens-Schrijven (F2.65, df10/153, p=.005). In 66n van de acht toetsen weerven we enkeleresultaten hiervoor rapporteerden, bleek een effect van defactor Programme. Op het tweede toetsmoment, de tussentoets,waren de verschillen tussen de condities voor Schrijfpresta-tievariabelen statistisch significant (F=3.47, df 4/212,p=.01). Uit de univariate analyses bleek het te geen om devariabele Opbouw (F=4.34, df 1/215, p=.04). Noch de resultatenvan de natoets (ne.76, df 4/212, pme.55), noch die van deanalyse voor de tussentoets voor de gereduceerde groep (66nschool verwijderd) (F=2.10, df 4/192, p=.07) stemden hiermeeovereen. Dearom houden wij ons bij onte conclusie uit par.7.2., wear we stelden dat het al dan niet inschakelen vanleerlingen geen verschillen in schrijfprestaties teweeggebracht heeft.

Samenvattend kan gesteld worden dat er geen consistent .

patroon aangetoond kon worden van statistisch significantehoofdeffecten van Sexe, noch van interactie-effecten van Sexeen Programme. Geen van de onderwijsprogramma's bevoordeelt eenvan beide sexen. Wel bleek een hoofdeffect van Docent, dat wilzeggen dat sommige paren van klassen significant beter pres-teerden den andere paren. Het effect treedt op voor vrijwelelle Schrijfprestatievariabelen, alsmede voor PsychologischeVariabelen: Bouding-jegens-Beoordeeld-worden en Houding-je-gens-Schrijven. Voor de laatstgenoemde variabtle werd ook eeninteractie tessen Docent en Programme aangetoond: de enedocent scoort met zijn experimentele klas hoger den Met zijncontroleklas, bij een andere docent is het omgekeerd.

Een tweede exploratie betreft twee Schrijfprestatievariabelen:Doel- en Publiekgerichtheid. Welke kenmerken brachten leer-iingen in hun teksten aan? Is er iets te zeggen over deverwervingsvolgorde? Zijn er mogelijk verschillen tussenoondities? De frequenties van de onderscheiden kenmerkengunnen ons een blik achter de schermen. In de tabellen 7.10.en 7.11. wordt een overzicht gegeven van de frequentieswaarmee de diverse kenmerken op de drie toetsmomenten voor-komen.

133

- 129 -

Tabel 7.10.; Kenmerken van publiekgerichtheid in inleidingenop drie toetsmomenten in percentages

Tatnni in2441

Tantsament 1 2 3

Itnnsterk

1. One linbeaSk von jn. 11 32 3SJS, nn/ot yebledundnwljn

2. dot geboalk van Sk 51 43 13

3. Modern konnerkon 27 9 11van dim ohrijver

4. Overeenkonnten tun- 6 12 22non sahrS,ver nnInons

I. Bolting van intermit- 27 31 35

tin vans.onderntonpon

6. Sintint ppnl aan 2 6 3

de i

7. Zen vrailly 23 13 51

O. Prsoentatln van an. 3 5 0Mowery alp into on.gewoons

9. Snoldnyraak 1 2 1

10. Ion oltsoop 4 s 16

II. Ion annkdotn 21 II 25

12. Iltel dl. Snhaad net 61 75 70at atractnat aan-goeft

13. Id.nelfkc.el. van 2 4 4dannenIentlof War

14. IdentIflontSot van 30 43 51hnt tekdothaon

15. Intaomntiot over do 4 12 7root van het botany

16. nottneannanlontlef 40 56 49knrakter von de In.1nidlng

17. Linenbaarheld van a 67 74 75:inane

is. SoysijposiljkhoId 06 SI 91V&A de warden

Itsysrimmetnle coedit!. tn.1321 ContraInoondltIn (n.132)

I 2 3 1 2 3

14 31 32 12 43

16 47 49 46 34 IS

17 II 10 17 11 1.)

5 4 19 11 24

30 33 39 23 37 11

5 3 3 0 9 4

21 50 49 26 56 52

.S 5 .8 5 5 0

0 2 .4 2 2 2

24 tO 21 17 12 30

63 74 73 10 71 47

2 5 4 2 a 12

35 42 55 25 44 44

2 14 6 7 11

37 55 53 43 56 44

70 60 79 44 79 71

09 S4 40 93 75 92

Mint birtztouw0Oar 9.0900r6 (W.5.20

Volgens Cohen (Cohen, 1977, p.183) is een verschil van 20 A25%, overeenkomend met eon middelmatige effectgrootte, met hetblote oog waarneembaar (h0.50). Als me ervan uitgaan dat eendocent een geoefend waarnemer is van opstelkwaliteiten en westellen de effectgrootte op .40, dan zou deze docent devolgende verschillen tussen de toetsmomenten hebben oppmerkt.Hij zou op geen enkel knmork verschillen tussen zijn experi-mentele klas en zijn controleklas hebben opgemerkt. WatDoelgerichtheid betreft zon hij uit de vergelijking van deopstellen van de voortoets en de natoets hebben opgemerkt, datmeer opstellen argumentatiof van aard waren en meer opstelleneen heldere lijn bevatten. Echter, dit laatste item is onbe-trouwbaar gescoord. Hij zou gemerkt hebben dat in minderopstellen het standpunt in de inleiding geponeerd wordt en dathet slot vaker gebruikt wordt om het standpunt expliciet tevermelden. Wat Publiekgerichtheid betreft zou hij op het twee-

.134

- 230-

Tabel 7.21.1 Kenmorken van doelgerichtheid in betogen op drill:toetsmomenten in percentages

Totenomentrennoric

1. Overwogond rgil.mentetief kerktr

2. rornulerinq von notendpunt

16 Standpunt in inlei-ding

2b

Otendpunt la kern

1c Stendpont la olot

1.* Poling tot snags*.liplhoulaaking

le* non rvslagenVik.)

)6* trveringen van al ,l'sil'1

lc* trveringen von l-sr 1'2151

la* Ceueele W en. pro-C471

1° nomeen

4. voldoend wider.Doubting van de een-nemeitAheidnaklap

S. centreliteit vanhot beton

6.. noldr 142a

'retool

1 2

0.2641

2

&WU/Metals roaditie 1n.1121

1 2 2

COntroleroadatie 0.1121

1 2 1

40 40 62 4S )6 40 25 4) 64

77 SO 6) SO 77 6$ 7) 02 61

441 10 15 49 40 22 40 )6 27

)91

45 )6 )9 44 )9 26 46 )4

111 22 26 14 21 25 0 26 27

841

07 91 02 06 01 IS SO 90

20 1 15 0 22 14 tO 10 IS 7

201 15 9 17 14 9 1) 27

141 20 29 16 21 24 11 17 22

161 21 14 17 20 Id 14 1) 12

61

11 0 9 0 12 4 11 4

27 2 20 17 26 30 29 10 17 26

46 44 32 49 42 12 4) 47 21

36 41 55 40 41 49 21 41 60

1/ von de betopen wearin een tandpunt oefornuleord ward

21 von de botosen die eon etendpunt en eon eennonell3theld-meting bevetten

Met betonewbeer nesconod 1pet.5.2.1

de toetsmoment een hogere frequentie van het gebruik van detweede persoon (kenmerk 2) en van het gebruik van de vragendevorm (kenmerk 7) waarnemen. Zou hij de opstellen van het derdetoetsmoment met die van de voortoets vergelijken, dan zou hijbuiten de eerder genoemde vooruitgang bovendien een hogerefrequentie van kenmerk 4, - het scheppen van een band tussenlezer en schrijver via overeenkomsten - en van kenmerk 24, hetidentificeren van het tekstthema bemerken.

Tenslotte vragen we aandacht voor enkele correlaties tussenafhankelijke variabelen. In tabel 7.1. zagen we dat schrijf-prestatiescores op leerlingenniveau onstabiel van karakterbleken te zijn. Leerlingen die voor Min van de beoordeeldekenmerken tot de top van het klassement behoorden, scoorden ineen volgende toets laag. Men zou verwachten dat wie er deeerste keer in slaagt een doelgerichte tekst te schrijven, erde tweede keer minstens even goed in zou slagen, zeker ale heteen exact gelijke opdracht betreft (tussentoets) of eenopdracht van eenzelfde karakter (natoets).

135

- 131 -

Ook berekend zijn de correlaties tussen de diverse Schrijf-prestatievariabelen binnen toetsmomenten (zie tabel 5.5.).Deze bleken niet tot matig met elkaar semen te hangen. Decorrelaties variften van -.03 (Opbouw en Publiekgerichtheid opde voortoets) tot .58 (Opbouw en Doelgerichtheid op de na-toets), met een gemiddelde van .35.

Tot slot werpen we een oog op de correlaties tussen Psycho-logilsche Variabelen en Schrijfprestatieveriabelen (tabel7.12.). Deze blijken nauwelijks mat elkaar semen te hangen. Erdoen zich wel enkele stetistisch significante correlatiesvoor, maar deze zijn zo laag dat de sterkte van positieveattituden sleohts maximaal 9% van de variantie van d varia-bele Stijl verklaart. Stijl is de enige Schrijfprestatievarim-bele die met de drie Psychologische Variabelen stelselmatig opde tussentoets en natoets amenhangt. 'Schrijven' in de itemsvan het attitude-instrument betekent voor leerlingen wellicht'formuleren', ggedachten in woorden uitdrukken'.

Tabel 7.12.; Correlaties tussen Psychologische Variabelen enSchrijfprestatievariabelen op drie toetsmomenten

Toetsmoment Psycholomischewaiabe1en

Schrijfprestatieveriabelen

Schaelbeoordslinq

Doelmericht-heid

Publiekqe-richtheid

Cpboum Stijl

Angst-voor-het-niet-Kunnen-schrii-van

.09 .13 .09 .14

voortoets Hmmdih9-34,90ns-heoordeeld-worden

-.OS .04 -.03 .12

Houdinm-jemens- .00 .20 -.01 .14SchrijImen

Angst-voor-het-niet- .01 .05 .13 .21Kunnen-schrijven

Tussentoets Moudinm-jemens-Beoordoeld-worden

-.09 .15 .09 .16

Houdinq-jgens- -.03 .09 .11 .21Schrijven

....

Anqsc-voor-hetwniet- .14 .15 .17 .29Kunnen-schripen

Nstoets Houdinq-jeqens-Be-oordeeld wonden

.10 .12 .12 .15

Houding-jegens- .09 .17 .16 .30SchrOven

Pa.01

8* pa.001

136

- 132 -

7.6. Conclusies

In dit hoofdstuk zijn de resultaten gepresenteerd van hetonderzoek naar effecten van leerlingenrespons op Psycholo-gische Variabelen, Schrijfprestatievariabelen en Schrijf-procesvariabelen. Tevens zijn enkele exploraties verricht opde effecten van Sexe en Docent, de relatie tussen Psycholo-gische Variabelen en Schrijfprestatievariabelen en de fre-quenties van kenmerken van Doel- en Publiekgerichtheid. Deresultaten laten zich als volgt kort samenvatten.

De multivariate nulhypothesen over a) Psychologischevariabelen en ID) schrijfprestatievariabelen konden nietverworpen worden. Klassen die een jaar lang via leerlingen-respons onderwezen werden scoorden niet statistisch signi-ficant enders dan klassen die docentfeedback kregen. Weliswaarwas er voor een pear Schrijfprestatievariabelen, - Opbouw enStijl een forse vooruitgang in de scores, maar deze vooruit-gang was in beide condities opgetreden. Of de vooruitgang aande cursussen kan worden toegeschreven, is onzeker.

De data van de schrijfprocessen zijn beschreven met behulpvan loglineaire modellen. Uit de passingsgegevens van dezemodellen bleek alleen het verzadigde model te passen. Deleerlingen bleken, ongeacht de conditie waarin ze les kregen,op de natoets minder te genereren en meer te structureren. Deleerlingen in de experimentele conditie lijken het schrijf-proces meer te sturen, blijkens de toename van de frequentievan zelfinstructies. De leerlingen in de controleconditie zijnzich :neer op taalgebruikskeuzen gaan fixeren.

Uit de exploratie bleek dat jongens en meisjes niet syste-matisch van elkaar verschillen op Psychologische Variabelen enSchrijfprestatievariabelen. Er bleek ook geen differentieeleffect van beide onderwijsprogramma's voor jongens en meisjes(interactie-effect tussen Sexe en Programme). Er is wel eeneffect van Docent geconstateerd: de prestaties en sommigeattituden van twee klassen van eenzelfde docent zijn signifi-cant verschillend van die van twee andere klassen van eenandere docent. Het ligt voor de hand dit verschil toe teschrijven aan de wijze waarop docenten varifren in hun in-structiepraktijk. Het zouden ook schoolvariabelen kunnen zijn,die hier hun invloed uitoefenden. Er werd ook uen interactiegeconstateerd tussen Docent en Programme voor de variabeleHouding-jegens-Schrijven.

Uit de exploraties bleek dat de Schrijfprestatievariabelenonderling niet of matig samenhingen (gemiddeld .35, varilrendvan -.03 tot .58). Eerder (tabel 7.1.) was al gebleken dat deSchrijfprestatievariabelen zeer onstabiel zijn. De correlatiestussen Schrijfprestatievariabelen en Psychologische Variabelenwaren uitermate laag.

Een beschouwing van de resultaten van de scoring vanDoelgerichtheid en Publiekgerichtheid op itemniveau, leverdehet inzicht op dat er in het. onderzoeksjaar voor een item vanDoelgerichtheid (overwegend argumentatief karakter), vooruit-

137

- 133 -

gang geboekt werd. Voor Publiekgerichtheid was de oogstrijker. Van een viertal middelen om Publiekgerichtheid tebewerkstelligen werd geconcludeerd dat leerlingen deze zichaan het eigen maken waren tijdens het onderzoeksjaar.

Al met al zijn de resultaten verrassend eenduidig, maaronverwacht, gezien de hooggespannen verwachtingen van depractici in hoofdstuk 2 en de onderwijskundige verklaringen.Het stelonderwijsprogramma 'leerlingenrespons' heeft zich quaeffecten op de schrijfprestaties en houdingen met betrekkingtot stellen niet onderscheiden van het onderwijsprogramma'docentfeedback'. Vanuit praktisch oogpunt moet en kan eenafweging gemaakt worden tussen de feedback van efin docent dievoor een opstel bijna een halfuur moet uittrekken of defeedback van drie medeletrlingen, die ieder een half uurdrie kwartier per opstel besteden. Het is de vraag hoe mendeze resultaten dient te interpreterens is de uitslag 0-0(geen van beide programme's heeft effect) of 1-1 (beide pro-grammes hebben goed gewerkt)? Een antwoord op deze vraagbewaren we voor het volgende (slot-)hoofdstuk.

- 135 -

B. DISCUSSIE

In de voorafgaande hoofdetukken deden we verslag van een veld-experiment, waarin twee stelonderwijsprogramma's met elkaargeconfronteerd werden. De programme's verschilden op 66nhoofdvariabele. In de experimentele conditie gaven leerlingenop elkaars opstellen commentaar (leerlingenrespons), in decontroleconditie verrichtte de docent de feedbacktaak. Opbasis van een analyse van publikaties over leerlingenresponswerd verwacht: 1) dat schrijfprestaties op de aspecten Doel-gerichtheid, Publiekgerichtheid, Opbouw en Stijl zoudenprofiteren van de leerlingenrespons, 2) dat attituden jegensschrijven en beoordeld worden positiever zouden worden en dathet vertrouwen in eigen schrijfvermogen zou toenemen alsgevolg van leerlingenrespoas: 3) dat schrijfprocessen zoudenveranderen in de richting van meer doelgerichte probleemoplos-singsprocessen, waarin kenmerken van de instructie en rolzouden spelen. De resultaten van het experiment rapporteerdenwe in hoofdstuk 7; voor Schrijfprestatievariabelen en Psycho-logische Variabelen troffen we geen verschillen aan tuesen decondities, voor Schrijfprocesvariabelen wel.

In dit hoofdstuk bespreken we het onderzoek. Herat (par.8.1.) gaan we na in hoeverre de conclusies van het onderzoekvalide zija. Hen aantal validiteitsbedreigende factoren wordenbesproken en bun gevolgen voor de houdbaarbeid van onzeconclusies. Daarna (par. 8.2.) gaan we in op de resultaten. Wegaan na welke mogelijke verklaringen er zijn voor onze conclu-sies, en bespreken de houdbaorheid van die verklaringen en deeventuele consequenties. Na de bespreking der hoofdresultatenvolgen de nevenresultaten (par. 8.3.): een aantal bevindingendie niet de essentie van ons toetsingsonderzoek vormdon, dochdie z6 belangrijk zijn, dat ze hier besproken worden, inverband met hun importantie voor toekomstig didactisch onder-zoek op het gebied van het onderwijs Nederlands. Tenslotte(par. 8.4.1 bespreken we de consequenties voor de praktijk vanhet vak Nederlands. Wet kunnen we de practicus aanraden?

8.1. De validiteit van de conclusies

De uitslag van de statistische toetsing luidde (hoofdstuk 7)dat er geen significant verschil was tussen de scores in beidecondities op Schrijfprestatievariabelen en PsychologischeVariabelen. De verschillen in twee onderwijsprogramma's hingenkennelijk niet semen met verschillen in scores op de afhanke-lijke variabelen. Hoeveel waarde kunnen we hechten aan deeeconclusie? Zijn er geen omstandigheden in ons onderzoek diedeze conclusie op losse schroeven zetten? Cook en Campbell(1979) noemen zeven redenen waarom men zou kunnen twijfelenaan de waarde van de beslissing om van 'geen effect' tespreken. We gaan hieronder na of en in hoeverre wij op basisvan een of meer van die factoren zouden moeten twijfelen aande validiteit van de statistische beslissing.

13 9

- 135 -

Een *erst fector die Cook en Campbell noemen is een geringonderscheidingsvermogen van een statistische toots. In hoofd-stuk 3 uitten wij kritiek op de dear gerapporteerde onderzoe-ken wegens het geringe onderscheidingsvermogen van de statis-tische testen die gebruikt werden, als gevolg van en betrek-kelijk gering aantal waarnemingen. Onze onderzoeksopzet kanmen een dergelijk verwijt ook maken. We analyseerden deresultaten imams's op klasseniveau: als we een middelmatigeffect verwachtten, zouden we 201 kans hebben een aanwezigeffect vast te stellen. Ben dergelijk onderzoek had menachterwege moetn laten, zouden we in hoofdstuk 3 hebbengezegd. Echter, we beschiktn op eon ander analyseniveau welover voldoend waarnemingen: elke klassescore was opgebouwduit twaalf leerlingscores. Op dit niveau zouden we en onder-scheidingsvermogen van 90! bereiken. De verschillen tussen descores in beide condities waren echter goring. Bij son toet-sing van een model met Conditi, Docent en Sex ale factorenmet een voor intraclasscorrelaties ongecorrigeerd aantal vrij-heidsgraden kon geen systematisch statistisch significantverschil aangetoond worden voor Conditie.

Een tweede factor waardoor men zou kunnen twijfelen aan devaliditeit, is de mate waarin voldaan is aan de assumpties vande gebruikte statistische toets, in ons gavel multivariatecovariantie-analyse. Wij menen daaraan ruime aandacht besteedte hebben. In hoofdstuk 7 lieten we zien dat we belangrijkeassumpties controleerden, zoals die van parallelle en lineaireregressielijnen en gelijke covariantie-matrices.

Een derde factor, de kwestie van 'error-rate', behandeldenwe in 7.1., waarin we toelichtten waarom we een multivariatetechniek toepasten in pleats van eon univariate. Op (leas wijzeomzeilden we het gevaar van een ongemerkt toenemen van hetsignificantieniveau als er meer afhankelijke variabelen zijnwaarvoor telkens apart een toets uitgevoerd wordt.

Een virde factor die een ongunstige invloed uitoefent opde houdbaarheid van de statistische conclusie, is de betrouw-baarheid van de metingen. Op het analyseniveau van de leerlingbleken de scores op de Psychologische Variabelen wil, maar dieop de Schrijfprestatievariabelen filet stabiel. De onbetrouw-baarheid is niet toe te schrijven aan de beoordelingen van deopstellen; deze zijn betrouwbaar tot stand gekomen (par.5.1.). De prestatie van een leerling fluctueerde blijkbaar,zelfs al waren de toetsen die op twee tijdstippen werdenafgenomen identiek. Doordat wij echter de scores aggregeerdentot op klasseniveau, verkregen we stabielere scores, hetgeenaf te lezen is uit tabel 7.1. Voor de analyses op klasseniveauheeft de onbetrouwbaarheid van de meting van Schrijfprestatie-variabelen dus niet het nadelige gevolg van een toename van defoutenvariantie. Deze 'winst' gaat echter gepaard met eenverlies aan vrijheidsgraden en onderscheidingsvermogen. Deonbetrouwbaarheid van de metingen speelt op die wijze wel eenrol. Bij de afweging van de ernst daarvan moeten de verschil-

140

-3.37-

len in de scors betrokken worden. Dez zijn zo klein dat wijde conclusie blijven onderschrijven.

Zen vijfde factor is de mate van variati- in de implementa-tie van de onderwijsprogramma's in de experimentele en decontroleconditi. In ons onderzoek trachtten we de implemen-tatie SO goed mogelijk te standaardiseren door middel van eenstrak leSSenplan (in de handleiding voor de &wanton), zeervoorgestructureerd lesmeteriaal, dat bovendien in grote matezelfinstruerend was, en door middel van een terugkerendstramien van leeractiviteiten. Op verschillende wijzen isgecontroleerd of het lessenplan gevolgd werd en in walks mateleerlingen aan de programme's deelnamen. Uit gegevens hierover(par. 6.4.) bleek dat beid programme's zoals gepland werdenuitgevoerd en dat in beide condities leorlingen in vrij sterkemate aan de programme's deelnamen. Wel bleken er verschillentussen docenten. Van de ene docent rapporterden beide klassenminder deelname aan taken dan de beide klasen van een ander*docent. Variabiliteit tuesen klassen binnen condities bleekonvermijdelijk als een onderwijsprogramma zo lang duurt,hoezeer we ook trachtten de programme's docentonafhankalijk temaken. Toch achten we de variabiliteit niet van dien aard, datdeze in ernstige mat zou bijdragen aan de foutenvariantie,waardoor de kans op het vaststellen van ware verschillen zouafnemen. De implementatiegraad was immors zo hoog, dat afwij-kingen daarvan niet heel ernstig kunnen zijn.

Ale zesde factor noemen COok en Campbell mogelijke irrele-vante eigenschappen van de onderzoekssituatie, die de scoresop de afhankelijke variabelen beInvloeden en de foutenvarian-tie doen toenemen. Een bron van storing kan de persoon van dedocent zijn. Via de onderzoeksopzet (blokken op docent) bodenwe dit gevaar het hoofd. Een andere bron zou het overigeonderwijs in het vak Nederlands kunnen zijn en het eventuelestelonderwijs bij andere vakken. Voor wat het vak Nederlandsbetreft hebben we getracht rivaliserende lesactiviteiten ophet spoor te korner' via docentlogboeken. Probleem was echterwelke lesactiviteiten als storend gedefinieerd kunnen worden,omdat er nog zo weinig bekend is over factoren die schrijf-prestaties beInvloeden. Wat in andere schoolvakken aan stel-onderricht gegeven is, is ons niet bekend. Helemaal uitsluitenkunnen we een dergelijke storingsbron dus niet. Wellicht zijnde scores op Psychologische Variabelen en Schrijfprestatie-variabelen beInvloed door irrelevante kenmerken van de onder-zoeksomgeving. We schatten echter dat door de duur en inten-siteit van de beide onderwijsprogramma's de rol van anderefactoren niet groot geweest zal zijn.

De laatste factor die COok en Campbell noemen is aselecteheterogeniteit van proefpersonen. Dit wil zeggen dat deproefpersonen in de condities verschillen op factoren diesamenhangen met de afhankelijke variabelen. Als sexe bijvoor-beeld invloed zou hebben op de scores op de afhankelijkevariabelen en de proportie jongens en meisjes zou in beidecondities verschillen, terwijl deze factor niet vastgesteld

1 41

- 138 -

zou zijn in het onderzoek, dan zou de foutenvariantie hierdoorvergroot zijn. Op twee wijzen hebben we dit probleem het hoofdgeboden. Ten eerste was onze onderzoekspopulatie vrij homogeen(derde klas van het H.A.V.O. en het V.W,O.). Ten tweede namenwe die variabelen als covariaten op waarvan verwacht konworden dat zij aan de afhankelijke variabelen gerelateerdzouden kunnen zijn: SchrigpreStatievariabelen en Psycholo-gische Variabelen.

Alles overziond, zien we weinig redenen om sterk aan deconclusie te twijfelent de experimentele variabele (feedback)covarieert niet met verschillen op Schrijfprestatievariabelenen Psychologische Variabelen. In het vervolg van dit hoofdstukzullen we dan ook niet meer aan deze conclusie tornen.

Een enkel woord nog over het onderzoek near effecten opSchrijfprocesvariabelen. De leerlingen die zich aanmeldden, -vrijwillig, op uitnodiging of na aandrang van hun docent -kunnen wegens deze zelfselectie niet representatief geachtworden voor de gehele groep leerlingen die aan het onderzoekdeelnam. We weten immers niet op welke kenmerken de zelfge-selecteerde leerlingen verschillen van hun klasgenoten. Voorde vergelijking tussen de processen in beide condities heeftdie zelfselectie geen gevolgen: leerlingen wisten bij aanmel-ding niet welk onderwijsprogramma zi) zouden volgen en er isdus weinig reden om aan te nemen dat de leerlingen in deexperimentele conditie enders zouden zijn dan die in decontroleconditie. Wel moet voorzichtigheid betracht worden bijhet verbinden van de resultaten van het Schrijfprocesonderzoeken het Schrijfprestatie-onderzoek als gevolg van zelfselectiein het Schrijfprocesonderzoek.

8.2. De resultaten verklaard: eon poging

In deze paragraaf trachten we de drie hoofdconclusies nader teverklaren, namelijk dat verschillen in onderwijsprogramma'sleidden tot verschillen in schrijfprocessen en niet tot ver-schillen in schrijfprestaties en attituden. We besteden eerstaandacht aan de veranderingen en verschillen in schrijfproces-sen. Vervolgens staan we stil bij de resultaten op de Psycho-logische Variabelen. Het uitvoerigst behandelen we mogelijkerelaties tussen kenmerken van de onderwijsprogramma's en deresultaten op de Schrijfprestatievariabelen.

De veranderingen in de schrijfprocessen in beide condities,- meer structureren en meer veranderen zijn uit oogpunt vande schrijfprocestheorie gunstig te noemen. Beide veranderingengeven blijk van 'reprocessing' (Scardamitl.ia en Bereiter,1986): idee8n en tekst worden bewerkt. Leerlingen genererenniet slechts associatief wat op een of andere wijte in hetLange termijn geheugen opgeslagen ligt, maar vormen de gege-nereerde items om, evalueren ze, ordenen ze. Een dergelijkproces zou de coherentie van de tekst ten goede moeten komen.Het frequenter optreden van 'reprocessing'-subgroepen, - denk-

142

- 139-

processen die werken op reeds in andere proceseen gegenereerdeelementen duidt erop dat het schrijfproces minder lineairen neer recursief verloopt. Do leerlingen in de experimenteleconditie maakten bovendien meer zelfinstruerende opmerkingenop ue natoete, een mogelilke aanwilzing dat zij meer machtover hat procee hebben, omdat Ze het opdelen in subprocessen.Waarom leerlingen in de controleconditie echter vergeleken metde voortoets minder van dergelilke opmerkingen zijn gammaken, is minder makkelijk te interpreteren. Wellicht moetenwe die te: :gang in verband brengen met de vooruitgang van hetaantal fomuleringskeuzen: leerlingen in de controleconditiegenereren formuleringen, die zij vaker dan voorheen beoordelenvoordat ze die aan het papier toevertrouwen. Als we beidebewegingen met elkaar in verband brengen, zouden leerlingen inde experimentele conditie meer procesgeorianteerd werken enleerlingen in de controleconditie meer tekstgeoriOnteerd. Hetzijn echter kleine aantallen proefpersonen waarover het hiergaat, en de overige resultaten wijzen niet in daze richting.Analyse van de overige, wel verzamelde maar niet gecodeerdeprotocollen zou een steviger basis bieden voor een dergelilkeinterpretatie.

Waarom had leerlingenrespons geen invloed op scores opPsychologische Variabelen7 De verwachting was dat leerlingenmeer vertrouwen in hun eigen echrilfvermogen zouden krijgen,minder angst zouden hebben voor het beoordeeld worden enschrilven leuker zouden gaan vinden.

De positievere Houding-jegens-het-B000rdeeld-worden werddoor practici (hoofdstuk 2) toegeschreven aan de veiligertaskeituatie bij leerlingenrespons, doordat de beoordelendedocent uitgerangeerd is. De taaksituatie was echter door hettoevoegen van een herschrijffase aan de instructiereeks inbeide condities minder bedreigend dan in schrijfonderwilsgebruikelijk is. Dear ie het schrilven van een opstel verbon-den met een voor het rapport meetellende beoordeling. Descores op Houding-jegens-het-Beoordeeld-worden (tabel 7.4.)laten in beide condities een lichte stijging zien, maar nistzodanig dat men kan zeggen dat wellicht het toevoegen van eenherschrijffase tot minder beoordelingsangst zal leiden, of hetmoot zijn dat gedurende het derde leerjaar van het H.A.V.O. enV.W.O. gewoonlijk de beoordelingsangst toeneemt en dat onzeonderwijsprogramma's die toename afremden. We weten echterniets over het 'normale' niveau van Houding-jegens-het-Beoor-deeld-worden. Leerlingenrespons leidt in elk geval niet totvooruitgang op daze variabele.

Door net vergelilken van eigen met andermans produktenzouden leerlingen meer kennis over de eigen bekwaarheidverwerven, die zou leiden tot meer vertrouwen in eigen kunnen,ofwel lagere scoree op de variabele Angst-voor-het-niet-Kun-nen-schrilven. De scoree (tabel 7.4.) vertoonden geen ontwik-keling over de tijd heen en geen verschillen tussen beidecondities. Leerlingenrespone leidt blijkbaar niet tot groei inhet vertrouwen in het eigen schrijfvermogen.

143

- 140 -

Doordat leerlingen goede teksten lezen en betere tekstengaan schrijven zouden leerlingen :neer plezier in schrijvenkrijgen. Uit tabel 7.4. blijkt dat het plezier in schrijven inbeide condities afnam en dat er nauwelijks verschillen tussende condities waren. Bij het onderzoek betrokken dacentenmeldden ons tijdens het ondersok chit leerlingen de cursus welerg intensief begonnen to vinden. Wellicht kan daaraan deafname van het plezier in schrijven toegeschreven warden.

. Dat leerlingenrespons niet leidde tot verschillen tussen decondities op de drie Psychologische Variabelen, kan toege-schreven worden aan de verschillen tussen de onderwijsprogram-ma's, die misschien niet groot genoeg waren. Op die redeneringkomen we terug als we de resultaten op de Schrijfprestatieva-riabelen behandelen. Voor de Psychologische Variabelen voegenwe er ne4 twee mogelijke verklaringen aan toe. Ten eerste: uitde correlaties tussen leerlingenscores op verschillende tijd-stipp4n blijkt dat de drie variabelen ieder een over eentijCiduur van een cursusjaar vrij stabiele trek representeren,die zich blijkbaar op deze leeftijd niet makkelijk laat bein-vloeden door een schrijfvaardigheidscursus. Ten tweede: decorrelaties tussen Psychologische Variabelen en Schrijfpresta-tievariabelen (tabel 7.12.) zijn zeer laag en vaak niet eensstatistisch significant. Als Psychologische Variabelen zoudenveranderen, zoals bij Houding-jegens-Schrijven verondersteldwerd, door de toegenomen kwaliteit van de eigen opstellen, isso'n causes' verband door het ontbreken van covariantie alonmogelijk. Op de lage correlaties tussen PsychologischeVariabelen en Schrijfprestatievariabelen komen we in par. 8.3.nog terug. Hier benadrukken wij dat er aanwijzingen zijn datde Psychologische Variabelen stabiele trekken representeren endat er geen verband is tussen deze variabelen en Schrijfpres-tatievariabelen. Deze twee uitspraken kunnen afzonderlijk ofgezamenlijk verklaren waarom leerlingenrespons geen invloedheeft gehad op de scores op de drie Psychologische Variabelen.

Hoe is het ontbreken van verschillen op de Schrijfpresta-tievariabelen inhoude1ijk te verklaren7 Als eerste verklaringzou aangevoerd kunnen worden dat de onderwijsprogramma'sbijzonder Weinig verschilden. We hebben het ons niet gemakke-lijk gemeakt door leerlingenrespons af te zetten tegen een'gemiddelde' steldidactiek, maar construeerden een concurrentdie veel meer is dan wat er gemiddeld aan stellen wordtgedaan. Hoewel de programme's zoveel mogelijk op elkaar leken,waren de verschillen tussen de twee programme's aanzienlijk.In de experimontele conditie lazen leerlingen elkaars opstel-len, gaven er commentaar op, kregen van drie leerlingenfeedback; in de controleconditie kregen de leerlingen alleenvan hun docent commentaar. De leerlingen in de experimenteleconditie besteedden meer tijd - twee lesuren per schrijfrondeen driekwartier extra huiswerk aan het onderwijsprogramma.Bovendien zijn er aanwijzingen uit de logboekanalyse en hetvragenlijstonderzoek dat er zich nog :neer verschillen voorde-den tussen beide condities. Ten eerste bleken in de controle-

144

conditie de lessen waarin de docent de opstellen met feedbackteruggaf, onrustig. Leerlinger vroegen voortdurend toelich-tingen en de docent liep de klas rond om nadere informatie teverstrekken. Het is zeer waarschijnlijk dat in dit lesuur eenvorm van extra onderwijs gegeven werd die de leerlingen in deexpdrimentele conditie ontbeerden. Ten twede bleek datdocenten weer dan leerlingen extra commentaar in de opstellenschreven en vaker vraagnummers van het feedbackinstrument inde kantlijn van het opstel plartsten. De aard van de feedbackkan dus verschillend zijn geweest voor beide condities. Hoe wedeze twee verschillen moeten waarderen, blijft onzeker. Hetextra onderwijs dat sommige leerlingen in de controleconditiekregen, geldt niet voor de hele klas. Die leerlingen dietoelichtingen ontvingen zullen misschien bevoordeeld zijn,maar het verschil kan nooit tot een systematisch verschilverheven worden. Het effect van de extra geschreven toelich-tingen door docenten, kan leerlingen geholpen hebben deaccenten in de feedback te begrijpen, terwijl daarentegenleerlingen in de experimentele conditie zelf de weg moestenvinden in de grote hoeveelheid feedback van drie commenta-toren. We achten de verschillen inherent aan de twee condi-ties. Ze worden niet opgevat als de geplanda verschillenverdoezelend. De verschillen tussen de condities zijn onsinziens groot genoeg om verschillen in schrijfprestaties teverwachten.

Een tweede verklaring voor het uitblijven van verschillenkan zijn dat in de experimentele conditie geleerd werd van hetkritiek Oven, maar dat de leerwinst ten opzichte van leer-lingen uit de controleconditie teniet werd gedaan doordat dekwaliteit van de feedback in beide condities verschilde. Hetis aannemelijk dat leerlingen in de controleconditie kwalita-tief beter commentaar kregen, namelijk afkomstig van eendeskundige, die veel tijd in een opstel stak, dan de leer-lingen in de experimentele conditie. Toch bleek uit hetvragenlijstonderzoek dat leerlingen in beide condities tevre-den waren over de duidelijkheid, zorgvuldigheid en behulpzaam-heid van de feedback. Nu kan tevredenheid wel opgevat wordenals operationalisatie van de gepercipieerde kwaliteit van defeedback, we weten niet welke relatie er is tussen de waarge-nomen kwaliteit en de objectieve kwaliteiten, zoals bijvoor-beeld de verwerkbaarheid en de juistheid van het commentaar.Toch beschikken we hiermee over een aanwijzing dat er volgenshet oordeel van leerlingen niet veel verschil is tussen detwee typen feedback die in ons onderzoek centraal stonden. Ookop andere vragen die betrekking hadden op het verwerken van defeedback en de invloed ervan op de herschreven versies,ontliepen de antwoorden in beide condities elkaar niet veel.We houden het erop dat de condities niet verschilden in dekwaliteit van de feedback die zij kregen. Dat betekent overi-germ ook, dat er twijfel is over de meerwaarde van 'peerfeedback' die in de theorie (hoofdstuk 2) benadrukt wordt. Eennader onderzoek naar de kwaliteit en de effectiviteit van de

- 142 -

feedback die leerlingen en die docenten geven zou, in devergelijking tussen leerlingenrespons en docentfeedbackbetrokken moaten warden; ons onderzoek bood daar gezien depraktische omstandigheden geen gelegenheid toe.

Het is zelfs ae vraag of feedback er Uberhaupt toe doet.Ueliswaar is feedback nuttig bij het reviseren van een be-staande, reeds geschreven tekst, Maar bij het produceren vaneen nieuwe tekst is de oude feedback misschien geen adequatesteun. Het schrijven van een nieuwe tekst is een nieuw pro-bleemoplossingsproces, waarbij specifieke feedback bij eenvorig oplossingsproces natuurlijk slechts zeer .gedeeltelijkvan nut is. We hebben 66n gegeven dat onze veronderstellingover de geringe waarde van feedback, ook als die van mede-leerlingen afkomstig is, ondersteunt. W rangordenden deklassen binnen een conditie naar de proportie leerlingen diezich ontevreden toonden over de bruikbaarheid van de feedbacken deden dat voor zowel de tweede als de vierde schrijfronde(vragenlijstonderzoek, par. 6.4.). He rangordenden de klassentevens op de schrijfprestaties. Zowel voor de tussentoets elsde natoets, voor elle Schrijfprestatievariabelen apart (Doel-gerichtheid, Publiekgerichtheid, Opbouw en Stijl) en voor hunsom. Vervolgens berekenden we de rangordecorrelaties tussen demate waarin leerlingen klaagden over de feedback en de ver-schillende schrijfprestatierangordeningen. Van de tien rang-ordecorrelaties tussen waargenomen kwaliteit van de feedbacken schrijfprestaties in de controleconditie was er slechts 66nsignificant. Kennelijk hangen verschillen tussen Klasser metbetrekking tot de waardering van de feedback niet samer ::,wt

verschillen in de schrijfprestaties. In de experimenteleconditie troffen we drie significante rangcorrelaties aantussen de waargenomen bruikbaarheid en schrijfprestaties, n1.Stijl (2x) en totale schrijfprestatie. Deze gegevens, tezamenmet die uit andere onderzoeken, waaruit blijkt dat de intensi-telt, de toon, de wijze van presenteren, ja waar zelfs deaanwezigheid van feedback er niet toe zou doen (Wesdorp,1983), doen ons veronderstellen dat feedback in schrijfonder-wijs weleens een veel minder belangrijk instructiemiddel zoukunnen zijn, dan wij voorheen dachten. Ook 'peer feedback zouweleens minder instructief kunnen zijn dan geopperd wordt doorde practici, wier ideean wij gebruikten voor onze theorie inhoofdstuk 2.

Wanneer het zo is, dat de feedbackvers:hillen tussen decondities geen prestatieverschillen bewerkstelligen, enwanneer het wellicht zo is dat feedback zelfs niets of nauwe-lijks bijdraagt tot prestatieverbetering, dan blijft er nogeen verschil tussen de condities over, tengevolge waarvanprestatieverschillen verwacht werden. In de experimenteleconditie gaven leerlingen wel, in de controleconditie geencommentaar. In de experimentele conditie hadden leerlingen dusmeer kens om de criteria voor een goede tekst, tevens dedoelstellingen van de cursus, te internaliseren. Men ver-wachtte veel van deze leeractiviteit. Dit secundaire gegevens

146,

- 143 -

bleek ook wel dat leerlingen in de experimentele conditie meervat hadden op de criteria dan hun collega's in de controle-conditie. Vooral in de al eerder aangehaalde lessen waarindocenten de opstellen met hun commentaar teruggaven in decontroleconditie, bleek dat de leerlingen veel toelichtingenbehoefden. Dit zou erop kunnen duiden dat er in de experimen-tele conditie wel, in de controleconditie minder inzicht in deinhoud van de criteria was. Echter, in de experimentele con-ditie was het een spelregel, dat leerlingen niet met elkaaroverlegden over de feedback, hoewel er dedactisch gezien veelvoor te zeggen is, owlet in ién-op-iin interacties veelverduidelijkt kan worden. Het is dus best mogelijk dat ook zijniet zoveel inzicht hadden als hiervoor werd aangenomen.Anderzijds vonden leerlingen in beide condities de feedbackduidelijk, behulpzaam en zorgvuldig. Daaruit leiden wij af datleerlingen in beide condities toch criteria voor goede tekstenverwierven. Wellicht leidde het geven van cOmmentaar tot eenvoorsprong van de leerlingen in de experimentele conditie opde leerlingen in de controleconditie, maar is deze voorspronglater teniet gedaan. Doordat ze feedback kregen via dezecriteria en doordat de instructieteksten waarin de criteria insamenhang gepresenteerd werden als achtergrondkennis gingenfunctioneren, zouden de leerlingen in de controleconditie hetkennisniveau van de leerlingen in de experimentele conditiebereikt kunnen hebben. Maar evenals aan de waarde van feedbackkan men twijfelen aan de waarde van kennis over criteria voorgoede teksten voor het produceren van tekst. Weten waaraan eengoede tekst moet voldoen, betekent nog niet dat men een goedetekst kan schrijven. Immers, de verwachtingen dat in deschrijfprocessen van de experimentele groep meer criteria ge-genereerd zouden worden, kwamen niet uit. Leerlingen gene-reerden zo weinig criteria dat de betreffende cellen vrijwelleeg bleven. Wellicht is de veronderstelde relatie tussenkennis van criteria en sohrijfprestaties helemaal niet zosterk als pleitbezorgers van leerlingenrespons in hoofdstuk 2schetsten. Deze bevinding sluit aan bij wet Rubin (1983)opmerkte; leerlingen weten wel wat er aan een tekst mankeert,maar kunnen de gebreken niet verhelpen. In een nader onderzoekzou de relatie tussen kennis van criteria en schrijfprestatiesonderzocht moeten worden.

Samengevat komt het crop neer dat we ondanks de verschillenin de onderwijsprogramma's denken dat beide tot kennis overcriteria leidden, zowel via de feedback over opstellen als viahet vervullen van de feedbacktaak. Daardoor zou de overeen-komst tussen beide condities qua schrijfprestaties verklaardkunnen worden. Verder twijfelden we aan het nut van feedbackvoor de nieuwe schrijftaken en, daarmee geImpliceerd, aan hetnut van kennis over criteria voor het produceren van teksten.Gesteld dat we het met deze laatste stelling bij het rechteeind hebben, hoe is dan te verklaren dat de schrijfprestatiesover het algemeen beter werden. zelfs zo, dat men moeilijk kanvolhouden dat de vooruitgang uitsluitend veroorzaakt wordt

4 7

- 144 -

door rijping? We vermoeden dat de omvangrijke instructie-teketen over de zes aspecten van teksten (Doelqerichtheid,Publiekgerichtheid, Opbouw, Betrouwbaarheid, Nieuwswaarde enStijl) daartoe hebben bijgedragen, alsmede het lezen vanelkaars teksten (herschreven versies) in beide condities. Denauwe aansluitinq tussen de instructieteksten en de feedback-instrumenten zorqde ervoor dot leerlingen de concepten Doel-en Publiekgerichtheid gingen beqrijpen en trachtten heldereteksten te schrijven in het besef dat een tekst een transac-tioneel karakter heeft. We gaan op deze mogelijkheid hiernawat dieper in.

Het lijkt erop dat leerlingen vooral helderder zijn gaanschrijven en meer gebruik zijn qaan maken van taalmiddelenwaarmee zij te kennen geven ale schrijver te interacteren meteen lezer. We presenteerden in de tabellen 7.10. en 7.11. deveranderingen tijdens het cursusjaar op analytische kenmerkenvan Doel- en Publiekgerichtheid. Doelgerichtheid valt uiteenin twee aspecten: Argumentatie en Samenhang (interne struc-tuur). Op de meeste kenmerken van Doelqerichtheid was geenvooruitgang te constateren. Ook de scores verkregen met behulpvan schaalbeoordeling wijzen op geen of een qeringe vooruit-gang. We concluderen dan ook dat Doelgerichtheid in de zin vanArqumentatie niet, maar in de zin van Samenhanq wel via onsonderwijsprogramma aan deze leeftijdsgroep onderwezen kanworden. Het kan zijn dat argumentatie niet via dit soortprogramme's onderwezen moet worden: het vereist een minderbreed, specifieker programme wellicht. Het kan ook zijn datleerlingen op deze leeftijd nog niet qevoelig zijn voor dekwaliteit van de argumentatie: veel opstellen bevatten wel eenstandpunt en een poging dat aannemelijk te maken, maar noqgeen derde van die opstellen slaaqt erin. We herinneren eraandat leerlingen in het vooronderzoek te kennen qaven vooral decriteria over betrouwbaarheid moeilijk te vinden en diecateqorie als geheel het onbelangrijkst van de zes vonden. Ditbetrouwbaarheidsaspect van Doelgerichtheid, dat betrekkingheeft op arqumentatieve teksten, is wellicht nog niet leer-bear. Een ander aspect van Doelgerichtheid, een heldere lijnin het informatie-aanbod, of 'de tekst moet ergens heenleiden' lijkt wel verworven te worden. (Vergelijk de resul-taten op de variabele Opbouw en de procesvariabele Structu-reran). Opstellen worden wel meer 'reader based' (Flower,1979). Leerlingen maken niet alleen teksten, die hun 'Know-ledge Telling' model (Scardamalia en Bereiter, 1986) produ-ceert, maar herordenen de informatie in een voor anderenheldere lijn. Ook de scores op een aantal kenmerken vanPubliekgerichtheid (tabel 7.11) wijzen erop dat leerlingen delezer gaan helpen de informatie te verwerken: het tekstthemawordt vaker geldentificeerd in de inleiding en leerlingen gaaneen inhoud- en/of structuuraanduidende titel qebruiken.

Uit de toename van de helderheid van opstellen, af teleiden uit scores op de analytische kenmerken van Doelge-richtheid en Publiekgerichtheid, veranderingen in schrijf-

1 4 8

- 145 -

processen en de oordelen op de variabele Opbouw, en misschienook Stijl, en uit de toename van het gebruik van schrijver-lezer-interactie in inleidingen, concluderen we dat leerlingenelementen van de concepten Doel- en Fubliekgerichtheid zicheigen zijn gaan maken. Een aantal van deze kenmerken komtrechtstreeks uit de instructieteksten: het gebruik van detweede persoon enkelvoud en het stellen van een vraag bij-voorbeeld wordt sterk benadrukt in de instructietekst, evenalshet gebruik van regels wit, inspringen, alinea's (Opbouw).Dergelijke kenmerken zijn voor een deel te benoemen alsoppervlaktekenmerken. Als leerlingen die kenmerken 66n keergedemonstreerd zien in de instructietekst of in een opstel vaniemand enders, is het gemakkelijk die via imitatie in heteigen opstel op te nemen. Anderzijds gaat het om kenmerken diemen niet tot oppervlaktekenmerken kan rekenen zoals coherentie(heldere lijn). in de instructietekst wordt er de nadruk opgelegd dat leerlingen moeten afleren hun eerste bedenksels alseen opstel te zien. Ze moeten leren de inhoud voor lezers teherordenen. Ook de fase van herschrijven in de instructie-cyclus maakt dat leerlingen het gewoon gaan vinden dat opstel-len omgewerkt, veranderd, verbeterd kunnen worden. De vooruit-gang in de schrijfprestaties schrijven we derhalve toe aan deinstructietekst en de daarop toegesneden didactische maatre-gelen die leerlingen in staat stelden de inhoud ervan teverwerven en toe te passen. De keuze tussen twee van diedidactische maatregelen, leerlingenrespons of docentfeedback,lijkt inhoudelijk niet doorslaggevend. Ze zijn equivalent enwellicht is de bijdrage van beide aan de leerwinst (zeer)gering.

8.3. Belangwekkende nevenresultaten

Opmerkelijk in ons onderzoek waren de lage correlaties tussende scores op leerlingenniveau van verschillende tussentoets-momenten op de Schrijfprestatievariabelen (tabel 7.1.). Zelfsal construeren we voor elks leerling een somscore voor zijnschrijfprestatie door zijn scores op de variabelen Doelge-richtheid, Publiekgerichtheid, Opbouw en Stijl te sommeren,oan nog is de stabiliteit van de leerlingscore laag: eencorrelatie van .38 tussen voortoets- en tussentoetsscores. Hetbetreft hier een echte stabiliteitsindex, want de voortoets-en de tussentoets waren identiek. De correlatie tussen voor-en natoets bedroeg .24; dezl correlatie kan gedrukt wordendoordat het onderwerp watover geschreven Moest worden ver-schilde. Vergeleken met voortoets-natoetscorrelaties uit inhoofdstuk 3 gerapporteerde effectstudies (Benson, 1973: .60;Ford, 1973: .92; Sager, 1973: .51) zijn onze correlaties laag.Een leerling die op de voortoets tot de voorhoede van desteekproef behoorde, leverde op de tussentoets een prestatiedie hem achterin het peloton bracht. Zoiets kan gemakkelijkals de totale groep homogeen qua prestatieniveau is, zodat er

14 9

- 146 -

maar iets hoett te gebeuren en het klassement ligt op zijnkop. De spreiding in de leerlingenscores is echter zo groot(de standaardafwijkingen liggen om en nabij de 10 punten) datmoeilijk van een voor schrijfprestaties homogene groep gespro-ken kan worden. Dat er *en ffect van de factor Onderwerp opde leerlingenprestatie is, %dater) we uit eerder onderzoek(0.a. Uesdorp, 1974). Uit dorgelijke onderzoeken blijkt dateen enkele opdracht geen goede indicatie van stelvaardigheidoplevert, omdat de prestaties nogal fluctureren. In onsonderzoek ging het er echter niet om de algemene schrijfvaar-digheid te operationaliseren, moor een specifiekere, namelijkde prestatie voor betogende teksten. Door de opdrachten exact(voortoets en tussentoets) of nagenoeg hetzelfde (natoets) teformuleren, trachtten we het opdrachteffect te beperken. Alser sprake zou zijn van een onderwerpeffect zou dat binnen decondities voor dezelfde proportie leerlingen gunstig enongunstig zijn, en zouden de verhoudingen op voor- en tussen-toets dezelfde zijn. Uit de test-herteetcorrelatie van .38blijkt dat we niet in onze opzet geslaagd zijn. Ale het omindividuele scores goat, is het dus zelfe in die gevallenwaaril men identieke opdrachten gebruikt bij het vaststellenvan E rijfprestaties aan te bevelen verscheidene opdrachtenvan 6.1...1fde soort voor te leggen om zo via testverlenging eenbetrouwbxardere index van de schrijfprestatie van een leer1ingte verkrijgen. Nu is het gebrek aan stabiliteit geen probleemin ons onderzoek, omdat wij analyseerden op klaseeniveau. Dooreen klassescore te berekenen werd de 1eerlingfluctuatie alshet ware uitgemiddeld. Gat de klassescore betrouwbaarder is,bllikt wel uit een vergelijking van de test-hertestcorrelatiesvan leerlingscores en klassescores (tabel 7.1.).

Voor de lespraktijk heeft deze bevinding verstrekkende ge-volgen. Over het algemeen worden er in een cursusjaar nietveel opstellen geschreven. Onze in schrijfonderwijs gelnteres-seerde docenten bijvoorbeeld zeiden gewoonlijk in de derdeklas vier A vijf opstellen te laten schrijven: per rappor-tagekwartaal dus maximaal twee. Tussen de opdrachten bestaandan nog verschillen in tekstsoort en onderwerp. Om op eendergelijk 'proefwerk' een rapportcijfer te baseren is ergriskant. Het geeft de leer1ing bovendien het ides dat schrij-ven iets is dat je in een keer moet kunnen bewijzen. Cijfersverkregen via opstellen zouden pas aan het eind van hetcursusjaar mogen meetellen voor het rapport. Een tweede gevolgis dat men wat voorzichtiger zou moeten zijn in het onderwijsom zich uit te spreken over de onveranderlijkheid van deprestatierangorde in een klas. Alom heerst de opvatting datschrijfonderwijs niet loont: de goede leerlingen blijven degoede, de slechte blijven relatief slecht. Docenten doendergelijke uitspraken echter op basis van weinig waarnemingenen zullen waarschijnlijk ten prooi vallen aan de werking vanhet halo-effect en Iselffulfilaing prophecy': de beoordelingvan opstellen is over het algemeen zo onbetrouwbaar dat hetalgemene oordeel over de 1eerlingen een docent parten zal

150

- 147 -

spelen bij het vellen van een oordeel over diens stelvaar-digheid, blijkend uit een enkel opstel.

Een tweede opmerkelijk verband troffen we aan tussenPsychologische Variabelen en Schrijfprestatievariabelen (tabel7.11.). De correlaties waren veelal niet eens statistischsignificant, hoewel een vrij grote steekproef (264) dat tochal snel mogelijk maakt. De hoogste correlatie was er een van.30 tussen Stijl en Houding-jegens-Schrijven. Een verklaringvoor deze lage correlaties kan zijn dat de meetbetrouwbaarheidvan beide variabelen te wensen overliet. Maar zelfs al con-strueren we stabiele scores, door per leerling de scores perSchrijfprestatievaziabele en per Psychologische Variabele overde drie meetmomenten te sommeren, dan nog blijven de correla-ties tussen Schrijfprestatievariabelen enerzijds en Psycholo-gische Variabelen anderzijds laag. Ze varidren van -.05(Doelgerichtheid en Houding-jegens-Beoordeeld-worden) tot .30(Stijl en Angst-voor-het-niet-Kunnen-schrijven), met eengemiddelde van .15. Deze bevinding strookt met wat wij inenkele studies aantroffen. Benson (1979) en Pfeifer (1981)namea beide Daly en Millers (1975) Writing Apprehension Testaf en lieten opstellen schrijven. De correlaties tussenschrijfangst en schrijfprestatie bedroegen respectievelijk .25en .00. ward (1959) vond een correlatie van .07 tussen opstel-scores en scores op een initrument dat de attituden jegens deschrijfcursus operationaliseerde. Sears (1971) vond correla-ties van .25 en .43 tussen opstelscores en respectievelijk deeigen schatting van inzet voor d schrijfcursus en de schat-ting van het eigen schrijfverm n. Daly verrichtte geencorrelatief onderzoek naar de tel tie tussen schrijfangst enschrijfvaardigheid, maar stelde statistisch significanteverschillen vast tussen sterk en weinig schrijfangstigen opdiverse variabelen van een objectieve stelvaardigheidstoets(Daly, 1978). In een andere studie waarbij Daly betrokken was(Faigley et al., 1981), bleken hoog- en laagschrijfangstigensignificant verschillend te presteren op verhalende stelop-drachten. Het verschil trad echter niet op bij argumentatievestelopdrachten.

/n kringen van vakdidactici Nederlands en curriculumdeskun-digen voor het vak Nederlands hetrst de opvatting dat in hetschrijfonderwijs het houdingsaspect beklemtoond dient teworden. In een advies aan de minister over de inhoud van hetVoortgezet Basisonderwijs wczdt zelfs door S.L.0.-medewerkersgeschreven dat het weinig zin heeft als leerlingen iets kunnen(n.l. schrijven), maar het niet willen. De teneur is: alsleerlingen schrijven maar leuk vinden, dan komt dat kunnen minof :neer vanzelf wel. Als er echter zo'n zwak of geen verbandis tussen houdingen en schrijfprestaties zou men toch hetaccent in het onderwijs eerder op het bevorderen van deprestaties dan op de attituden moeten leggen. Een zwakkesamenhang betekent overigens niet, dat er geen leerlingenzijn, bij wie het verband tussen Psychologische Variabelen enSchrijfprestaties niet sterk is, en die wellicht gebaat zouden

151

- 148 -

zijn bij een attitudeveranderend onderwijs. echter, de impli-catie hiervan is dat men deze leerlingen moet leren onder-scheiden van anderen om remedinrend onderwijs te kunnen geven.Cognitief gericht schrijfvaardigheidsonderwijs moet men echterniet bij voorbaat afwijzen, omdat het het schrijfplezier nietzou bevorderen en daardoor ineffestief onderwijs zou zijn:voor velen doet het er niet toe of zij schrijven nou leukvinden of niet om goed te kunnen presteren.

We moeten erop verdacht zijn, dat er variabelen in het spelkunnen zijn die de relatie tussen Psychologische Variabelen enSchrijfprestatievariabelen maskeren. Pfeifer 11981) vondcorrelaties tussen extraversie, introversie, schrijfangst enschrijfprestaties, die aanwijzingen bevatten dat een zekeremate van schrijfangst zoals gemeten met de Writing Apprehen-sion Test (Miller en Daly, 1975) voor extraverte personenfaciliterend kan werken op de schrijfprestatie, terwij1 eenzelfde niveau van schrijfangst voor introverte leerlingenremmend werkte op de schrijfprestatie. Verder onderzoek nearverbanden tussen (componenten van) schrijfangst en schrijf-prestaties zou meer persoonlijkheidskenmerken in het ontwerpmoeten opnemen. Een van de relevante persoonlijkheidskenmerkenzou attributievoorkeur kunnen zijn. De lags ..errelaties tussende variabele Angst-voor-het-niet-Kunnen-sehr:;.jven en schrijf-prestaties betekenen immers dat er heel wat leerlingen zijndie zich niet terecht zorgen maken over hun prestaties: hoewelzij relatief goed presteren, maken zij zich toch zorgen overhet resultaat van hun stelpogingen. Een gezonde dosis relati-veringsvermogen kan geen kwaad, :near anderzijds lijkt hetverkieslijker als leerlingen met een relatief goede prestatiedie prestatie aan eigen kunnen toeschrijven. Interne attribu-ering is volgens attributietheoretici bij goede prestatiesbevorderlijk voor het leveren van volgende goede prestaties.Naast persoonlijkheidskenmerken als intro- en extraversie zouschrijfangst- en attitudenonderzoek daarom attributievoor-keuren kunnen opnemen als variabele.

8.4. Consequenties voor de lespraktijk

Van de twee onderwijsprogramma's die wij beproefden, steldenwe vast dat zij geen verschillen in effecten teweeg brachtenop schrilfprestaties en attituden en dat beide positieveeffecten bewerkstelligden op schrijfprocessen. Verder reikteonze onderzoeksvraag niet. Aan het slot van deze studie willenwe echter terugkeren bij wear we in de inieiding begonnen: depraktijk van het stelonderwijs, de docent. Voor welke vanbeide programme's kiest hij? Is er sprake van een doelpuntloosgelijk spel of hebben beide programme's gescoord?

De eerste step in zo'n keuzeproces is af te wegen of hetspel correct is gespeeld. Is er risico genoMen? Is er vanbeide kanten aanvallend gespeeld of bleef 66n partij voort-durend met elf man in het eigen doelgebied? wij vinden dat in

152

- 149-

dit onderzoek inderdaad twee methoden op het scherp van desnede, uanvallend hebben gestreden. Het ging hier niet, - watin effectonderzoeken wel gebeurt om een vergelijking tusseneen gedegen ontwikkeld experimenteel programme en een contra-leprogramma dat weinig voorstelt. Hier ging het om twee aanelkaar gewaagde elftallen.

De tweede stap is: hebben beide programme's geScoord?Hoewel in dit onderzoek geen controle voor groei is opgenomenen er strikt genomen geen antwoord op deze vraag gegeven kanworden, wijzen we toch op enkele gegevens die bijdragen aaneen antwoord. Op de Schrijfprestatievariabelen kan een voor-uitgang vastgesteld worden, als men aanneemt dat de verschil-len tussen de voor- en tussentoets niet alleen veroorzaaktworden doordat dezelfde stelopOracht voorlag en de verschillentussen de tussen- en de natoets niet alleen veroorzaakt wordendoordat de opdrachten verschilden De bijdrage van het onder-wijsprogramma op die vooruitgang kan op drie manieren beargu-menteerd worden. Ten eerste: voor enkele variabelen, Stijl enOpbouw, is die groei zo spectaculair te noemen, dat er bij een0.ergelijke gestage groei in volgende cursusjaren weinig Meerte klagen zal zijn over de schrijfvaardigheid van schoolver-laters. Ten tweede: uit de gegevens over de kenmerken vaninleidingen wat de Publiekgerichtheid betreft, blijkt datleerlingen kenmerken in hun inleidingen verwerken die typischuit het onderwijsprogramma voortkomen, zoals het gebruik vanje en jij in de tekst om een interactie met de lezer tot standte brengen. Ten derde: college's van docenten die aan hetonderzoek meewerkten, die in de vierde klassen leerlingen-groepen onderwezen, die voor een gedeelte uit aan het onder-zoek deelnemende leerlingen bestonden, waren zeer te sprekenover de prestaties van deze leerlingen. Zij onderscheiddenzich duidelijk van vierdeklassers die niet in het derdeleerjaar aan het onderzoek meewerkten.

Als beide programme's leiden tot aanvaardbare resultaten,lossen zij dan ook praktijkproblemen op? In de inleiding vandeze studie haalden wij een onderzoek van Damhuis, De Glopperen Wesdorp (1983) aan, waarin onder andere nagegaan is watvolgens docenten Nederlands problemen in het schrijfonderwijszijn. We memoreerden er drie: tijdgebrek, beoordelingspro-blemen en kwaliteit van de opstellen, vooral wat de inhoud ende stijl betreft. Leveren onze programme's een bijdrage aanhet oplossen van een of meer van deze drie problemen? Beideprogramme's vergen veel lesuren. In de 22 klassen in onsonderzoek domineerde het schrijfonderwijs als vakonderdeelzozeer, dat sommige van de betrokken docenten vreesden hungewone programme voor het derde leerjaar niet af te kunnenkrijgen. Wet ons betreft wordt schrijfvaardigheid de spil vanhet curriculum Nederlands en worden andere vakonderdelen tendienste van het schrijfonderwijs gesteld. Lezen, luisteren enspreken kunnen steeds functioneel beoefend worden in het kadervan informatieverwerving over het onderwerp waarover geschre-ven moet worden. In deze zin kunnen onze programme's gezien

153

- 150 -

worden als een nadere uitwerking van het S.L.0.-projectGericht Schrijven (De Zanger, 1981). Wij zouden willen dat deschrijfvaardigheid een hogere prioriteit in het H.A.V.O. enhet V.W.O. krijgt. Een docent die klaagt over tijdgebrek inhet schrijfonderwijs, bedoelt daarmee blijkbaar aan anderevakonderdelen evenveel of meet waarde te hechten. Went zoveeltijd besteedt men gemiddeld niet &an ste1onderwijs (Damhuis etal., 1983). Zo'n klacht maakt duidelijk wear in het yakNederlands de schoen wringt. Alles kan bij het vak, alles istaal, alles is communicatie. Een treurig voorbeeld van eenverworden vakopvatting is het al eerder genoemde advies van deS.L.O. aan de minister over de inhoud van het vak Nederlandsin het Voortgezet Basisonderwijs. Het zou goed zijn als hetschoolvak Nederlands een duidelijke identiteit krijgt door eentransparent, op yaardigheden en prestaties gericht curriculum.Verzoeken om meer lesuren Nederlands zullen eerder gehooryinden als men op basis van programme's en resultaten kanlaten zien dat er onderwijs gegeven wordt, dan wanneer men eenzoyeelste vakdidactische nouveauté aan de verzameling Sin-houdselementen' toevoegt. Tijdgebrek, kortom, is veel mindereen probleem als er keuzes worden gemaakt.

In onze programme's is het beoordelen, afgezien van de tijddie het kost, niet zo'n groot probleem veer. Instructie enbeoordeling zijn nauw op elkaar afgestemd. Beoordelingscrite-ria geyen de beoordelende docent of medeleerling steun. Weonderkennen wel dat veel docenten in hun lespraktijk geen halfuur aan een opstel kunnen besteden zoals de docenten dat inons onderzoek deden. Leerlingenrespons is dan een alternatief.Maar waarschijnlijk kan leerlingenrespons niet door iederedocent en niet in iedere klas geimplementeerd worden, workenmet leerlingenrespons in onze opzet vergt nogal wat organi-satie en planning van de docent. Alle opstellen moeten op eenbepaald moment beschikbaar zijn om te kopiBren voor commenta-toren. Alle commentaren moeten op een zeker ogenblik beschik-bear zijn voor herschrijvers. Er moeten maatregelen getroffenworden waardoor leerlingen absente medeleerlingen toch in delessencyclus betrekken. We zagen dat het argumenteren inteksten derde klassers nog niet good afgaat. Zo zullen er inandere leerjaren andere subvaardigheden zijn die te hooggegrepen zijn. Verder zou het kunnen zijn dat een klas aanzekere yoorwaarden op sociaal-psychologisch gebied als motive-tie, coöperatie en cohesie moet voldoen om met vrucht dewerkyorm leerlingenrespons te gebruiken. Wij denken overigensdat dat wel mee zal vallent in die klassen waaryan de bij hetonderzoek betrokken docenten zeiden aan het begin van hetcursusjaar dat ze daarin liever docentfeedback hadden gegevendan leerlingenrespons, bleek leerlingenrespons toch ook telukken.

Het laatste praktijkprobleem is de kwaliteit van de opstel-len. Schrijfonderwijs in het voortgezet onderwijs is net alsschrijyen zelf vaak een vrij onbeheersbaar onderwijs. Zicht opvooruitgang, op effect van het onderwijs, is er niet, hetgeen

154

- 151 -

wellicht leidt tot eerder genoemde opmerking dat schrijfonder-wijs niets aitricht (par. 8.3.). De verschillen tassen deonderzoeksopstellen, geschreven in augustus van het onder-zoeksjaar en die van mei, zijn duidelijk. Er is vooruitganggeconstateerd. De docenten die bij het onderzoek betrokkenwaren die de werkmapper van leerlingen na elke schrijfrondenakeken, bemerkten bij leerlingen vooruitgang, juist ook omdatde opstellen van verschillende schrijfronden zich lietenvergelijken omdat zij onderdeel waren van een en dezelfdeinstructie en behoorden tot 66n en dezelfde tekstsoort. Dievergelijkbaarheid achten wij een groot goed om zo meer greepop het onderwijsleerproces en de vorderingen van leerlingen tekrijgen. Leerlingen zelf bemerkten hun vooruitgang ook. Alszij in een trimester de keuze hadden uit verschillende op-stellen om de docent voor te leggen voor een cijfer, meetel-lend voor het rapport, kozen zij veelal het laatst geschrevenopstel. Hoewel er zeker nog aan de beide onderwijsprogramma'sverbeteringen aangebracht kunnen worden, menen wij dat zijzullen Leiden tot kwalitatief aanvaardbare opstellen.

Gezien de in de inleiding gememoreerde praktijkproblemenvan tijd, beoordelen en kwaliteit die we in deze evaluatiebespraken, valt de keus tussen beide programme's zoals in hetonderzoek uitgevoerd, niet zwaar. Doorslaggevende factor isdan de tijd: weinig docenten zullen vier meal per jaar eenhalfuur aan een opstel van een leerling kunnen besteden. Weachten het echter niet uitgesloten (par. 8.2.) dat veel minderfeedback tot dezelfde resultaten zou leiden. In dat geval zoude keuze tussen leerlingenrespons en docentfeedback afhanke-lijk zijn van de vaardigheden van de docent en igenschappenvan de klas, alsmede van de rol in het onderwijsleerproces diemen aan leerlingen toekent.

155

- 153 -

SUMMARY

Does a programme of written composition teaching based on peerfeedback lead to better results than one based on teacherfeedback? In modern mother-tongue curricula, educationalpublications and handbooks and publications in which teachersdescribe and promote their own methods, peer evaluation, peerfeedback Or Peer teaching is accorded an important role in theteaching of written composition skills. Two schools of thoughtin thinking about mother-tongue curricula have led toheightened attention to peer feedback as an educationaltechnique. The first is a more general educational movementwhich had redefined the role of the pupil in the teaching/learning process. Teaching is there no longer seen as a purelytransactional process between teacher and pupil, but rather asan interpretative process in which the pupil's knowledge isitself evaluated and used as a component of the teaching/learning process. The second movement is specific to theteaching of language: the communicative shift. Here it isstressed that pupils learn from valid feedback, i.e. thereactions of the intended readers. Written composition tasksare formulated in such a manner that the audience is composedof pupils. In such a class, pupilz constitute communicativepairs (writers and readers) and instructive pairs (feedbackgivers and receivers).

On the basis of an analysis of literature on peer evalu-ation and written composition, written composition processesand educational theory, three groups of dependent variableswere defined by which pupils ought to differ in consequence ofthe experimental variable.a) It was expected that experimental classes would perform

better than control classes on the writing achievementvariables of Goal Orientation, Audience Orientation,Organization and Style.

b) It was expected that experimental classes would display alower level of Pear-of-not-being-able-to-write -- thecognitive component of writing comprehension -- and a morepositlye Attitude-towards-being-evaluated and Attitude-towards-writing than control classes.

c) It was expected that writing processes in the experimentalclasses would differ from those in the control classes.Pupils in the experimental classes were expected to performmore planning activities such as self-instruction, gener-ation of ideas, criteria and presentation structures, andstructuring of ideas. The formulation process was expectedto be more frequently interrupted by a choice process inwhich available words and phrases were weighed up againsteach other. The revision process would then be characterizedby more frequent evaluation and revision of textual ele-ments and longer passages. Finally pupils in the experimen-tal condition were expected to be characterized by a higherfrequency of interactional monitoring: there would be both'feedforward' in the generation and structuring and 'feed-back' in the evaluation and revision of text.

156

To determineaspects ofcarried outxperimentalinstruments,ment.

- 154 -

the effect of peer evaluation on these differentwritten composition skill, an experiment wasconsisting of three parts: development of anteaching programme, construction of the measuringand execution and monitoring of a field experi-

Development of an experimental teaching programme.At a school the author and two fellow teachers developed andtested a procedure for teaching the writing of goal-orientedAnd audience-oriented discursive texts in four third forms intwo sorts of secondary school. By means of process research,questionnaires, analysis of the reliability of the feedbackinstruments, and learner reports, this procedure was evaluatedand refined. The final programme contained four block courseseach of 10-12 lessons. All block courses were constructed onthe same pattern.

A. Preparatory lessons (3-6). In these lessons the pupilsstudied instruction texts on aspects of writing and texts. Twoaspects were introduced in each part course: goal and audienceorientation in the first course, organization and reliabilityin the second, news value and usage in the third. In thefourth course the instruction text contained a synthesis ofall the steps in the process that had been dealt with up tothat point. Also in the preparatory lessons, some tasks wereused to study writing tasks and information on the subjectconsisting of articles or cuttings from newspapers, magazines_nd brochures. The pupils then wrote, in class, first a roughdraft and then a first version. As a reflection task they thendescribed how their first version had been written ('How didthe writing process go this time?') and what they themselvesthought of their tcxts ('What do X think of my essay?').

B. Commentary lessons. Each pupil was given by the teachera copy of the essays of three arbitrarily selected, anonymouspeers. He read each essay and by means of a subjective re-action form with items like 'X am not convinced' indicated hisimpression of what he had read. After this first reading thepupil carried out his second reflection task: 'What have Xlearned by reading other people's texts?' Then he read thesame essays more closely and gave more detailed feedback byanswering questions from a comment questionnaire. The aspectson which comments were given corresponded to those in theinstruction texts. Five comment questions were asked on eachaspect. Besides angrier:11g these comment questions the commen-tator also had to carry out a variety of tasks in the essaysthemselves, such as indicating audience-oriented sentences andphrases and the transitions between beginning, middle and end.At the same time some of the comment questions obliged thecommentator to indicate features to be judged positively ornegatively in the essay itself.

Commenting on an essay took 30-45 minutes. Pupils performedthe task in two lessons; what they did not finish in class

157

- 155 -

they did at home. For the final conclusion of this stagepupils carried out a third reflection task: 'What have I

learned from commenting on other people's texts?'C. Processing comments. Pupils were given subjective

reader-based and objective criterion-based feedback, all noteson their essays, and any further written notes to theseassessMents, from three anonymous commentators. They thenordered the comments, summarized them and wrote comments onthem. It was stressed in their instructions that the writerswere responsible for their own choice from the feedback, butthat they must give reasons for their choice. The pupils thendraw up a rewriting plan in which they indicated what theyplanned to chance and how they wanted to change it. Processingcomments was done partly at school (2-3 lessons) and partly athome.

D. Final version. On the basis of the rewriting plan afinal version was written in the course of a single lesson.

The pupil then gathered his work together in a ring binder.The teacher evaluated the binders for each block course fortheir completeness, neatness and the quality of the work, withthe exception of the essays. Every quarter a pupil selectedone of his essays for evaluation by the teacher for a markcounting towards his end-of-term report.

The pupils in the control groups went through exactly thesame programme, except that at stage B it was the teacher whoprovided the feedback, using the same forms, criteria andtasks as in the experimental condition. The teacher spentapproximately half an hour on each essay.

Instrumentation.Essay scales were constructed to measure writing performancevariables (Goal Orientation, Audience Orientation, Organizationand Style). These were a series of essays of gradually increa-sing quality which are a useful aid to raters because differen-ces in quality and the associated textual features are clearlyshown. In the case of Goal Orientation and Audience Orien-tation analytical scoring rules were also drawn up.

To measure writing process variables a detailed codingscheme was developed on the basis of the writing process modelof Hayes and Flower, the hypotheses, and a number of testprotocols.

For the Psychological Variables an inventory was construc-ted on the basis of Miller and Daly's Writing ApprehensionTest and Bergen's Situation-Specific Apprehension Test.

The reliabilities of the essay scales in terms of raterreliability were good: the correlation between two ratersvaried from .64 to .60/ intra-reliability was even higher. Thetest reliability of the three Psychological Scales varied from.80 to .93 (Cronbach's alpha). Some items out of the analyti-cal scoring rules for Goal Orientation and Audience Orien-tation proved still to be insufficiently objectively scorable.

158

- 156-

Experiment.Eleven experienced teachers at eight different schools of twodifferent levels of secondary school carried out the programmein the third form. Each teacher taught two classes randomlyassigned to the experimental or control condition. Before,during and after the couree the pupils wrote a discursiveesssy, for research purpolies, that had no further function inthe teaching programme. The tasks for the pre-test and inter-mediate test were identical; that for the post-test wassimilar. At the three test sessions the pupils' attitudeinventories were also taken. During the pre-test and inter-mediate test periods writing aloud protocols were elicitedfrom two pupils. The implementation of the teaching programmeswas monitored with teachsr and pupil log-books, observationsand questionnaires.

in each class a random sampl.; was taken of all pupils forwhom three test essays were availiible. The 792 essays (22classes x 12 pupils x 3 tests) were typed out and evaluated bytwo raters using the essay scales for Goal Orientation,Audience Orientation, Organization and Style developed duringthe project. The essays were also scored according to scoringrules for Goal Orientation and Audience Orientation. One ofthe two writing aloud protocols from each class was typed outaccording to the set procedure. These 44 protocols were codedby means of a fine-meshed scheme.

The class scores on Writing Performance Variables andPsychological variables were analysed by multivariate co-variance analysis. The Writing Process Variables were analysedby loglineair model-fitting.

The results were fairly unambiguous. The difference in theteaching programme produced no differences on Writing Perfor-mance and Psychological Variables. On -he analytically scoreditems for Goal Orientation and Audience Orientation thereproved to be no difference between the conditions, thoughthere was an increase in the number of essays that followed aclear line of thinking and displayed some form of interactionwith the reader. In both conditions the scores for all vari-ables were clearly higher on the intermediate test and post-test than on the pre-test, with the exception of the scoresfor Audience Orientation variable in the post-test. Indeed,perhaps because of a task effect, these scores were even lowerthan that for the pre-test. There were also some differencesin the Writing Process Variables. In the experimental con-dition the number of self-instructions rose, in the controlcondition it fell; in the control condition the number oftimes increased that pupils posed themselves a choice in thematter of wording; in the experimental condition it fell. Inboth conditions there was less generation in the post-test butmore structuring and more frequent alteration of words andphrases.

Some explorations were carried out which showed that theTeacher factor had an effect on almost all Writing Performance

159

- 157 -

Variables in the intermediate test and post-test. it alsoemerged that the Sex factor had some effect, but no consistentpattern could be demonstrated of any statistically significantmain effects of sex or of sex/programme interaction effects.Prom some correlation calculations it emerged that the Psycho-logical Variables bear little or no relation to writtencomposition performance during the three tests: a maximum of9% of the variance of the scores in the style category isexplained by scores on Psychological Variables. Pupil WritingPerformance scores proved unstable: correlations betweenpre-test and intermediate test scores were low.

in the discussion an attempt is made to explain the resultsof this research. Perhaps pupils do learn from giving feed-back, but perhaps the feedback they receive from their peersis of a lower quality that that received from teachers.However, a check carried out with questionnaires showed thatin both conditions few pupils were dissatisfied with theclarity, carefulness and helpfulness of the feedback theyreceived. Perhaps - another explanation - feedback is notreally all that important: there proved to be no significantcorrelation between written composition scores and dissatis-faction with feedback. A third possible explanation for theabsence of differences is that in the experimental conditionpupils acquire criteria for good texts but that this knowledgedoes not lead directly to their application in writing tasks.

Assuming that the observed improvement in written compo-sition skill cannot be attributed solely to cognitive growth,the conclusion is that peer feedback and teacher feedback arein equal competition. The choice between the two writtencomposition teaching programmes tried here must depend on theskills of the teacher concerned, the time he can and willdevote to essay correction, and the degree to which the pupilsmay be considered able to meet the conditions for the properfunctioning of peer evaluation, intensive peer evaluation is agood, but not a better, alternative to intensive teacherfeedback.

IC 0

- 159-

LITERATUUR

Amabile, T.M. en A.N.Glazenbrook, A negativity bias in in-terpersonal evaluation. In: Journal of experimental socialpsychology, jrg.18, no.1, 1982, 1-22.

Seltzer, J., hetEen onderzoek naalfielenvantweldidactiet-kopschrijfprocessen van 15-jarigen, m.b.v. een analyse-schemavoor hardop-denkprotocollen. SCO-cahier, S.C.O. Amsterdam,1986.

Seltzer, J. en I. Bochardt, Het analyseren van hardop-schrijf-protocollen. Achtergronden en instructie. S.C.O. Amsterdam1985.

Bandura, A., Self efficacy mechanisms in human agency. In:American Psychologist, jrg.37, no.2, p.122-147.

Barry, L., Dr. Strangelove attends the Iowa Institute onwritinl, or to Xill the SOO word theme and learn to loveCompos;ttion. Paper presented at the Annual Meeting of tfiiNorthwest Regional COnference of the National Council ofTeachers of English (April 10-12). Portland, 1980. (ED 186920).

Bata, E.J., A study of the Relative Effectiveness of MarkingTechnique on Junior College Freshman English Composition.Diss. Univ. of Maryland. S.p., 1972.

Bean, J.C., A method of peer-evaluation of student writing.Ins College Composition and communication, jrg.30, no.3, 1979,p. 301-302.

Beaven, M.N., Individualized goal setting, self-evaluationpeer evaluation. Ins C.R.Cooper en L.Odell, Evaluating Wri-tings describing, measuring, judging. Z.p. (Urbana), 1977,p.135-156.

Beck, P., Peer Tutoring at a Community College. In: CollegeEnglish, jrg.40, rso.4, 1978, p.437-439.

Bell, E.S., The peer tutor as rincipal benefactor in thewriting center or t's not Just for en lish teaching anymore.Paper Meeting of the Southeastern Writ ng Center Conference,Columbia, 1983. (ED 234 407).

Benesch, S., Im roving peer response: collaboration betweenteachers and stu ents. Paper Annual- meeting of the Conferenceon College Composition and Commuaication. New York, 1984. (ED243 113).

161

- 160 -

Bennett, E.M., R.L. Blomquist and A.C. Goldstein, communi-cation through limited response questioning. In: PublicQPinion Quarterly, jrg.18, 1954, p.303-308.

Benson, N.L., The effects of peer feedback during the writing

tudward writ1i. DTIB. UriiversitCororado.Boi,

Bergen, Th.C.M., Evaluatie-angst en vermiidingstendens. Eenonderzoek naar de oridntatie van leerlingen om mislukking tevermijden in taaksituaties tijdens de les. Diss. K.U.N.(S.V.0.-reeks no.47). S.V.O. 's-Gravenhage, 1981.

Bergh, H. van den, et al., Instrumenten ter pealing van detaalvaardi heid van leerlingen utt de dards kiss v.o. S.C.0.-rapport 7 . S.C.O. Amsterdam, 1944.

Bergh, U. van den, Billagen bij raPPort Instrumenten terpeiling van de taalvaardtgheid van leerlingen uit de dardsklas v.o.. S.C.0.-rapport 71. S.C.O. Amsterdam, 2956.

Berkenkotter, C., Student Writers and their Audience: CaseStudies of the Revising Decisions of Three College Freshmen.Paper presented at the Annual Meeting of the Conference onCollege Composition and Communication (March). Detroit, 1983.(ED 236 618).

Berkenkotter, C., Student writers and their senee of authorityover texts. In: College Composition and Communication, jrg.35,no.3, (Oct.), 1984, p. 312-319.

Boyer, B.K. and A.Brostoff, The time it takes: Managing/Evalu-ating writing and social studies. In: Social Education,jrg.43, no.3, 1979, p.194-197.

Biegstraaten, J. e.a., Functioneel Nederlands, (3VH). Syn-thetische methode Nederlands voor vwo, havo en mavo. Wol-ters-Noordhoff. Groningen, 1977.

Bissland, J.H., Peer Evaluation method promotes sharper wri-ting. In: Journalism Educator, jrg.34, no.4, 1980, p.17-19.

Blake, R.N. and F.B.Tuttle, ComPosing as the curriculum: TheAlbion Writing Project. Program prepared at State UniversityiWf New York Co lege at Brockport. Z.p., 1977. (ED 146590).

Blok, H. 4 J.B. Hoeksma, Opstellen qtschaald. De constructievan beoordelingsschalen voor vijf sc rijZopdrachten. S.C.0.-rapport 45. S.C.O. Amsterdam, 1984.

112

- 161 -

Blok, H. en G. Rijlaarsdam, Beoordeling van schrijfproduktendoor leerlingens evaluatie van de kwaliteit. Levendetalen, nr.367 (dec.), 1901, p.958-972.

Bloom, B.G., Human Characteristics and School Learning.McGraw Hill. New York, 1476.

Bloom, S., Peer and cross-age tutoring in the schools. Anindividualized su plement to roup instruction. U.S. Depart-ment of Health, Education, and Wel are. Washington, 1976.

Bochardt, I. , Het schrijfproces: cognitief-psychologischonderzoek van Flower and Hayes. In: Ti'dschrift voor taal-beheersing, jrg.6, no.1, (feb.), 1984, p. 3-42.

Bochardt, I., Onderzoek near het schrijf- en planningsprocesin de zeventi er en begin tachtiger jaren op weg naar eentheorie. len 1.iteratuuzversl.ag en een vers ag van een hard-3FIT4N-experiment. S.C.O. Amsterdam, 1983.

Bochardt, I. & G. Rijlaarsdam, Reageren op elkaars opstellen.Ken onderzoek naar de bruikbaarheid van een didactiscla beoor-delingsinstrument. Projectpublikatie 2 van Z.W.0.-projecten'Onderzoek near effecten van beoordeling door medeleerlingenop aspecten van de stelvaardigheid'. S.C.O. Amsterdam, 1984.

Bonset, H., De relatie onderzoeker-leerkracht in etnografischen case-study-onderzoek. In: 1, Lentz, J. Sturm en H. vanTuij1 (red.), Schriifonderwiis onder het mes. S.L.O. Enschede,1986.

Booher, S.C., A report on the tutorial outreach model forreading and writing across the curriculum at Los MadiiaiCollege. Pittsburg, 1982 (ED 121 252).

Book, C. and K. Wynkoop Simmons, Dimensions and perceivedhelpfullness of student speech criticism. In: CommunicationEducation, jrg.29, no.2, (May), 1980, p.135-145.

Bouton, K. and G.Tutty, The effect of peer-evaluated studentcompositons on writing improvement. In: The English Record,26, 1975, p.64-69.

Bradley, J.V., Pernicious publication practices. In: Bulletinof the Psychonomic Society, jrg.18, no.1, 1981, 31-34.

Braet, A., De inleiding en het slot van affirmatieve teksten.Een voorbeeld van klassiek-retorische communicatie-analyse.In: Levende Talen, nr.331, (mei) 1979, p.161-174.

Brennan, R.L. & D.J. Prediger, Coefficient kappa: some uses,misuses, and alternatives. In: Educational and psychologicalmeasurement, jrg.41, 1981, p.687-699.

163

- 162 -

Brinke, S. ten, The compIllete mother-tongue curriculum. Atentative survey of all t e relevant ways of teaching themother tongue in secondary education. WOlters-Noordhoff-Long-man. Z.p., z.j. (Groningen, 1976).

Bruffee, K.A., A short course in writing. Practical Rhetoricfor Composition Courses, Writina Workshops, and Tutor TrainingPrograms. Little, Brown and Company. Boston, z.j. (1980).

Bruffee, K.A., The structure of kwowledge and the future ofliberal education. In: Liberal Education, 1981, (Pall),181-185.

Bult, E.H., E.S.P. Peteris, N.Lewis, 0 bouw. (Deel 3 HAVO/VW0)Stijl, grammatica en spelling voor de derde klassen havo envwo. Heulenhoff Educatief. Amsterdam, z.j. (1983).

Burt, R.M., Effects of an individualized, humanistic Programof confluent literature and com osition instruction on Olewriting performance and low abi ity suburban eleventh tradeHigh School students. Dias. Vemple Unlversity. Z.p., 1980.(U.H./. 80-25 181).

Buys, A., Reflecteren op het opstel. In: Moer, nr.3, 1984,p.2-12.

Calkins, L., Writers need readers, not robins. In: Language,Arts, jrg.55, no.6, 1978, p.704-707.

Calzonetti, P.J., Group review approach to the teaching ofenergy geography. Paper presented at the Annual Meeting of theNational Council for Geographic Education (October 29).Pittsburg, 1981. (ED 212 526).

Camplese. D.A. and J.A.Hayo, How to improve the quality ofstudent writing: the colleague swap. In: Teaching of Psycho-logy, jrg.9, no.2, 1982, p.122-123.

Carter, R.D., By itself one-shot Peer group revision has nopower,. Revised version paper delivered at National Council ofTeachers of English. (Nov.) Washington, 1982. (ED 226 350).

Cate, Th.J. ten, Th.J.H. Tromp en H.G. Cornawall, De studentals docent. (Aula 814). Het Spectrum. Utrecht, 1984.

Cederblom, D. and J.W. Lounsbury, An investigation of useracceptance of peer evaluations. In: Personnel Psychology,jrg.33, no.3, 1980, p.567-579.

Christensen, J., Let's write it right. A student-orientedapproach for teaching letterwriting skills. Paper presented atthe 42nd Annual and 3rd International Convention of theAmerican Business Communication Association. (December 28-30).Chicago, 1977. iED 161 068).

1 0 4

- 163 -

Clifford, J., Composing in stages: The effects of a colla-borative pedagogy. In- Research in the teaching of English,jrg. 15, 1981, p. 37-53.

Clifton, L.J., What if the kids did it? Paper presented at theAnnual Meeting of the Northwest Regional Conference of theNational Council of Teachers of English (Portland, OR, April10-12). Portland, 1980. (E3 186 945).

Cohen, J., Statistical power analysis for the behavioralsciences. iRev.ed.I. Academic Press. New York, 1977.

Coleman, V.J., ComPetencY-Based Tests: What are the alter-natives? Paper presented at the Annual Meeting of the Con-leNNEg on College Composition and Communication (29th, March30-April 1). Denver, 1978. (ED 162 313).

Collins, J.L., Establishing Peer evaluation of writing:students need an informed teacher mobil. Z.p., 1983. (ED 243122).

Commissie Modernisering Moedertaalonderwijs, Advies over heteindexamen Nederlands in het V.w.O., het H.A.V.O. en hetM.A.V.O. staatauitgeveril. Z.p. Ps-Gravenhage), 1977.

Cook, T.D. en D.T. Campbell, Quasi-Experimentation. Design andanalysis Issues for field Settings. Houghton Mifflin Company.Boston, z.j. (1979).

Copland, J.B., A twelve week study on the effects of peerevaluation for improving nrrative writing Performance at theeight grade level. Dies. Auburn University. Auburn, 1980.

Covington, D.H., A technical communication course using peerevaluation of writing. In: Engineering Education, jrg.69,no.5, 1979, p.417-419.

Crews, R., Teaching writing as an extension of the directedreading activit . Paper Annual Meeting of the Florida ReadingAssociation. Ho lywood, 1983. (ED 239 242).

Crowhurst, M., The writing workshop: An experiment in peerrespons to writing. In: Language Arts, jrg.56, nr.7, 1979,p.757-762.

Daly, J.A., Writing apprehension and writing competency. In:Journal of educational research, jrg. 72, (sept.-oct.), 1978,p. 10-14.

Damhuis, R., K.de Glopper en H.Wesdorp, Het opstelonderwiis.Stelvaardigheid in het voortuezet onderwijs: theorie enpraktijk. S.C.O. rapport, S.C.O. Amsterdam, 1983.

1 6 5

- 164-

Danis, F., Weaving the web of meaning: Interaction patterns inpeer-respons groups. Paper presented at the Annual Meeting ofthe Conference on College Composition and Communication (33rd,March 18-20). San Francisco, 1982. (ED 214202).

Delaney, N.C., A com arison of a student-centered, free wri-ting program with a teacfier-cent od rhetorical a proach toteaching colleqe compos t on. Di. 2mpte Unlvers ty. Z.p.,rfac

Dis, L.M. van (red.), Didactische handleiding voor de leraarin de moedertaal. Neulenhoff, Huusses, Worters-Noordhaf.Amsterdam, Purmerend, Groningen, z.j.

Dollard, J. and N. Miller, .11or_imlit._2x1otheraPez.McGraw-Hill. New York, 1950.

Drop, W., De centrale betekenis van doelstelling eA publiek-gerichtheid bij het schrijven van zakelijke opstellen. InsLevende Talen, nr.275 (feb.) 1971, p. 77-03.

Dweck, C.S., W. Davidson, S. Nelson and E. Bradley, Sexdifferences in learned helplessnees: II. The contingencies ofevaluative feedback in the classroom end III. An experimentalanalysis. In: Developmental Psychology, jrg.14, no.3, 1978,p.268-276.

Earls, T.D., Peer evaluation and teacher evaluation of thefirst drafts of high school so homores compositions. Diss.Boston University. Boston, 1983. 4UMI 83-1988 ).

Eigen zorg, Het alternatieve opstel. Verslag van een expe-riment met de stel0pdracht b-2 aan vier scholen in hetjaar 1970/1971. Samengesteld door de vakgroep begeleidingexperimen`'n Nederlands 'Eigen zorg'. Commissie vwo-havo-mavo.Staatsuitgeverij. Den Haag, 1971.

Eigen zorg, Anders opstellen. Verslag van het experiment metde stelopdracht b-2 aan tien vwo-scholen in het jaar 1971/1972. Samengesteld door de vakgroep begoleiding vwo-experimentNederlands 'Eigen zorg'. Commissie vwo-havo-mavo. Staatsuit-geverij. Den Haag, 1972.

Eigen zorg, Meer dan oRstellen. Eindverslag van het experimentmet de stelopdracht b-2 aan viftien ywo-scholen in de jaren1970/1973. Samengesteld door de vakgroep begeleiding vwo-ex-periment Nederlands 'Eigen zorg'. Commissie vwo-havo-mavo.Staatsuitgeverij. Den Haag, 1974.

Elbow, P., Writing without teachers. Oxford University Press.New York, 1074.

1 G

- 165 -

Elbow, P., Writing with power. Techniques for mastering thewriting process. Oxford University Press. New York, 1981.

Elias, K.M., Peer interaction: a method of creating voice inwriting. University of Connecticut. Z.p., 1982. (ED 216 356).

Ellman, N., Peer evaluation and peer grading. In: EnglishJournal, jrg.64, no.3, 1975, p.79-80.

Engel, M.F. and T.M. Sawyer, Contractual Revision. PaperAnnual Meeting of the Conference of College Composition andCommunication (March). Detroit, 1983.

Erftemeijer, A.G.I., Sti'loefening op de middelbare school.Diss. K.U.N. Nijmegen, z. . (1958).

Ericsson, K.A. and H.A. Simson, Protocol anal sis. Verbalreports as data. MIT Press. Cambridge Ma , 1b4.

Er wordt steeds meer fout qeschrefen. Verkennende nota overhet moedertaalonderwijs. Staatsuitgeverij. 's-Gravenhage,1981.

Faigloy, L., J.A. Daly and S.P. Witte, The role of writingapprehension in writing performance and competence. In:Journal of educational research, jrg.75, no.1, (sept.-oct.),1981, p.16-21.

Farrell, K.J., A comparison of three instructional aperoachesfor teaching written composition to high school juniors:teacher lecture, _peer eve uation, and group tutoring. Dios.Boston University School. Boston, 1977.

Fellows, J.E., The influence of Theme-Reading and Theme-Correction an Eliminating Technical errors in the WrittenCompositions of Ninth Grade Pupils. In: Studies inEducation, deel VII. University of Iowa. Z.p., 1932.

Feteris, E.S.F. en N. Lewis, Over en weer (4 V.W.0.). Meu-lenhoffEducatief. Amsterdam, 1982.

Flanigan, N.C. and D.S. Menendez, Perception and Change:Teaching revision. In: College English, jrg.42, no.3, 1980,p.256-266.

Flavell, J.H., Cognitive development. Prentice-Hall. Engle-wood Cliffs, N.J., 1977.

Flower, L. S J.R. Hayes, A cognitive process theory ofwriting. In: College Composition and Communication, jrg.32,no.4 (dec.), 1981, p.365- 87.

167

- 166 -

Plower, L., Writer-based prose: a cognitive basis for pro-blems in writing. Ins College English, jrg.41, no.1 (sept.),1979, p.19-37.

Flynn, E.A., Freedom_teracticm.Paper Annual Moirtith--4CotiItceoz-lC---ionICoegeompos-tion and Communication. San Fransisco, 1982. (ED 216 365).

Ford, B.W., The effects of peer editin / radin on thegrammar-use e and theme-com osition ability of collegefreshman. D ss. University of- klahoma. Z.p., 1973.

Forman, J., Notes toward writing across the curriculum: Somecollaborative efforts. In: Journal of Basic Writing, jrg.2,no.4, 1980, p.12-21.

Fox, R.F., Treatment of writing ap rehension and its effectson composition. Dies. University of Missouri-Columbia. Z.p.,1978. (UMI 79-15233).

Fox, R.F., Treatment of writing apprehension and its effectson composition. In: Research in the teaching of English,jrg.14, no.1, (feb.), 1980, p.39-49.

Freed, P., Writing with th3 opaque projector. In: EnglishJournal, jrg.70, no.2, 1981, p.31-33.

Gebhardt, R., Teamwork and feedbacks Broadening the base ofcollaborative writing. In: College English, jrg.42, no.1,1980, p.69-74. (ED 174 994).

Glopper, K. de, Schrijfprestaties in het voortgezet onder-Een onderzoek near de stelvaardigheid van feerlingTrrE

het derde leerjaar L.T.O., L.H.N.O., M.A.V.O., H.A.V.O. enV.W.O. S.C.O., S.V.O. (Selectareeks). Amsterdam, 1985a.

Glopper, K. de, Verhalen, betoqen en beschouwen. Voorbeeldenvan schrijfprestaties van leerlingen in het derde leerjaarvan het voortgezet onderwijs. S.C.0.-rapport 60. S.C.O.Amsterdam, 1985b.

Glopper, K. de, Functionele schrilfopdrachten. Voorbeeldenvan schrijfprestaties van leerIingen ln het derde leerjaarvan het vcorgezet onderwijs. S.C.0.-rapport 61. S.C.O.Amsterdam, 1985c.

Glucksberg, S., R. Kraus and E.T. Higgins, The development ofreferential communication skills. In: F. Horowitz (ul.),Review of child development research, deel 4. University ofthicago Press. Chicago,1975, p. 305-345.

1 8

- 167 -

Goldsmith, E., Peer editing with guidelines. In: Hayes, M.P.,K. Morenberg en J. Ziegler, Teachers at work: articles fromthe Ohio Writing Project, Summer Institute Miami University.Oxford (Ohio), 1982, p. 46-53. (ED 232 209).

GolSby, J., Peer tutoring in basic writing: a tutor's jour-nal. Classroom research study no.4. Berkeley, 1981. (ED 250717).

Gregg, L.W. and E.R. Steinberg (eds.), Cowriting,. Lawrence Erlbaum Associates. Hil

Griffioen, J. en H. Damsma, Zeggenschap.uitwerking van een didactiek van hetvoortgezet onderwijs. Tweede, herziene en:olters-Noordhoff. Groningen. Z.j. (1978).

Griffioen, J., m.m.v. H. Damsma en A.J. Evenboer,spraak. Handelingsorantaties voor de leraar Nederlandi-74ihet voortgezet (basis)onderwijs. Wolters-Noordhoff. Gronin-gen, 1982.

nitive processes insdale, N.J., 1980.

Grondslagen en eenNederlands in hetvermeerderde druk.

Grift, W. van de, Het innovatieprobleem en het gedrag vanschoolleiders. Diss. R.U.L. (te verschilnen).

Groot, A.D. de, Methodologie. Grondslagen van onderzoek endenken in de gedragswetenschap. Mouton.'s-Gravenhage, z.j.(1972).

Gross, G.J., Work together. Write together& Group projects intechnical writing. Paper presented ot the Annual Meeting -6-1the Conference on College Composition and Communication(28th, March 31-April 2). Kansas City, 1977. (ED 146 602).

Gwyn, C. and D. Swanson-Owens, Essay editing: Helping stu-dents teach themselves. Z.p., 1980. 0 192327).

Hafernik, J.J., The how and why of peer editing in the ESLwriting class. In: CATESOL Occasional papers, nr.10, z.p.,1984, p.48-58. (ED 2n 060.

Hagen, A., Standaard en dialect-s rekende kinderen, eenstudie over monitoring_in het taalge ruik. Coutinho. Muider-berg, 1981.

Hansen, S.S. en L. Vogt, A variation in peer critiquing: peerediting as the integration of language skills. In: Kwalick,B. (ed.), Selected papers from the 1982 Conference "New YorkWrites: Kinder arten t rou h Colle e". City University of NewYor . New Yor , 19 , p.3 - . ED 234 401).

9

- 168-

Hawkins, T., Training peer tutors in the art of teaching. I):College English, jrg.40, no.4, 1979, p.440-443.

Hayes, J.R. and L.S. Flower, A co nitive model of the writingproces in adults. Final report. Carnegie Mellon University.Pittsburg, 1983. (ED 240 SOS).

Hayes, J.R. and L.S. Flower, identifying the organization ofwriting processes. In: L.W.Gregg en K.R.Steinberg (eds.)Cognitive processes in writina. Lawrence ErlbaUm Associates.Hillsdale, N.J.,1980, p.3-30.

Healy, M.K., Using student writing response groups in theclassroom. Bay Area Writing Project Curriculum Publicationno.12. University of California. Berkeley, 1980.

Hilgers, T., Toward a taxonomy of beginning writers' evalua-tive statements on written compositions. Ins Written Communi-cation, jr.1, no.3, (jul.), 1984, p.365-384.

Hoogeveen, M. en M. Verkampen, Schri fonderwijs injvaktilc.Een verslag van een etnografisch on erzoek naar de invoer ngvan thematisch-cursorisch schrijfonderwijs op een basis-school. S.L.O. Enschede, 1985.

Hoover, R.M.position and

Houben, H.,29.

, Experiments in peer teaching. In: College Com-Communication, jrg.29, 1972, p.421-428.

Correctie-euvel. in Levende talen, 1930, p.25-

House, W.C., Effects of knowledge that attributions will beobserved by others. In: Journal of research in personality,jrg.14, no.14, 1980, p.528-545.

Howgate, L., Building Self-Esteem throu h the writin ro-cess. writing teachers at work. Berkeley, l982 , (ED 250 7 6).

Humes, A., Research on the Composing process. In: Review ofEducational Research, jrg.53, no.2 (summer), 1983, p.201-216.

Hurlow, M., Alleviating writing anxiety in individual andsmall-group settings. Paper Annual Meeting of the WritingCenters Association. West-Lafayette, 1993. (ED 238 008).

Irwin, D.E., Effects of peer tutoring on academic achievementand affective adjustment. In: Enright, G., (ed.). The 1980's:New Sources of energy for learning. Proceedings of-EgrEMATirConference of the Wtstern College Reading Association (13th).San Fransisco, 1980, p.42-46. (ED 247 536).

Jager, B., J.L. van der Velde en B. Slettenaar, Taalgoed.(3vh). Thieme. Zutphen, 1983.

1 70

- 169 -

James, D.R., Peer teaching in the writing classroom. In:English Journal, jrg.70, no.7, 1981, p.48-50.

Jansen, F. en A. Scheringa, Doel- en publiekgerichte opstel-len. Verslag van een literatuurstudie near kenmerken vandoel ,. en publiekgerichte persuasieve teksten. Projectpubli-katie 5 van Z.W.0.-project Onderzoek naar effecten vanbeoordeling door medeleerlingen op aspecten van de stel-vaardigheid. S.C.O. Amsterdam, 1984.

Jones, T.L, An exploratory study of the impact on studentwriting of peer evaluation. Diss. Michigan State University.Z.p., 1977. (UMI 78-10076).

Jones, W., Revision for basic writers. Paper presented at theAnnual Meeiing of the Conference on College Composition andCommunication (32nd, March 26-28). Dallas, 1981.(ED 202 020).

Karegianes, M L E.T. Pascarella and S.W.Pflaum, The effectsof peer editing on the writing proficiency of low-achievingtenth grade students. In: Journal of Educational Research,73, 1980, p.203-207.

Kish, L., Survey sampling. Wiley ans Sons. New York, 1965.

Korrektie-(K)euvel In: Berichten en mededeelingen van devereeniging van leeraren in levende talen. 1929, p. 24-28.

Kroon, J.W.M., Grammatica en communicatie in het onderwilsNederlands. Diss. K.U.N. Groningen, z.j. (1985).

Lagana, J.R., The development, implementation, and evaluationof a model for teaching composition which utilizes Indivi-dualized learning and peer grouping. Diss. University oiPittsburg. Pittsburg, 1972.

Lamberg, W., Self-provided and peer-provided feedback. In:College Composition and Communication, jrg.31, no.1, 1980,p.63-69.

Laney, J.D. Composition in the intermediate grades: How topromote thinking and creativity. Paper Annual meeting Cali-fornia Educational Research Association. Los Angeles, 198S.(ED 241 938).

Langer, J.A. and A.N. Applebee, Learning to mana e thewriting process: tasks and strategies. Z.p., 1983. ED 234420).

Lague, C.F. and P.A.Sherwood, A Laboratory Approach to wri-ting. Urbana, 1977.

1 71

- 170 -

Leidse Werkgroep Moedertaaldidactiek, Moedertaaldidactiek.Een handleiding voor het voortgezet onderwijs. Coutinho.Muiderberg, 1980.

Lewis, U.S., Peer-evaluation in a writing seminar. OhioWesleyan University. Delaware, 1981. (ED 226 SS).

Lutkus, A.D., Using PEERRATE: It computerized system of stu-dent term paper grading. Paper presented at the AnnuaY Con-vention of the American Psychological Association Toronto86th, 1978. (ED 167 887).

Lyons, W.D., The effects of teacher-peer reseense and tea-cher-only response upon attitudes toward writing4 and u onwrjtin erformance. Diss. University of Missouri-Colombia.Z.p., 19Th.

Maimon, E.P., Talking to strangers. In: Colle e Compositionand Communication, jrg.30, no.4, 1979, p.364-369.

Maize, R.C., Two methods of teaching English composition toretarded college freshmen. In: Journal of Educational Psycho-logy, 45, (Jan.) 1954, p.22-28.

Manzo, A.V. and J.K.Sherk, Manzo's Language Shaping Paradigm(LSP),. Z.p., 1977. (ED 181 460).

Martin, W.R., Evaluating on the rigtt side. Paper AnnualMeeting of the NCTE. Denver, 1983. (ED 241 930).

Mazurek, K., Idea exchange: A method of marking to reducedrudgery and increase looming. In: English Quarterly,3rg.12, no.4, 1979, p.102-105.

Megna, J.F., Teaching writing skills through peer evaluation.In: The English Record, 1976, p.98-106.

Mellenbergh, G.J., Bekehd, maar onbemind (deel Subfacul-teit Psychologie Universiteit van Amsterdam. Amsterdam, 1976.

Mellenbergh, G.J., Bekend, maar onbemind (deel 2): Experi-mentele proefopzetten. Subfaculteit Psychologie Universlteitvan Amsterdam. Amsterdam, 1977.

Meuffels, H.L.M., Studies over taalvaardigheid. Diss. U.v.A.Amsterdam, 1982.

Meijerink, H. en J. Vos, Tussen de regels. (Deel 2). Wolters-Noordhoff. Groningen, 1978.

Miller, M.D. and J.A. Daly, The development of a measure ofwriting apprehension. Chicago, 1975. (Educational TestingService: Tests in Microfiche, no.006 172).

172

- 171 -

Moffett, J., Teaching the universe of discourse. HoughtonMifflin Company. Boston, 1968.

Myers, C.F., Teacher and,peer evaluative feedback in the de-velo ment of two composition skills: punctuation and para-qrapb Unity. Diss. St.John's University. New York, 1979.

Newkirk, T., How students read student papers: an explora-tory study. Ins Written Communication, 3rg.1, no.3, (jul.),1984a, p.283-305.

Newkirk, T., Direction and misdirection in peer response. In:College Composition and Communication, jrg.35, no.3, (oct.),1984b, p.301-311.

Nijmeegse Werkgroep Taaldidactiek, Taaldidactiek aan debasis. Wolters-Noordhoff. Groningen, z.j. (1578).

O'Donnell, C., Peer Editing: A way to improve writing. Paperpresented at the combined Annual Meeting of the SecondarySchool English Conference and the Conference on EnglishEducation (March, 27-29). Omaha, 1980. (ED 189 604).

Osborn, L., Language arts: Writing families. In: Instructor,jrg.90, no.2, 1980, p.152-155.

Parks, K.D., A key to clarity - some variations on a slide-tape extravaganza. Paper presented at the Annual Meeting ofthe Conference on College Composition and Communication(28th, March 31-April 2). Kansas City, 1977. (ED 145 448).

Pasternack, S.R., Properly motivated. Students become goodpeer graders. In: Journalism Educator, jrg.36, no.3, 1981,p.18-18.

Peckham, I. Peer Evaluation: Close-up: Evaluating and re-vising composition. In: English Journal, jrg.67, no.7, 1978,p.61-63.

Pfeifer, J.K., The effects of peer evaluation and personalityon writing_anxiety and writirq performance xn col ege fresh-men. Diss. Texas Tech. University. Z.p., 1981.

Pianko, S. and A. Radzik, The student editing method. In:Theory into Practice, 3rg.19, no.3, 1980, p.220-224.

Pierson, H., Peer and teacher correction: A comparison of theeffects of two methods of teaching com osltion in grade nineEnglish classes. Diss. New York Un vers ty. New Yor , 1966.

Plevin, A., The basic comp. class as rhetorical situation.Paper Annual meeting of the Conference on College Compositionand Communication. San Fransisco, 1982. (ED 216 347).

173

- 172 -

Popham, R.J. and J.Zarem, Improving basic writing skills. In-structional objectives exchange. Los Angeles, 1978.

Reichardt, C.S., The statistical analysis ofnonequivalent group designs. In: T.C. Cook en D.T.Quasi-Experimentation. DØeigflp 6 analysis issuesIlttlall. HouOton Mrifln Cornpany. Boston, z.j01472-05.

Reid, L., Talking: the ne lectedepart of the writing process.Paper Annual Meeting of t e National Council of Teachers ofEnglish. Seattle, 1983. (ED 229 762).

data fromCampbell,for field

. (1979),

Reigstad, T.J. and D.A. McAndrew, Traininqj tutors for writingconferences. NCTE. Urbana, 1984. (ED 240 9).

Rivera-Hernandez, N., Collaborative Learnin : a means ofimproving students' exam writing. Paper Nat onal Endowmentfor the Humanities. Glenside, 1992. (ED 221 861).

Roundy, N. Revision Pedagogy in technical writing. PaperAnnual Meeting of the Conference on College Composition andCommunication. New York, 1984. (ED 243 119).

Rubin, D., Once is not enough. Paper Annual meeting Con-ference on College Composition and Communication (March).Detroit, 1983.

Rubin, D., Evaluating freshman writers: what do studentsreally learn? In: College English, jrg.45, no.4 (aPril),1983, p. 373-379.

Rijlaarsdam, G., Leerlin enrespons: een kansrijke didactiekvan het stellen. Een vers ag van een literatuuronderzoek naarde effecten van leerlingenrespons (peer evaluation) opstelvaardigheid. S.C.0.-rapport 27. S.C.O. Amsterdam, 1984.

Rijlaarsdam, G. en H. Blok, Beoordeling van schrijfproduktendoor leerlingen: theorie en praktijk. In: Levende talen, nr.365 (oktober), 1981, p.753-766.

Rijlaarsdam, G., Wat leren leerlingen volgens eigen zeggen?Effecten van leerlin enrespons, gemeten aan zelfranporta es.Lezing Congres Veren ging Interuniversitair Overleg Taal e-heersing. Tilburg, aug. 1984. Verschenen in: H. Blok e.a.,Hoedertaalonderwijs in onderzoek. S.C.0.-cahier 28. S.C.O.Amsterdam, 1984, p.17-32. Eveneens verschenen in Hoer, 1,

1985, p.24-32 en in W.K.B. Koning (red.), Taalbeheersing intheorie en praktijk. Lezingen van het V.I.O.T.-taalbeheer-singscon res, gehouden op 28 29 e" 30 augustus 1984 aan deKatholie e Hogeschool te Ti burg. Foris Pdblications. Dor-drecht, 1985, p.429-438.

1 74

- 173 -

Rijlaarsdam, G. and H. Hulshof, Schrijfonderwijs: overwe-gingen voor een leerplan. In: G. Rijlaarsdam en H. Hulshof(red.), Schrijven: theorie en praktijk van het schrijfvaar-diqheidsonderwijs. D.C.N.-cahier 16. Malmberg. Den Bosch,z.j. (1984), p.173-192.

Rijlaarsdam, G., W. Groeneweg en T. Weyers, Hen didactiekvoor het ontwikkelen van communicatief inzicht: reageren opelkaars opstellen. In: Levende talen, nr.387, (themanummerCommunicatief Taalonderwijs), (ded) 1983, p.622-625.

Sager, C., Lmproving the quality of written compositionthrough pupil use of ratisIg scale.-Paper presented at theAnnual Meeting of the Natzonal Council of Teachers in Eng-lish. Z.p., 1973. (ED 089 304).

Sager, C., Improving the quality of written corflpositionthrough pu D. use o rating scale. Dzss. Boston Un versity.Boston, 1972.

Salili, F., M.L. Maehr, R.L. Sorensen and L.J. Pyans jr., Afurther consideration of the effects of evaluation on moti-vation. In: American Educational Research Journal, jrg.13,no.2, 1976, p.85-102.

Sarbin, T.R. and V.L. Allen, Role thLory. In: G. Lindzey andE. Aronson (eds.), Handbook of social psychology. Deel 1.Reading, 1968, p.488-567.

Sarbin, T.R., Cross-age tutoring and social identity. In:V.L. Allen (ed.), Children as teachers. Theory and research.Academic Press. New -York, 1976, p.27-40.

Scardamalia, M. and C. Bereiter, Research on written composi-tion. In: M.C. Wittrock (ed.), Third Handbook of research onteaching. Macmillan. New York, 1986, p.778-803.

Schneiders, A.J., Correctie-euvel. In: Levende talen, 1930,p.16-18.

Schrader, M.A. and R. Westphal, Reliability of studentevaluations of students performance. Final Report. Cleveland,1976. (ED 134 622).

Schrader, M.A. and R.Westphal, Reliability of student evalua-tions of student performance. Final Report. Cleveland, 1976.(ED 134 622).

Schulz van Thun, P., Hoe bedoelt u? Wolters-Noordhoff.Groningen, 1982.

175

- 174 -

Schuster, C.I., The unassignment: writinq grou s for advancedexpository writers. Paper Annual Meet ng oE the WyomingConference of Freshman and Sophomore English. Laramie, 1983.(ED 234 409).

Sears, M.O., Effects of a student centered procedure on theself-conce ts and writing practice of college freshmen. Diss.Flor da State University. Z.p., 1970.

Sears, P., .ti_lefortreatilLetterwritin.:Atechll.writer's

block. PapelterpreselnnuaetilMeer-ence on College Compositon and Communication (30th, April5-7). Minneapolis, 1979. (ED 176 337).

Selfe, C.L., Usinq groups to re-evaluate papers in thetechnical writing c assroom. Mic igan, 1981. (ED 226 369).

Shantz, C.U., The development of social cognition. In: Reviewof child development research. Deel 5. University of ardi4aPress. Chicago, 1975, p.257-323.

Sherwood, J.J., Increased self-evaluation as a function ofambiguous evaluations by referent others. Ins pociometry,jrg.30, no.4, 1967, p.404-409.

Silver, M., Using peer critiques to train peer tutors. In:College English, jrg.40, no.4, 1978, p.433-436.

Silver, S.E. and B.R. Schlenker, Self-presentational reac-tions to interpersonal evaluations. Paper presented at iFiAnnuil Convention of the American Psychological Association(89th, Los Angeles, August 24-26). Los Angeles, 1901. (ED 210586).

Smelstor, M., A guide to evaluating students' writing. Wis-consin University. Madison, 1978. (ED 176 275).

Smith, M.E., Peer tutoring in a writing workshop. Diss.University of Michigan. Z.p., 1975. (U.M.I. 76 9320).

Smith, E., Evaluation of writing with semantic differentialscales. Paper Annual Meeting of the Northwest Regional5R-fel-Fence of the NCTE. Boise, 1982. (ED 222 900).

Smith, E., Student writing in the foregr.dund of a literatureclass. Paper Annual Meeting of the National Council ofTeachers of English. Denver, 1983. (ED 239 261).

Snipes, N.C., An inquiry. Pier group teaching in freshmenwriting. In: College composition 6 communication, 22, 1971,p.1969-ev.

1 76

- 175 -

Soares, A.T. and L.M. Soares, The gender differential in in-terpersonal eerception. Paper presented at the Annual Meetingof the Eastern Psychological Association (51th, April 9-12).Hartford, 1980. (ED 190 945).

Soven, M., The research papers the student as audince. Z.p.,1980. (ED 218 652).

Spigelmire, L., A peer review process for developmentalwriters. In: Exercise Exchange, jrg.26, no.1, 1981, p.20-23.

Spina, L. and D. Welhoelter, Writing bugs become readingbilm. Paper presented at the Annual Meeting of the MissoulaState Council of the International Reading Association (14th,March 13-14). Columbia, 1981. (ED 205 990).

Steinacher, R.C., f.earning to write by writing in a communitycollege remedial com os tion course. Dies. Florida StateUniversity. Z.p., 1976. (U.M.I. 76 28, 641).

Stone, W.B., Rewciting in advanced composition. Paper Annualmeeting of the Conference on College Composition and Commu-nicatioa (32nd, March 26-28). Dallas, 1981.

Swarts, H., L.S. Flower and J.R. Hayes, Designing ProtocolStudies of the writing process: an introduction. CarnegieMellon University. Pittsburg, 1980.

Tremmel, R., The world and ths writing classroom: the teach-ing of the writers-in-the-schools. Paper Annual Meeting ofthe Conference on College Composition and Communication.Detroit, 1983.

Triesscheyn, B., I. Bochardt en G. Rijlaarsdam, Wat vind 'evan mijn o stel? Leerlingen becommentarieren elkaars opste -len: prakt lkervaringen van leerlingen en leraren. Project-publikatie nr.l. Z.W.0.-project 'Onderzoek naar effecten vanbeoordeling door mede-leerlingen op aspecten van de stel-vaardigheid': S.C.O. Amsterdam, 1984.

Tu:All, J., Now, we want to write! Primary English TeachingAssociation. Roselle, 1983. (ED 240 590).

Tuyl, H. van, Etnografisch onderzoek, retoriek en communica-tief taalonderwijs. Ins L. Lentz, J. Sturm en H. van Tuyl(red.): SchriJfonderwils ander het mes. S.L.O. Enschede,1906.

Verslag van de adviesvoorbereidende studiedag schrijfonder-wils H.A.V.0./V.W.O. T17 Juni 1980. AdviescommissAe voor deLeerplanontwikkeling Moedertaal i.o.. Z.p., z.j. (Enschede,1985).

1 77

- 176 -

Verslag van de adviesvoorvereidende studiedag voor docentenM.A.V.0./L.B.O. (6 juni 1985). Adviescomm ssie voor deLeerplanontwikkeling Moedertaal 1.0. Z.p. (Enschede), 1905.

Verstegen, G., Tiaalfleraarsdacenoverschri'ven.Verslag en literatuurverkenning.Leerplanontwikkeling Moedertaal i.o. Z.p. (Enschede), 1985.

Vlasman, C. (m.m.v. A.G. van Balen), Aantekeningen bij Depapieren wereld, Deel 1 en Deel 2. (Katholiek PedagogisaCentrum). Z.p., z.j.es-Hertogenbosch, 1979).

Vos, J. en H. van der Laan, Taal vandaag. (Deel 1). Docenten-handleiding. Ten Brink. Meppel, 1978.

Vos, J. en H. van der Lean, Taal vandaaq. (3). Ten Brink.Meppel, z.j.

Vijn, P.. De analyse van kruistabellen. In: Ti'dschrift vooronderwijsresearch. jrg. 7, no.5. 1902, p.212-22 .

Wagner, R.N., How to avoid grading compositions. In: EnglishJournal, jrg.1964. no.3, 1975, p.76-79.

Wagner, E.N.. The Impact of Composition Grading on theAttitudes and Writing of Freshman English Students. Piss.17171174WiTiof Virginia. Z.p., 1975.

Ward, L.R.. A comparison of two methods of teachinq writingin a course in communication skills. Diss. Purdue University.Z.p.,1959.

Warner, M.P., A Successful writing program for High Schoollearning. In: Pointer, jrg.23, no.2, 1979, p.30-36.

Weeks, J.O. and E.M. White, Peer editing versus teacherediting: does it make a difference? Paper Meeting of theNorth Carolina Council of the International Reading Asso-ciation. Charlotte, 1902. (ED 224 014).

Weiner, B., et al., Perceiving the causes of success andfailure. In: E.E. Jones e.a. (eds.), Attribution: perceivingthe causes of behavior. General Learning Press. Morristown,(N.J.-). 1972.

Wesdorp, H., Het meten van_produktief-schrifteli'ke vaardig-heid. Directe en indirecte methoden 'opste1 eoordeling'versus 'schrijfvaardigheidstoetsen (enigszins gewijzigdeversie diss. U.v.A.). Muusses. Purmerend. 1974.

1 78

- 177 -

Wesdorp, H., Evaluatietechnieken voor het moedertaalonder-will. Een inventarisatie van beoordelingsmethoditiIvaardigheid, het begrijpend lezen, de spreek-, luister-en discussievaardigheid. (S.V.0.-reeks no.42). Staatsuit-geverij. 's-Gravenhage, 1981.

Wesdorp, H., Schrilven in het voortgezet onderwits. Eenoverzicht van het onderzoek near de effecten van diverseinstructie-variabelen op de stelvaardigheid. (S.V.0.-reeksno.71). S.V.0./Plevodruk Harlingen. Z.p. ('s-Gravenhage),1983.

Wesdorp, H., Goed onderwiji, wat zlat? Voorstudie perio-dieke palling van het onderwi'sniveau. Hen samenvatting vanae resultaten van het proefon ervieknaar het taalonderwijsin de zesde klas van de basisscholen. (Selectareeks). S.V.O.,S.C.O., 0. & W. Z.p. ('s-Gravenhage), z.j. (1985).

Wesdorp, H. en J.B. Hoeksma, Voorstudie Periodieke Peilingvan het Onderwijsniveau. Deel I: Leer- en schriifprestatiesvan zesde kIassers. S.C.0.-rapport 55, S.C.O. Amsterdam,1985.

White, K., The effect of source of evaluation on the de-velopment of internal control among young boys. In: Psycho-logy in the Schools, jrg.9, no.1, 1972, p.56-61.

Wouters, L. en T. de Jong, Hardop denken tijdens tekstbestu-daring. In: Tijdschrift voor Onderwijsresearch, jrg. 7, no.2,(maart), 1982, p.60-75.

Yeager, J.L., C. Wood and M.A.activities In an IPI classroomCox, Evaluation on a toll inI.P./. evaluation program. Rand

Kissel, An analysis of pupil. In: C.M. Lindvall and R.C.curriculum develompt: theMcNally. Chicago, 1470.

Zanger, J. de, cGericlaktikboelt.V.W.0./H.A.V.O. Deel 1. S.L.C. Mete e e, z. . 1 8 .

Zanger, J. de, Praktilkboek Gericht Schrijven. V.W.0./H.A.V.O. Deel 2. S.L.O. Enschede, z.j. 11981).

Ziv, N.D., i-ositicPeer-rou.sinthecontclassroomracase

study.. ConferenceComposition and Communication (34th, March 17-19). Detroit,1983. (ED 229 799).

1 79

- 179 -

Bijlage 11 Geraadpleegde bronnen, gebruikt bij het ontwerp vaneen theorie over leerlingenrespons (par. 2.2.)

Barry, 1980Bean, 1979Beaven, 1977Beck, 1978Bell, 1983Benesch. 1984Berkenkotter, 1983Beyer and Brostoff, 1979Bissland, 1980Blake and Tuttle, 1977Booher, 1982Bruffee, 1980Buys. 1984Calkins, 1978Calzonetti, 1981Camplese and Mayo, 1982Christensen, 1977Clifton, 1980Coleman, 1978Collins, 1983Covington, 1979Crews, 1983Crowhurst, 1979Damsma, 1985Danis, 1982Elbow, 1973Elias, 1982Ellman, 1975Engel, 1983Flanigan and Menendez, 1980Flynn, 1982Forman, 1980Freed, 1981Gebhardt, 1980Goldsmith, 1982Golsby, 1981Griffioen en Damsma, 1978Griffioen e.a., 1982Gross. 1977Gwyn and Swanson-Owens, 1980Hafernik, 19P4Hansen and Vogt, 1982Hawkins, 1978Healy, 1980Hoover, 1972Howgete, 1982Hurlow, 1983Irwin, 1980James, 1981Jones, 1981

180

Lemberg, 1980Laney, 1983Langer and Applebee, 1983Lague, 1977Leidse Werkgroep moeder-moedertaaldidactiek, 1980Lewis, 1981Lutkus, 1978Maimon, 1979Manzo and Sherk, 1977Martin, 1983Mazurek, 1979Megna, 1976Moffett, 1968Nijmeegse Werkgroep Taal-didactiek, 1978O'Donnell, 1980Osborn, 1980Parks, 1977Pasternack, 1981Peckham, 1978Pianko and Radzik, 1980Plevin, 1982Popham and Zarem, 1978Reid, 1983Reigstad and McAndrew, 1984Rivera-hernandez, 1982Roundy, 1984Rijlaarsdam en Blok, 1981Sager, 1973Schuater, 1983Sears, 1979Selfe, 1°81Silver 1978Smelstor, 1978Smith, 1975Smith, 1982Smith, 1983Snipes, 1971Soven, 1980Spigelmire, 1981Spina and Welhoelter, 1981Steinacher, 1976Strayer, 1981Tremmel, 1983Turbfll, 1983Wagner, 1975Warner, 1979Weeks and White, 1982

- 181 -

Sijlage 2: Geraadpleegde effectstudies (par. 3.3.)

1. Benson (1979)

2. Bouton and Tutty (1975)

3. Burt (1980

4. Carter (1982)

5. Clifford (1981)

6, Copland (1980)

7. Delaney (1980)

8. Earls (1983)

9. Farrell (1977)

10. Ford (1973)

11. Fox (1978)

12. Karegianes et al. (1980)

13. Lagana (1972)

14. Lyons (1976)

15. Maiza (1954)

16. Myers (1979)

17. Pfeifer (1981)

18. Pierson (1967)

19. Sager (1973)

20. Sears (1971)

21. Ward (1959)

181

00MACeeren

MAIM

Li110

lesser kleet 6 * 7sekelljke en verhatendeopdrechtempubtlek* Met gede(1-nteerde

op school begtmen enthole Meaken

7 6 8 per jeer

VCCOMMIDINO 20 min, inetroctievooreemende me decgdrecht

LEIRLUIGIoe!woos

f ist ettild

cosearmaGEVMrichtlijnen men

Voortesen

Nomeet comm.tetorenWijse vn me-mentoes mem

MT Over LERMAMT LMMANCEM-modeenvemo

e ms. 2 3 keer par3640

i per Op6001. blj voor-team elle leertlegenmodeling

beoordeett onatbeekelljkven Irestingen oomenteer

vilsonsucsm veN men hesschrtjvingenCONNENTMA

2.

MVO

team Cleat 10 * ISemeentitele verbelenden betogend*pobtleki Met moon-Meerdeop school 42 Ithole edeeken

6 keer per jeer

goon

1(10 I lemlIngenlesen hon opetel voor

l'Opbonv'-aethodal

Je

elle ender. leertIngenkomen modeling reagaren=Meting

beoordeett 3 opetellenper keer.00rdee/ van Itn.vordt metal ntet Ineindoordeet betrokken

Meeting/we verbe00000ee omen en lesenden woe

MVO

Imam meet tItele opiertoele. verhel.ende enbeech/amend.*'Menet* ntet gededt-oleerd,op octopi beglemn enthot eftmen

8 keer per jaer

eltljd. leder@ Meetingkrtjgt hat schrift ven

ma *Mar

30..9odlcteerd In erhstetIelgen (abelkaet)nse

1 per °petal

echrt(telljk, Demmer-kead

Moordeett na de conn.ronde S ol 6 *Well..par keer.controlemt ofmorel tom. 1st) Meet .retest verbetertmen V.mide-Iln. plot b4j dofasten me. Moordeeltfiat comentem

geen hereoheljvIngen

1 53 2

1 geeft opdrechte

publleki de I

op *moot I2 1thole Merton

* 4 per jeer

2 6 3 teemen net voor-beseldende oetentegen

ltljd: 'ecepal common -tear': 1 II. gmat I.comentear, 20 Meetingverweldt M Ms. hat er-ase ene le. le teertIngverneldt 01 telj hat netle of 20 teed. eene le.

ye. m(enopdgerbtjes1eigen tebrIkaat)je, de oetempdrachtjes

1 6 4 per opetel

min 1 It el jk

Moordeett elle op,Mellen. Vermiljktsljn comentam nettemtlemmeme

teertlogen meten hetopetet mg to bet netechrkjmns verwerkenven mon. tverbeteren.hareehrtjvm) nag.eam met ntet

S.

M40/060

ht cerium blj 0.2 opetelItn, mouton klemen Mt 3door team voorberelde oadm-werpenePublleks ntet gade(Inteerdop chool voorbeseldIng mthole echelpen

In ham/Imo-4* 2 6 3 pen j44ff

116,16/%6.6-Sa 1 per yaer A'

owo-6, t * 2 per jeer

Of 1001[00 in gempjes gewmktIle, mken ol Is von es-Melee en Islamise dem mt.Vervolgene wordk gesamentijkeen opetel-echem gmeekt.

ttljde elm teestkag 16400mn *petal over een ender coder-veep dan wearover htj self ge-e rhreven Meet. Leertmgen be-eteden den teemr en het be-comentertiven

je, iljetje mat pontenfeigen (elsrlkeat)604

1 per opetel

e rMletelljk. met d 1

toll 00000 je beeleen

Imam beoordeett pm gsospjveeeee de opetellen en den hetMerlingen COM600006r. 6.0ff40vordt de echrtgeap le de kleebeepcokeo.

gem herochrtjvingen. Mos-det teerttmen een met stemopetel Millen/An worden ii go-echt bon *ode opetettendoor te leseh

OPORAanzm

AANTM.

VCCIIIICRCIOING

LEERLIMM-RICSPONS

CONNOWIMP SEVENitichtlijnen

voorleren

N oeveel cameo-tetosenW ijse van come-

g oatees woven

MT MOT mannaMrt LeaRLINCEnColOrartnna

VECOMOM ohoWOMNIMA

a.

NAVO/TWO

echsillopdsochton esit

die method, 'Toolvesk'of door de 1 ***** ge-

mooktspubilek: nlet gods/fi-

n OOOOO $

op school Loginnen enthesis ofooken

) a 4 pus Jeer

hillende schrilt-opelrechten goon voorofaah het ulteindellikeopssel. weteslool mggebsuikt kosden fin-foseatke. woosdentook/

itild, op vesschil-lends onniesen

la. Illesle oat puntenuit 'Toolvesesons

*GOO Ho. polart Goer

aIvcaeIend modelingof schrittellik. SonsIn di vorn van ciltes.scamp In as worn ven

eels wards-m*4ml

lessees lemosdeett de ult-eindetilke opossiken.gevfs comentear en eenelites

geeo hetechsilvingeomitten von krises* %es-betesen In volgeodescluiltopdsechl

cAvo/Voo

°Mentosp words von teVOKOR does eeeeee gees-

veal eeeee )k of wash.-

lewd,self gekosen publishdeelopdsochten$otwisselend op schoolof thuis eeerh e

2 a 3 pes loos

PT: oplitel 2 A 1 loosenmorbeseidende on-dsochten

oltlid tostsopstot -

len. Meeotat bil dee--opelfechten

Ja nmosolekingsschunaear 'over en Weer'Moo athenkelilk van deogdeocht. selfselectle44o of twee

schrittellik, leeslingenTotten het comentearmet policed coder desekst en verbs etouten

Meo besschslivi.lgenop wood ven comma-loos

8.

NAVO/V140

9.

NAVU/Vw3

leerlingeo omen self een Ivraer matt de 49 etitsl kiemn, ktedvezele dsochten self.en achesa op school oaken/

publiek, niOt gedefl-nieesdsoetenopdsechten en opstel*tut eeeee nd thuls ot opScheel oaken

geolddeld 7 eeeeeee envenal de l klel I in-Cornerend. 3 verhatndeen 3 betogende

esitgebsoide voorbesel-donde osteningen o.d.h.V. 'Os Poplesen %Weld'e ental voostoseldende

thenkeltik vantype ovat!

tenon, ottild. Secomen-Loslasen Is ofhankellikvan de tild. klessIkesi01 In gsosples

)0. becoordelksigoachem'sit 'be Popleseneons. elk gsoopie kleothet peace opstel ultminimal asp

oondeling 01 achsitte-leortingen geven

punten per kocasdelings-G omel

ambit de loestingen el-

h ear becconenterimsdhebben. Wu de teraasde opstellen Re. Ili)gesfr connentear en Oftlciltos. Leertingen coon.Legs hi) tortiple

een de Wand von het ccero rator's Mem lee:Llama

foe eankoemen,het opetel veal:atomsOf vt. opoiem. ,tilvon

pdblIeki Olaegeno-ten of mac e

-now! Chula aim Opschool ochsliven

1 op lllll en per jeer

perorate! oen lllllvoasheseldende lessen

o ltild. es wostis In

g(asp)** van 3 A 4

IserlIngen gesetOt

le. door 1 eeeee ger

wovenPh. 440 per grosple

drie yes opstet

suer bloom eongromje modelingen eche! lllll lk.

ammo am l It

de opotallen klosei-Mel. Af en tee wosdtgewerkt met schoal-

punten II s/o S/

lorear becordeeltoperellen, In de derdet ies geett hi) mg gegenelites

goon hesschslivIng

183

10.

NAVO/VVO

leerlingen Memo klesenult 10 ondeswrpoo. Vookmmenopdrechten van voot-geonde )eren. Towel betogondele verhalend,S ubliek, meet godeti-n ieresd$

motel Op Sekg.01 Wen")"".abeeningen sows cot thuie

lop lllll en per jear

per opstel *en lllll I voor-bereidende t l

soss, op ongestrucrureesdevils

gem

ama, olet vesplIchr

imslingen lesen elkoarsoperellen sone en gesenlkeas sondeting cowmen-

tear

leseas Moordmit de opetelken .hi) onde ten enplaster opnerkingen In de kant-Illn of ander het Opatvi.Deems klassIkelv besprekIng

oven heiSchrI)ving