zaterdag 23 februari 2013

De gouden standaard in onderwijsonderzoek: Het debat gaat verder

Eens in de zoveel tijd laait de discussie weer op over de eisen waaraan goed onderwijsonderzoek zou moeten voldoen. In 2006 brak in Nederland de Onderwijsraad een lans voor evidence based onderwijsonderzoek: Er moet gestreefd worden naar zo hard mogelijk bewijs over wat werkt in het onderwijs. Hoe men dat bereikt? Met zogenaamde randomized controlled trails. Oftewel: studies waarbij deelnemers willekeurig (random) worden toegewezen aan een experimentele conditie of een controle conditie. Door een dergelijke opzet kunnen causale uitspraken worden gedaan over de werking van een interventie. Men kan dan vaststellen of een interventie invloed heeft op bijvoorbeeld leerprestaties van leerlingen. Met "zachtere" onderzoeksopzetten, bijvoorbeeld correlationele studies waarbij gezocht wordt naar verbanden tussen variabelen, kunnen geen causale relaties vastgesteld worden.

Het advies van de Onderwijsraad lokte enkele stevige reacties, waaronder een discussie tussen Kirschner en Gravemeijer enerzijds en Bosker anderzijds in het tijdschrift Pedagogische Studiƫn.

De nieuwste uitgave van Journal of Educational Psychology bevat een artikel dat de discussie weer nieuw leven in kan blazen. Reinhart, Haring, Levin, Patall en Robinson (2013) analyseerden de onderzoeksartikelen die tussen 2000 en 2010 verschenen in vijf vooraanstaande wetenschappelijke tijdschriften. Ze zijn erg kritisch over de "hardheid" van de gehanteerde onderzoeksopzetten en zijn ook erg kritisch over de uitspraken die onderzoekers met "zachte" onderzoeksopzetten (lees: correlationele onderzoeken) zich permitteren. Volgens Reinhart et al. worden dan toch vaak uitspraken gedaan die suggereren dat er een causale relatie bestaat tussen de onderzochte variabelen:

"The present line of research continues to show that at the same time intervention studies are becoming less prevalent in the education research literature, researchers are more inclined to include causal statements in nonintervention, observational/correlational studies. Potentially related to this is the increasing use of statistical modeling techniques. As was reported in the present study, over the past 10 years, there has been almost a 40% increase in modeling use in such articles that also include implications for practice"
Uit het onderzoek van Reinhart et al. blijkt dus dat het aantal randomized controlled trials daalde in de periode van 2000-2010. Daarnaast  bleken onderzoekers steeds meer genegen om causale uitspraken te doen over hun bevindingen. De auteurs zijn stellig in hun mening hierover: Met een correlationele onderzoeksopzet kunnen geen causale uitspraken gedaan worden. Daarnaast moet men dan ook voorzichtig zijn met het geven van adviezen voor de onderwijspraktijk. In feite, betogen Reinhart et al., is het niet mogelijk om op basis van correlationeel onderzoek gefundeerde, waardevolle adviezen voor de onderwijspraktijk te formuleren.

De auteurs geven ook een voorbeeld van een onderzoek dat zulke misplaatste uitspraken doet:

"It included a survey in which teachers rated their current relationships with students (e.g., closeness and conflict), and parents rated their child's behavior problems at home. ... this is a nonintervention observational study (referred to here as an observational/correlational study), as opposed to an intervention study. The authors concluded that “high quality teacher-child relationships appeared to buffer children from the risks normally associated with early internalizing behavior problems.” According to that conclusion, there is an implied causal relationship between teacher–child relationship and child behavior problems: If teachers had better relationships with children, then the children demonstrated fewer behavior problems later."
Te strenge leerkracht, dus daardoor gedragsproblemen?
De uitspraak dat wanneer leerkrachten betere relaties met de kinderen in hun klas hebben, de kinderen minder gedragsproblemen zullen vertonen veronderstelt volgens Reinhart et al. ten onrechte een causale relatie tussen de leerkracht-leerling relatie en gedragsproblemen van leerlingen. Adviezen op basis van deze onterecht veronderstelde causale relatie ("docenten moeten investeren in de relatie met leerlingen om zo gedragsproblemen te voorkomen") zijn volgens Reinhart et al. misplaatst.

Reinhart et al. schrijven de toename van het aantal correlationele studies ten koste van het aantal randomized controlled trials toe aan het toenemend gebruik van geavanceerde statistische methoden zoals multilevel analyse en structural equation modelling. Hoewel deze methoden zeer bruikbaar zijn, waarschuwen Reinhart et al.: 
"Educational researchers need to keep in mind that despite their many advantages, advanced statistical models cannot magically manufacture causal conclusions from observational or correlational data."
Ze vragen zich af:
"Is there something “magical” about modeling that increases the likelihood of researchers making  silky smooth “if-then” statements out of a sour morass of correlations?"
Reinhart et al. geven ook een voorzichtige verklaring waarom onderzoekers zich laten verleiden tot het doen van causale uitspraken:

"Making the news “sexy” frequently means glossing over crucial distinctions, like the classic distinction between correlation and causation (correlation is never as sexy as causation even on its best day)"
Met andere woorden: causale uitspraken verkopen nou eenmaal beter. Een nogal cynische verklaring.

De discussie over welke onderzoeksmethode het meest waardevol is voor onderwijsonderzoek is dus nog steeds springlevend en met dit artikel wordt het vuurtje weer lekker opgestookt. Ik ben benieuwd wie zich geroepen voelt te reageren.


Referentie:
Reinhart, A. L., Haring, S. H., Levin, J. R., Patall, E. A., Robinson, D. H. (2013). Models of Not-So-Good Behavior: Yet Another Way to Squeeze Causality and Recommendations for Practice Out of Correlational Data. Journal of Educational Psychology, 105, 241-247. doi: 10.1037/a0030368

1 opmerking:

  1. Het is een interessante vraag waarom onderwijsonderzoekers zo weinig randomized trials doen. Sterker nog: waarom ze geen *dubbelblinde* randomized trials doen. Het is geen luxe of zo, dat in de medische sector niet met minder wordt volstaan dan dubbelblinde randomized trials. Dat is omdat we meer dan genoeg op de hoogte zijn van de methodologische bezwaren van niet-blinde, correlationele studies. Het is weggegooid geld, bijvoorbeeld, want met de conclusies kunnen we niks. Correlationeel onderzoek levert, behalve de 'toetsing' van -tig hypotheses tegelijk waarvan we een op twintig 'significant' noemen louter op basis van toeval en een op tien al 'een trend', ook nog de onbedwingbare neiging op om gevonden correlaties oorzakelijk te duiden, terwijl we voor de oorzaak-gevolgrelatie nul bewijs hebben geleverd.

    Maar daarnaast is er nog een beperking. Onderwijs is geen medisch handelen, leerproblemen zijn geen ziektes, en een les is geen pil. In de onderwijspraktijk interacteert de didactiek heftig met -tig andere variabelen (het moment, de klas, de leraar om maar eens de drie belangrijkste te noemen) en is het effect dat je bij Jansen in zijn economieles op maandagochtend aan 2B vindt geheel anders dan het effect dat je bij Pietersen in haar literatuurles aan 5A op vrijdagmiddag vindt.

    Onderwijsonderzoek doet niet of nauwelijks recht aan de verschillen tussen Jansen en Pietersen, tussen 2B en 5A, en tussen maandag- en vrijdagochtend. Laat staan tussen Henkie en Laura, tussen moeilijke en makkelijke klassen, tussen motivatie en prestatie, en tussen toetsenmaken en leren.

    Het onderzoek dat ik nu afrond is gebaseerd op twee grote, complete randomized controlled trials. Leerlingen zijn *binnen klassen* aselect toegewezen aan condities. De data is extern, blind beoordeeld en gescoord. Methodologisch krijg ik vast een pluimpje van Reinhart et al. Maar ik verbeeld me geenszins dat de conclusies zulke 'bewijskracht' hebben dat ze op elke school, bij elke leraar, in elke klas, op elk moment van het jaar, de maand, de week of de dag zullen standhouden.

    Zulk sociaal-wetenschappelijk onderzoek is uit de aard der zaak beperkt qua bewijskracht en toepassing. Het beste dat ik kan leveren is een - hopelijk inspirerend - advies of een idee voor leraren. Het is hun verantwoordelijkheid, niet die van de Onderwijsraad, het ministerie of de schoolleiding, om een keuze te maken uit de voorhanden inspirerende adviezen en die al of niet toe te passen in hun lespraktijk.

    Wie gelooft hecht aan de illusie dat lesgeven wetenschappelijk te optimaliseren is, moet maar eens nadenken over de vraag of hij zijn kinderen thuis verplicht zou willen opvoeden 'naar wetenschappelijke maatstaven'. Ik moet er niet aan denken.

    BeantwoordenVerwijderen