De gouden standaard in onderwijsonderzoek: Het debat gaat verder

Eens in de zoveel tijd laait de discussie weer op over de eisen waaraan goed onderwijsonderzoek zou moeten voldoen. In 2006 brak in Nederland de Onderwijsraad een lans voor evidence based onderwijsonderzoek: Er moet gestreefd worden naar zo hard mogelijk bewijs over wat werkt in het onderwijs. Hoe men dat bereikt? Met zogenaamde randomized controlled trails. Oftewel: studies waarbij deelnemers willekeurig (random) worden toegewezen aan een experimentele conditie of een controle conditie. Door een dergelijke opzet kunnen causale uitspraken worden gedaan over de werking van een interventie. Men kan dan vaststellen of een interventie invloed heeft op bijvoorbeeld leerprestaties van leerlingen. Met "zachtere" onderzoeksopzetten, bijvoorbeeld correlationele studies waarbij gezocht wordt naar verbanden tussen variabelen, kunnen geen causale relaties vastgesteld worden.

Het advies van de Onderwijsraad lokte enkele stevige reacties, waaronder een discussie tussen Kirschner en Gravemeijer enerzijds en Bosker anderzijds in het tijdschrift Pedagogische Studiën.

De nieuwste uitgave van Journal of Educational Psychology bevat een artikel dat de discussie weer nieuw leven in kan blazen. Reinhart, Haring, Levin, Patall en Robinson (2013) analyseerden de onderzoeksartikelen die tussen 2000 en 2010 verschenen in vijf vooraanstaande wetenschappelijke tijdschriften. Ze zijn erg kritisch over de "hardheid" van de gehanteerde onderzoeksopzetten en zijn ook erg kritisch over de uitspraken die onderzoekers met "zachte" onderzoeksopzetten (lees: correlationele onderzoeken) zich permitteren. Volgens Reinhart et al. worden dan toch vaak uitspraken gedaan die suggereren dat er een causale relatie bestaat tussen de onderzochte variabelen:

"The present line of research continues to show that at the same time intervention studies are becoming less prevalent in the education research literature, researchers are more inclined to include causal statements in nonintervention, observational/correlational studies. Potentially related to this is the increasing use of statistical modeling techniques. As was reported in the present study, over the past 10 years, there has been almost a 40% increase in modeling use in such articles that also include implications for practice"

Uit het onderzoek van Reinhart et al. blijkt dus dat het aantal randomized controlled trials daalde in de periode van 2000-2010. Daarnaast  bleken onderzoekers steeds meer genegen om causale uitspraken te doen over hun bevindingen. De auteurs zijn stellig in hun mening hierover: Met een correlationele onderzoeksopzet kunnen geen causale uitspraken gedaan worden. Daarnaast moet men dan ook voorzichtig zijn met het geven van adviezen voor de onderwijspraktijk. In feite, betogen Reinhart et al., is het niet mogelijk om op basis van correlationeel onderzoek gefundeerde, waardevolle adviezen voor de onderwijspraktijk te formuleren.

De auteurs geven ook een voorbeeld van een onderzoek dat zulke misplaatste uitspraken doet:

"It included a survey in which teachers rated their current relationships with students (e.g., closeness and conflict), and parents rated their child's behavior problems at home. ... this is a nonintervention observational study (referred to here as an observational/correlational study), as opposed to an intervention study. The authors concluded that “high quality teacher-child relationships appeared to buffer children from the risks normally associated with early internalizing behavior problems.” According to that conclusion, there is an implied causal relationship between teacher–child relationship and child behavior problems: If teachers had better relationships with children, then the children demonstrated fewer behavior problems later."

Te strenge leerkracht, dus daardoor gedragsproblemen?

De uitspraak dat wanneer leerkrachten betere relaties met de kinderen in hun klas hebben, de kinderen minder gedragsproblemen zullen vertonen veronderstelt volgens Reinhart et al. ten onrechte een causale relatie tussen de leerkracht-leerling relatie en gedragsproblemen van leerlingen. Adviezen op basis van deze onterecht veronderstelde causale relatie ("docenten moeten investeren in de relatie met leerlingen om zo gedragsproblemen te voorkomen") zijn volgens Reinhart et al. misplaatst.

Reinhart et al. schrijven de toename van het aantal correlationele studies ten koste van het aantal randomized controlled trials toe aan het toenemend gebruik van geavanceerde statistische methoden zoals multilevel analyse en structural equation modelling. Hoewel deze methoden zeer bruikbaar zijn, waarschuwen Reinhart et al.: 

"Educational researchers need to keep in mind that despite their many advantages, advanced statistical models cannot magically manufacture causal conclusions from observational or correlational data."

Ze vragen zich af:

"Is there something “magical” about modeling that increases the likelihood of researchers making  silky smooth “if-then” statements out of a sour morass of correlations?"

Reinhart et al. geven ook een voorzichtige verklaring waarom onderzoekers zich laten verleiden tot het doen van causale uitspraken:

"Making the news “sexy” frequently means glossing over crucial distinctions, like the classic distinction between correlation and causation (correlation is never as sexy as causation even on its best day)"

Met andere woorden: causale uitspraken verkopen nou eenmaal beter. Een nogal cynische verklaring.

De discussie over welke onderzoeksmethode het meest waardevol is voor onderwijsonderzoek is dus nog steeds springlevend en met dit artikel wordt het vuurtje weer lekker opgestookt. Ik ben benieuwd wie zich geroepen voelt te reageren.


Referentie:
Reinhart, A. L., Haring, S. H., Levin, J. R., Patall, E. A., Robinson, D. H. (2013). Models of Not-So-Good Behavior: Yet Another Way to Squeeze Causality and Recommendations for Practice Out of Correlational Data. Journal of Educational Psychology, 105, 241-247. doi: 10.1037/a0030368