Een nieuwe RCT naar AI in het onderwijs: AI-tutoring verslaat actief leren, of toch niet?

Onderzoekers van Harvard voerden een randomized controled trial uit met 194 studenten om te onderzoeken of een AI-tutor studenten beter kan laten leren dan actief leren in de klas. De resultaten toonden aan dat wanneer studenten werkten met een AI-tutor zij significant hogere scores behaalden op de posttests, terwijl ze er minder tijd besteedden aan studeren dan wanneer ze actief leerden in de klas. Daarnaast gaven studenten aan zich meer betrokken en gemotiveerd te voelen. De AI-tutor was in deze studie specifiek ontworpen volgens bewezen didactische principes, zoals stapsgewijze begeleiding, directe feedback en hield rekening met cognitive load. Maar wat betekenen deze resultaten nu precies? En hoe werd de studie precies opgezet?

In deze studie ondergingen studenten beide condities, de AI-tutor én de actieve les,  maar dan in twee opeenvolgende weken. Dit zogenoemde crossover-design zorgt ervoor dat elke student beide condities. Voor en na elke les maakten de studenten toetsen in om de leerwinst te meten. Hoewel beide groepen dezelfde leerstof kregen aangeboden, zat het verschil 'm in de uitvoering: de AI-tutor bood individuele, stapsgewijze begeleiding met directe feedback, terwijl de actieve les draaide om samenwerking aan opdrachten in een klassikale setting. Maar wat zegt dit nu eigenlijk over de echte verschillen tussen deze twee onderwijsvormen?

De resultaten uit deze studie zijn duidelijk: wanneer studenten met de AI-tutor werkten, behaalden ze significant hogere scores op de posttests dan wanneer ze actief leerden in de klas. Met een effectgrootte variërend van 0.73 tot 1.3 standaarddeviaties, laat de studie zien dat de AI-tutor niet alleen beter presteerde dan actief leren, maar dit ook deed in beduidend minder tijd. Ruim 70% van de studenten voltooide de les in minder dan een uur, terwijl de actieve les een vaste 60 minuten in beslag nam. Ook op het gebied van betrokkenheid en motivatie scoorden hoger wanneer ze werkten met de AI-tutor. 

Resultaten van de studie voor posttest scores.

Deze studie is indrukwekkend op papier, maar er zitten toch een paar haken en ogen aan. Ten eerste:Wat wordt er nu precies vergeleken in deze studie? Een zelfstandige, individuele leeromgeving  met stapsgewijze begeleiding, directe feedback en adaptief tempo met een klassikale setting waarin samenwerking en opdrachten centraal staan. Met andere woorden: de auteurs vergelijken tutoring-achtige instructie (een methode waarvan al decennialang bekend is dat ze effectief is) met een klassieke versie van actief leren. Kun je dan zeggen dat AI beter werkt? Of had je dan AI-tutoring moeten vergelijken met tutoring van een docent of een oudere student? Of met een Intelligent Tutoring System?

Ten tweede: het novelty effect. Studenten waren meer betrokken en gemotiveerd. Maar dit was wellicht omdat ze met een nieuwe, hippe tool werkten. Maar hoe lang blijft dat effect bestaan? Zonder herhaalde blootstelling of langdurig gebruik weten we niet of die motivatie en betrokkenheid blijven bestaan als de nieuwigheid eraf is. 

Ten derde: tijdsbesparing betekent niet automatisch dieper leren. Studenten leerden meer in minder tijd, maar dat zegt niets over of ze de stof echt begrepen of alleen maar snel oppikten. De toetsen die de studenten maakten richtten zich volgens de auteurs op "the understanding, applying, and analyzing levels of Bloom’s Taxonomy". Mogelijk matchte dit minder goed met de opzet van de opzet en opdrachten in de actief leren-lessen, die mogelijk beter aansluiten bij de hogere niveau's van de taxonomie.

Kortom: AI is geen magie. Het werkt alleen wanneer het goed ontworpen is. Als je dezelfde principes (stapsgewijze begeleiding, directe feedback, adaptief tempo) in de klas of in een face-to-face situatie toepast, zou het resultaat vergelijkbaar kunnen zijn. En dan is er nog iets wat de auteurs helemaal vergeten te noemen: de prijs van veel directe feedback die de AI-tutor je kan geven. Het is al lang bekend uit de literatuur over Intelligent Tutoring Systems (ITS) dat directe feedback efficiënt kan zijn, maar dat het studenten ook kan belemmeren in het zelf ontdekken en corrigeren van hun eigen fouten. Schooler en Anderson waarschuwden hier in de jaren '90 al voor. Studenten die direct feedback krijgen, leren misschien sneller, maar ze leren óók minder zelfstandig. Ze leren bijvoorbeeld minder goed zelf fouten ontdekken en deze fouten corrigeren.