Een nieuwe RCT naar AI in het onderwijs: AI-tutoring verslaat actief leren, of toch niet?

Onderzoekers van Harvard voerden een randomized controled trial uit met 194 studenten om te onderzoeken of een AI-tutor studenten beter kan laten leren dan actief leren in de klas. De resultaten toonden aan dat wanneer studenten werkten met een AI-tutor zij significant hogere scores behaalden op de posttests, terwijl ze er minder tijd besteedden aan studeren dan wanneer ze actief leerden in de klas. Daarnaast gaven studenten aan zich meer betrokken en gemotiveerd te voelen. De AI-tutor was in deze studie specifiek ontworpen volgens bewezen didactische principes, zoals stapsgewijze begeleiding, directe feedback en hield rekening met cognitive load. Maar wat betekenen deze resultaten nu precies? En hoe werd de studie precies opgezet?

In deze studie ondergingen studenten beide condities, de AI-tutor én de actieve les,  maar dan in twee opeenvolgende weken. Dit zogenoemde crossover-design zorgt ervoor dat elke student beide condities. Voor en na elke les maakten de studenten toetsen in om de leerwinst te meten. Hoewel beide groepen dezelfde leerstof kregen aangeboden, zat het verschil 'm in de uitvoering: de AI-tutor bood individuele, stapsgewijze begeleiding met directe feedback, terwijl de actieve les draaide om samenwerking aan opdrachten in een klassikale setting. Maar wat zegt dit nu eigenlijk over de echte verschillen tussen deze twee onderwijsvormen?

De resultaten uit deze studie zijn duidelijk: wanneer studenten met de AI-tutor werkten, behaalden ze significant hogere scores op de posttests dan wanneer ze actief leerden in de klas. Met een effectgrootte variërend van 0.73 tot 1.3 standaarddeviaties, laat de studie zien dat de AI-tutor niet alleen beter presteerde dan actief leren, maar dit ook deed in beduidend minder tijd. Ruim 70% van de studenten voltooide de les in minder dan een uur, terwijl de actieve les een vaste 60 minuten in beslag nam. Ook op het gebied van betrokkenheid en motivatie scoorden hoger wanneer ze werkten met de AI-tutor. 

Resultaten van de studie voor posttest scores.

Deze studie is indrukwekkend op papier, maar er zitten toch een paar haken en ogen aan. Ten eerste:Wat wordt er nu precies vergeleken in deze studie? Een zelfstandige, individuele leeromgeving  met stapsgewijze begeleiding, directe feedback en adaptief tempo met een klassikale setting waarin samenwerking en opdrachten centraal staan. Met andere woorden: de auteurs vergelijken tutoring-achtige instructie (een methode waarvan al decennialang bekend is dat ze effectief is) met een klassieke versie van actief leren. Kun je dan zeggen dat AI beter werkt? Of had je dan AI-tutoring moeten vergelijken met tutoring van een docent of een oudere student? Of met een Intelligent Tutoring System?

Ten tweede: het novelty effect. Studenten waren meer betrokken en gemotiveerd. Maar dit was wellicht omdat ze met een nieuwe, hippe tool werkten. Maar hoe lang blijft dat effect bestaan? Zonder herhaalde blootstelling of langdurig gebruik weten we niet of die motivatie en betrokkenheid blijven bestaan als de nieuwigheid eraf is. 

Ten derde: tijdsbesparing betekent niet automatisch dieper leren. Studenten leerden meer in minder tijd, maar dat zegt niets over of ze de stof echt begrepen of alleen maar snel oppikten. De toetsen die de studenten maakten richtten zich volgens de auteurs op "the understanding, applying, and analyzing levels of Bloom’s Taxonomy". Mogelijk matchte dit minder goed met de opzet van de opzet en opdrachten in de actief leren-lessen, die mogelijk beter aansluiten bij de hogere niveau's van de taxonomie.

Kortom: AI is geen magie. Het werkt alleen wanneer het goed ontworpen is. Als je dezelfde principes (stapsgewijze begeleiding, directe feedback, adaptief tempo) in de klas of in een face-to-face situatie toepast, zou het resultaat vergelijkbaar kunnen zijn. En dan is er nog iets wat de auteurs helemaal vergeten te noemen: de prijs van veel directe feedback die de AI-tutor je kan geven. Het is al lang bekend uit de literatuur over Intelligent Tutoring Systems (ITS) dat directe feedback efficiënt kan zijn, maar dat het studenten ook kan belemmeren in het zelf ontdekken en corrigeren van hun eigen fouten. Schooler en Anderson waarschuwden hier in de jaren '90 al voor. Studenten die direct feedback krijgen, leren misschien sneller, maar ze leren óók minder zelfstandig. Ze leren bijvoorbeeld minder goed zelf fouten ontdekken en deze fouten corrigeren.

Leren van fouten: Nieuwe studie laat zien wanneer fouten leerzaam kunnen zijn

Fouten maken is onvermijdelijk bij leren, maar hoe kunnen we onze leerlingen helpen om van hun fouten te leren? Dankzij Martijn Leensen ontdekte ik een nieuwe studie van Metcalfe en collega's (2024) die enig licht werpt op deze vraag. De onderzoekers vergeleken twee onderwijsstrategieën om leerlingen voor te bereiden op een high-stakes algebra toets: expliciete instructie (EI) en leren van fouten (LFE).

In de EI-lessen onderwezen docenten de stof gedurende acht lessen volgens hun gebruikelijke methoden. In de LFE-lessen gaven docenten leerlingen minitoetsen in vier lessen en gebruikten ze de volgende vier lessen om feedback te geven op de fouten van de leerlingen. Deze feedbacklessen waren gericht op het beter begrijpen van de rgemaakte fouten en hoe ze in de toekomst konden worden vermeden.

De resultaten toonden aan dat beide onderwijsstrategieën de prestaties van de leerlingen op de eindtoets verbeterden, maar dat de LFE-lessen per lesuur meer leerde dan de EI-lessen. Dit voordeel was echter niet gelijk bij alle leerkrachten. De onderzoekers ontdekten dat de meest effectieve leerkrachten in de LFE-conditie degenen waren die de leerlingen interactief betrokken bij het onderzoeken van hun fouten, in plaats van hen de juiste oplossingen voor te houden.

Dit onderzoek suggereert dat het maken fouten een krachtige bron van leren kunnen zijn, maar alleen als ze op een bepaalde manier worden behandeld: In plaats van fouten te corrigeren, is het belangijk om leerlingen te helpen hun fouten te analyseren en erover na te denken, en hen betrekken bij het proces om de juiste antwoorden te vinden en toe te passen. Op deze manier kunnen leerkrachten fouten omzetten in kansen voor dieper begrip en blijvende verbetering.

Het abstract

Background

Although the generation of errors has been thought, traditionally, to impair learning, recent studies indicate that, under particular feedback conditions, the commission of errors may have a beneficial effect.

Aims

This study investigates the teaching strategies that facilitate learning from errors.

Materials and Methods

This 2-year study, involving two cohorts of ~88 students each, contrasted a learning-from-errors (LFE) with an explicit instruction (EI) teaching strategy in a multi-session implementation directed at improving student performance on the high-stakes New York State Algebra 1 Regents examination. In the LFE condition, instead of receiving instruction on 4 sessions, students took mini-tests. Their errors were isolated to become the focus of 4 teacher-guided feedback sessions. In the EI condition, teachers explicitly taught the mathematical material for all 8 sessions.

Results

Teacher time-on in the LFE condition produced a higher rate of learning than did teacher time-on in the EI condition. The learning benefit in the LFE condition was, however, inconsistent across teachers. Second-by-second analyses of classroom activities, directed at isolating learning-relevant differences in teaching style revealed that a highly interactive mode of engaging the students in understanding their errors was more conducive to learning than was teaching directed at getting to the correct solution, either by lecturing about corrections or by interaction focused on corrections.

Conclusion

These results indicate that engaging the students interactively to focus on errors, and the reasons for them, facilitates productive failure and learning from errors.

Is feedback van ChatGPT op geschreven teksten beter dan feedback van leerkrachten?

Mark Warschauer, hoogleraar aan University of California, Irvine, deelde vandaag een pre-print van een interessante studie waarin feedback werd gegeven door een getrainde leerkracht of door ChatGPT op teksten die door leerlingen waren geschreven. 

Dit is de prompt die de onderzoekers gebruikten voor ChatGPT: “Pretend you are a secondary school teacher. Provide 2-3 pieces of specific, actionable feedback on each of the following essays...that highlight what the student has done well and what they could improve on. Use a friendly and encouraging tone. If needed, provide examples of how the student could improve the essay.”

Hun studie laat zien dat feedback van de getrainde leerkrachten op vier van de vijf door de onderzoekers gebruikte kwaliteitscriteria beter scoort dan de feedback van ChatGPT. Warschauer en zijn team concluderen ook dat de verschillen in kwaliteit van de feedback opvallend klein zijn.

Warschauer en zijn collega’s concluderen op basis van hun bevindingen dat ChatGPT (nog) geen vervanging is voor feedback van een leerkracht, maar dat leerlingen ChatGPT zouden kunnen gebruiken als aanvulling op feedback van een leerkracht.

Het abstract:

Offering students formative feedback on drafts of their writing is an effective way to facilitate writing development. This study examined the ability of generative AI (i.e., ChatGPT) to provide formative feedback on students’ compositions. We compared the quality of human and AI feedback by scoring the feedback each provided on secondary student essays (n=200) on five measures of feedback quality: the degree to which feedback (a) was criteria-based, (b) provided clear directions for improvement, (c) was accurate, (d) prioritized essential features, and (e) used a supportive tone. We examined whether ChatGPT and human evaluators provided feedback that differed in quality for native English speakers and English learners and for compositions that differed in overall quality. Results showed that human raters were better at providing high-quality feedback to students in all categories other than criteria-based. Considering the ease of generating feedback through ChatGPT and its overall quality, practical differences between humans and ChatGPT were not substantial. Feedback did not vary by language status for humans or AI, but AI and humans showed differences in feedback based on essay quality. Implications for generative AI as an educational tool are discussed.

Een betere schrijver worden door writing assistants?

Terwijl de halve onderwijswereld momenteel het hoofd breekt over de kansen en bedreigingen van ChatGTP is de opmars van AI in het onderwijs uiteraard al langer aan de gang. Zo maken docenten en studenten steeds vaker gebruik van writing assistants zoals Grammarly en Pigai. Deze assistants maken gebruik van onder andere natural language processing om fouten in teksten te identificeren en feedback of tips over je schrijfsels te genereren. Een nieuwe meta-analyse onderzocht de effectiviteit van writing assistants. De resultaten van deze meta-analyse laten zien dat het gebruiken van zulke writing assistants inderdaad ertoe leidt dat studenten betere teksten gaan schrijven.

Het abstract

Automated writing evaluation (AWE) has been frequently used to provide feedback on student writing. Many empirical studies have examined the effectiveness of AWE on writing quality, but the results were inconclusive. Thus, the magnitude of AWE’s overall effect and factors influencing its effectiveness across studies remained unclear. This study re-examined the issue by meta-analyzing the results of 26 primary studies with a total of 2468 participants from 2010 to 2022. The results revealed that AWE had a large positive overall effect on writing quality (g = 0.861, p < 0.001). Further moderator analyses indicated that AWE was more effective for post-secondary students than for secondary students and had more benefits for English as a Foreign Language (EFL) and English as a Second Language (ESL) learners than for Native English Speaker (NES) learners. When the genre of writing was considered, AWE showed a more significant impact on argumentative writing than on academic and mixed writing genres. However, intervention duration, feedback combination, and AWE platform did not moderate the effect of AWE on writing quality. The implications and recommendations for both research and practice are discussed in depth.

Je eigen feedback genereren met rubrics en voorbeelden?

Kunnen leerlingen hun eigen feedback genereren en daarmee hun schrijfprestaties verbeteren? Deze vraag staat centaal in een nieuwe studie van Lipnevich, Panadero en Calistro. In deze studie onderzochten de onderzoekers de effecten van rubrics en exemplars (voorbeelden) op schrijfprestaties van leerlingen in het voortgezet onderwijs door deze leerlingen te vragen deze hulpmiddelen te gebruiken om hun eigen feedback te maken. Uit het onderzoek bleek dat leerlingen in de condities met rubrics en exemplars het meest profiteerden en dat hun prestaties verbeterden na een training over het gebruik van deze hulpmiddelen. De onderzoekers concludeerden dat het loont om leerlingen aan te moedigen om rubrics en voorbeelden te gebruiken om zelf feedback te genereren. Dit kan hun prestaties kan helpen verbeteren en kan ook de werklast voor leraren kan verminderen.

Het abstract

Teachers across educational systems struggle to find time to provide quality feedback to their students. Asking students to create their own feedback has been shown to enhance students’ performance. In this experimental study, we explored the effects of rubrics and exemplars on writing performance, encouraging students to employ these tools for self-feedback generation. Two hundred six 9th- and 10th-grade students participated. Students were asked to write an essay and revise it based on the information provided to them under four conditions: control, rubrics, exemplars, and combined condition (rubrics and exemplars). After submitting the revised version of their essay, students in experimental conditions were trained on how to use rubrics and/or exemplars. Students were then asked to write another essay and revise it based on the information consistent with their experimental group membership (i.e., control, rubric, exemplars, combined). We found that students in the rubrics condition benefited the most, closely followed by students in the exemplars condition, and then the combined condition. The performance across conditions was somewhat variable for the three performance outcomes. Furthermore, the improvement in the usage of the tools following the training session was the highest for the exemplars condition. We conclude that teachers can encourage students to use both rubrics and exemplars to generate self-feedback and improve performance. This way, teachers’ workload can be significantly decreased.

Impact statement

This study suggests that high school students can effectively use rubrics and exemplars to self-assess, generate self-feedback, and revise their essays based on it. That is, rubrics and exemplars have a potential to both enhance self-feedback that leads to higher performance and to increase teachers’ efficient use of time. 

 Lipnevich, A. A., Panadero, E., & Calistro, T. (2022). Unraveling the effects of rubrics and exemplars on student writing performance. Journal of Experimental Psychology: Applied. Advance online publication. https://dx.doi.org/10.1037/xap0000434