Presteren goede studenten slechter door AI?

Een recente studie van de Universiteit van Aarhus onderzoch hoe generatieve AI (GenAI) de prestaties van studenten beïnvloedt tijdens het oplossen complexe. slecht omschreven problemen. Een slecht omschreven probleem is een taak waarbij het doel niet altijd duidelijk is en waarvoor geen eenduidige oplossing is. 

Aan de studie deden 141 studenten mee. De studie onderzocht de impact van GenAI op de prestaties van deze studenten tijdens een business case-examen  met daarin diverse slecht omschreven problemen. Studenten werden willekeurig ingedeeld in een controlegroep en een groep met toegang tot GenAI (ChatGPT-4). 

Studenten in de controlegroep (zonder GenAI) bleven presteren zoals verwacht: studenten die bij de start onderpresteerden, bleven achter, terwijl studenten die bovengemiddeld scoorden, hun prestaties konden behouden. 

De resultaten in de experimentele groep (met GenAI) toonden echter een opvallend patroon: studenten die bij de start onderpresteerden (een score van 5 of lager op de eerste taak) verbeterden hun scores significant wanneer ze met GenAI mochten werken. Daarentegen zagen studenten die bij de start bovengemiddeld scoorden, hun scores juist dalen.

De onderzoekers constateren dat door het gebruik van GenAI de verschillen tussen boven- en onderpresteerders sterk verkleind worden: beide groepen komen uit op een vergelijkbaar niveau. Dit wordt door de onderzoekers verklaard door wat zij cognitieve belasting inversie noemen: onderpresteerders ervoeren minder cognitieve belasting omdat GenAI complexe taken voor hen overnam, terwijl bovenpresteerders juist werden gehinderd door de omvangrijke en plausibel klinkende output van de chatbot. De tijdsdruk van de toets maakte het voor studenten bovendien onmogelijk om de GenAI-output goed te evalueren of te integreren in hun eigen antwoorden. De onderzoekers vergelijken hun bevinding met het bekende expertise reversal effect (de bevinding dat beginners baat hebben bij ondersteuning, terwijl het contraproductief kan zijn voor experts).\

We zien hier dus een paradox: technologie die bedoeld is om te helpen of je leerproces te ondersteunen, kan zo maar een obstakel worden. En waar die obstakels vaak het grootst zijn voor de meest kwetsbare studenten, zien we hier een voorbeeld hoe technologie, in de vorm van GenAI, juist de best presterende studenten kan hinderen in hun leerproces.

Het abstract:

This study investigates how generative AI (GenAI) access impacts student performance in ill-defined, time-pressured business school exams. Through an embedded mixed-methods design combining an experimental study with qualitative interviews, we identify an equalizing effect: low performers improve while high performers decline, resulting in performance convergence. Our qualitative analysis reveals the mechanism driving this convergence—GenAI-induced cognitive load inversion. Low performers experience cognitive load relief by copying chatbot output, thus bypassing the analytical work the task requires. High performers experience cognitive load amplification, struggling to process voluminous output under time pressure, disrupting their analytical processes. We argue that task structure shapes GenAI’s effects in time-constrained situations: the ill-defined nature of our task elicits different cognitive challenges compared to well-defined tasks of prior research, helping reconcile mixed findings on GenAI’s democratizing effects. Furthermore, the findings reveal how traditional assessments fail when GenAI masks performance differences.

Goal-setting prompts helpen studenten het leren te spreiden

De effecten van spaced practice zijn goed gedocumenteerd. Toch lukt het studenten niet altijd om deze strategie te volgen: zij stellen het studeerwerk uit tot vlak voor de toets. In een recent experiment dat onlangs verscheen in Economics of Education Review beschrijven Amann en Rzepka een experiment waarbij studenten in de experimentele groep regelmatig een prompt (zie afbeelding) ontvingen om zichzelf een doel te stellen een aantal oefeningen te maken ter voorbereiding op een quiz die meetelt voor hun eindcijfer. De resultaten laten zien dat het regelmatig aanbieden van prompts ervoor zorgt dat studenten meer oefeningen gaan maken en meer tijd doorbrengen in de elektronische leeromgeving van de cursus. Dit heeft als resultaat dat studenten in de experimentele groep ook hogere tentamencijfers halen. 

Het abstract

Previous literature has shown that task-based goal-setting and distributed learning is beneficial to university-level course performance. We investigate the effects of making these insights salient to students by sending out goal-setting prompts in a blended learning environment with bi-weekly quizzes. The randomized field experiment in a large mandatory economics course shows promising results: the treated students outperform the control group. They are 18.8% (0.20 SD) more likely to pass the exam and earn 6.7% (0.19 SD) more points on the exam. While we cannot causally disentangle the effects of goal-setting from the prompt sent, we observe that treated students use the online learning platform earlier in the semester and attempt more online exercises compared to the control group. The heterogeneity analysis suggests that higher treatment effects are associated with low performance at the beginning of the course.

Nudging als middel om studiegedrag en -prestaties van studenten te verbeteren

Nudging is het gebruik van beïnvloedingstechnieken om mensen te helpen bepaald gedrag te vertonen. Een recente studie van Weijers et al. onderzoekt de effectiviteit van nudges die studenten aanmoedigen om zelf-gereguleerd gedrag te vertonen. Er zijn drie verschillende soorten nudging gebruikt in dit onderzoek. Deze nudges stimuleerden studenten om het studeren te plannen, voorbereid naar de les te komen of om vragen te stellen tijdens de les. In drie experimenten zijn de effecten van deze nudges onderzocht. De resultaten laten zien dat vooral de nudge die bedoeld was om studenten vragen te laten stellen tijdens de les effectief was. Studenten gingen inderdaad meer vragen stellen en haalden daarbij ook hogere cijfers. De resultaten suggereren dat nudging een effectief middel kan zijn om gedragsverandering te bewerkstelligen bij studenten, maar dat de effectiviteit kan variëren afhankelijk van het type gedrag dat wordt beïnvloed en de manier waarop deze verandering wordt gestimuleerd. 

Het abstract

Autonomous learning behavior is an important skill for students, but they often do not master it sufficiently. We investigated the potential of nudging as a teaching strategy in tertiary education to support three important autonomous learning behaviors: planning, preparing for class, and asking questions. Nudging is a strategy originating from behavioral economics used to influence behavior by changing the environment, and consists of altering the choice environment to steer human behavior. In this study, three nudges were designed by researchers in co-creation with teachers. A video booth to support planning behavior (n = 95), a checklist to support class preparation (n = 148), and a goal-setting nudge to encourage students to ask questions during class (n = 162) were tested in three field experiments in teachers’ classrooms with students in tertiary education in the Netherlands. A mixed-effects model approach revealed a positive effect of the goal-setting nudge on students’ grades and a marginal positive effect on the number of questions asked by students. Additionally, evidence for increased self-reported planning behavior was found in the video booth group—but no increase in deadlines met. No significant effects were found for the checklist. We conclude that, for some autonomous learning behaviors, primarily asking questions, nudging has potential as an easy, effective teaching strategy.