Een recente studie van de Universiteit van Aarhus onderzoch hoe generatieve AI (GenAI) de prestaties van studenten beïnvloedt tijdens het oplossen complexe. slecht omschreven problemen. Een slecht omschreven probleem is een taak waarbij het doel niet altijd duidelijk is en waarvoor geen eenduidige oplossing is.
Aan de studie deden 141 studenten mee. De studie onderzocht de impact van GenAI op de prestaties van deze studenten tijdens een business case-examen met daarin diverse slecht omschreven problemen. Studenten werden willekeurig ingedeeld in een controlegroep en een groep met toegang tot GenAI (ChatGPT-4).
Studenten in de controlegroep (zonder GenAI) bleven presteren zoals verwacht: studenten die bij de start onderpresteerden, bleven achter, terwijl studenten die bovengemiddeld scoorden, hun prestaties konden behouden.
De resultaten in de experimentele groep (met GenAI) toonden echter een opvallend patroon: studenten die bij de start onderpresteerden (een score van 5 of lager op de eerste taak) verbeterden hun scores significant wanneer ze met GenAI mochten werken. Daarentegen zagen studenten die bij de start bovengemiddeld scoorden, hun scores juist dalen.
De onderzoekers constateren dat door het gebruik van GenAI de verschillen tussen boven- en onderpresteerders sterk verkleind worden: beide groepen komen uit op een vergelijkbaar niveau. Dit wordt door de onderzoekers verklaard door wat zij cognitieve belasting inversie noemen: onderpresteerders ervoeren minder cognitieve belasting omdat GenAI complexe taken voor hen overnam, terwijl bovenpresteerders juist werden gehinderd door de omvangrijke en plausibel klinkende output van de chatbot. De tijdsdruk van de toets maakte het voor studenten bovendien onmogelijk om de GenAI-output goed te evalueren of te integreren in hun eigen antwoorden. De onderzoekers vergelijken hun bevinding met het bekende expertise reversal effect (de bevinding dat beginners baat hebben bij ondersteuning, terwijl het contraproductief kan zijn voor experts).\
We zien hier dus een paradox: technologie die bedoeld is om te helpen of je leerproces te ondersteunen, kan zo maar een obstakel worden. En waar die obstakels vaak het grootst zijn voor de meest kwetsbare studenten, zien we hier een voorbeeld hoe technologie, in de vorm van GenAI, juist de best presterende studenten kan hinderen in hun leerproces.
Het abstract:
This study investigates how generative AI (GenAI) access impacts student performance in ill-defined, time-pressured business school exams. Through an embedded mixed-methods design combining an experimental study with qualitative interviews, we identify an equalizing effect: low performers improve while high performers decline, resulting in performance convergence. Our qualitative analysis reveals the mechanism driving this convergence—GenAI-induced cognitive load inversion. Low performers experience cognitive load relief by copying chatbot output, thus bypassing the analytical work the task requires. High performers experience cognitive load amplification, struggling to process voluminous output under time pressure, disrupting their analytical processes. We argue that task structure shapes GenAI’s effects in time-constrained situations: the ill-defined nature of our task elicits different cognitive challenges compared to well-defined tasks of prior research, helping reconcile mixed findings on GenAI’s democratizing effects. Furthermore, the findings reveal how traditional assessments fail when GenAI masks performance differences.
