Het gevaar van AI: Gaan studenten er te veel op leunen in plaats van ervan te leren?

AI-ondersteunde leertechnologieën, zoals ChatGPT en writing assistants, worden meer ingezet in het onderwijs en bieden verschillende voordelen, zoals gepersonaliseerde feedback en adaptieve instructie. Maar hoe beïnvloeden deze technologieën de agency van studenten, hun vermogen om hun eigen leerervaringen vorm te geven en verantwoorde beslissingen te nemen? Een recente studie van Darvishi et al. (2023) onderzocht deze vraag in de context van peer feedback.

Aan hun onderzoek deden 1625 studenten in 10 cursussen mee die werkten met een adaptief onderwijssysteem dat AI gebruikt om de kwaliteit van peer feedback te controleren en te verbeteren. De eerste vier weken kregen alle studenten AI-prompts die verbeteringen in hun feedback voorstelden als deze te kort of te algemeen was of leek op hun eerdere opmerkingen. De volgende vier weken werden de studenten willekeurig ingedeeld in een van de volgende vier groepen: een controlegroep die AI-prompts bleef ontvangen, een groep die geen prompts ontving, een groep die checklists voor zelfcontrole ontving in plaats van AI-prompts, en een groep die zowel AI-prompts als checklists voor zelfcontrole ontving.

De resultaten van het onderzoek toonden aan dat studenten eerder vertrouwden op, dan leerden van AI-hulp. Toen AI-prompts werden verwijderd, nam de kwaliteit van de feedback van studenten aanzienlijk af, wat erop wijst dat ze niet de vaardigheden of gewoonten ontwikkelden om zelfstandig effectieve feedback te geven. Checklists voor zelfcontrole, konden het gat dat was ontstaan door AI-hulp gedeeltelijk opvullen, maar waren niet zo effectief als AI-prompts. Bovendien resulteerde de combinatie van AI-prompts en zelfcontrolerende checklists niet in een betere kwaliteit feedback dan AI-prompts alleen.

Het onderzoek roept belangrijke vragen op over de impact van kunstmatige intelligentie op de agency van studenten. Hoewel AI studenten op verschillende manieren kan ondersteunen, kan het ook hun ontwikkeling van agency en zelfregulatievaardigheden beperken.

Het abstract

AI-powered learning technologies are increasingly being used to automate and scaffold learning activities (e.g., personalised reminders for completing tasks, automated real-time feedback for improving writing, or recommendations for when and what to study). While the prevailing view is that these technologies generally have a positive effect on student learning, their impact on students’ agency and ability to self-regulate their learning is under-explored. Do students learn from the regular, detailed and personalised feedback provided by AI systems, and will they continue to exhibit similar behaviour in the absence of assistance? Or do they instead continue to rely on AI assistance without learning from it? To contribute to filling this research gap, we conducted a randomised controlled experiment that explored the impact of AI assistance on student agency in the context of peer feedback. With 1625 students across 10 courses, an experiment was conducted using peer review. During the initial four-week period, students were guided by AI features that utilised techniques such as rule-based suggestion detection, semantic similarity, and comparison with previous comments made by the reviewer to enhance their submissions if the feedback provided was deemed insufficiently detailed or general in nature. Over the following four weeks, students were divided into four different groups: control (AI) received prompts, (NR) received no prompts, (SR) received self-monitoring checklists in place of AI prompts, and (SAI) had access to both AI prompts and self-monitoring checklists. Results of the experiment suggest that students tended to rely on rather than learn from AI assistance. If AI assistance was removed, self-regulated strategies could help in filling in the gap but were not as effective as AI assistance. Results also showed that hybrid human-AI approaches that complement AI assistance with self-regulated strategies (SAI) were not more effective than AI assistance on its own. We conclude by discussing the broader benefits, challenges and implications of relying on AI assistance in relation to student agency in a world where we learn, live and work with AI.

Is feedback van ChatGPT op geschreven teksten beter dan feedback van leerkrachten?

Mark Warschauer, hoogleraar aan University of California, Irvine, deelde vandaag een pre-print van een interessante studie waarin feedback werd gegeven door een getrainde leerkracht of door ChatGPT op teksten die door leerlingen waren geschreven. 

Dit is de prompt die de onderzoekers gebruikten voor ChatGPT: “Pretend you are a secondary school teacher. Provide 2-3 pieces of specific, actionable feedback on each of the following essays...that highlight what the student has done well and what they could improve on. Use a friendly and encouraging tone. If needed, provide examples of how the student could improve the essay.”

Hun studie laat zien dat feedback van de getrainde leerkrachten op vier van de vijf door de onderzoekers gebruikte kwaliteitscriteria beter scoort dan de feedback van ChatGPT. Warschauer en zijn team concluderen ook dat de verschillen in kwaliteit van de feedback opvallend klein zijn.

Warschauer en zijn collega’s concluderen op basis van hun bevindingen dat ChatGPT (nog) geen vervanging is voor feedback van een leerkracht, maar dat leerlingen ChatGPT zouden kunnen gebruiken als aanvulling op feedback van een leerkracht.

Het abstract:

Offering students formative feedback on drafts of their writing is an effective way to facilitate writing development. This study examined the ability of generative AI (i.e., ChatGPT) to provide formative feedback on students’ compositions. We compared the quality of human and AI feedback by scoring the feedback each provided on secondary student essays (n=200) on five measures of feedback quality: the degree to which feedback (a) was criteria-based, (b) provided clear directions for improvement, (c) was accurate, (d) prioritized essential features, and (e) used a supportive tone. We examined whether ChatGPT and human evaluators provided feedback that differed in quality for native English speakers and English learners and for compositions that differed in overall quality. Results showed that human raters were better at providing high-quality feedback to students in all categories other than criteria-based. Considering the ease of generating feedback through ChatGPT and its overall quality, practical differences between humans and ChatGPT were not substantial. Feedback did not vary by language status for humans or AI, but AI and humans showed differences in feedback based on essay quality. Implications for generative AI as an educational tool are discussed.

Een betere schrijver worden door writing assistants?

Terwijl de halve onderwijswereld momenteel het hoofd breekt over de kansen en bedreigingen van ChatGTP is de opmars van AI in het onderwijs uiteraard al langer aan de gang. Zo maken docenten en studenten steeds vaker gebruik van writing assistants zoals Grammarly en Pigai. Deze assistants maken gebruik van onder andere natural language processing om fouten in teksten te identificeren en feedback of tips over je schrijfsels te genereren. Een nieuwe meta-analyse onderzocht de effectiviteit van writing assistants. De resultaten van deze meta-analyse laten zien dat het gebruiken van zulke writing assistants inderdaad ertoe leidt dat studenten betere teksten gaan schrijven.

Het abstract

Automated writing evaluation (AWE) has been frequently used to provide feedback on student writing. Many empirical studies have examined the effectiveness of AWE on writing quality, but the results were inconclusive. Thus, the magnitude of AWE’s overall effect and factors influencing its effectiveness across studies remained unclear. This study re-examined the issue by meta-analyzing the results of 26 primary studies with a total of 2468 participants from 2010 to 2022. The results revealed that AWE had a large positive overall effect on writing quality (g = 0.861, p < 0.001). Further moderator analyses indicated that AWE was more effective for post-secondary students than for secondary students and had more benefits for English as a Foreign Language (EFL) and English as a Second Language (ESL) learners than for Native English Speaker (NES) learners. When the genre of writing was considered, AWE showed a more significant impact on argumentative writing than on academic and mixed writing genres. However, intervention duration, feedback combination, and AWE platform did not moderate the effect of AWE on writing quality. The implications and recommendations for both research and practice are discussed in depth.