Het gevaar van AI: Gaan studenten er te veel op leunen in plaats van ervan te leren?

AI-ondersteunde leertechnologieën, zoals ChatGPT en writing assistants, worden meer ingezet in het onderwijs en bieden verschillende voordelen, zoals gepersonaliseerde feedback en adaptieve instructie. Maar hoe beïnvloeden deze technologieën de agency van studenten, hun vermogen om hun eigen leerervaringen vorm te geven en verantwoorde beslissingen te nemen? Een recente studie van Darvishi et al. (2023) onderzocht deze vraag in de context van peer feedback.

Aan hun onderzoek deden 1625 studenten in 10 cursussen mee die werkten met een adaptief onderwijssysteem dat AI gebruikt om de kwaliteit van peer feedback te controleren en te verbeteren. De eerste vier weken kregen alle studenten AI-prompts die verbeteringen in hun feedback voorstelden als deze te kort of te algemeen was of leek op hun eerdere opmerkingen. De volgende vier weken werden de studenten willekeurig ingedeeld in een van de volgende vier groepen: een controlegroep die AI-prompts bleef ontvangen, een groep die geen prompts ontving, een groep die checklists voor zelfcontrole ontving in plaats van AI-prompts, en een groep die zowel AI-prompts als checklists voor zelfcontrole ontving.

De resultaten van het onderzoek toonden aan dat studenten eerder vertrouwden op, dan leerden van AI-hulp. Toen AI-prompts werden verwijderd, nam de kwaliteit van de feedback van studenten aanzienlijk af, wat erop wijst dat ze niet de vaardigheden of gewoonten ontwikkelden om zelfstandig effectieve feedback te geven. Checklists voor zelfcontrole, konden het gat dat was ontstaan door AI-hulp gedeeltelijk opvullen, maar waren niet zo effectief als AI-prompts. Bovendien resulteerde de combinatie van AI-prompts en zelfcontrolerende checklists niet in een betere kwaliteit feedback dan AI-prompts alleen.

Het onderzoek roept belangrijke vragen op over de impact van kunstmatige intelligentie op de agency van studenten. Hoewel AI studenten op verschillende manieren kan ondersteunen, kan het ook hun ontwikkeling van agency en zelfregulatievaardigheden beperken.

Het abstract

AI-powered learning technologies are increasingly being used to automate and scaffold learning activities (e.g., personalised reminders for completing tasks, automated real-time feedback for improving writing, or recommendations for when and what to study). While the prevailing view is that these technologies generally have a positive effect on student learning, their impact on students’ agency and ability to self-regulate their learning is under-explored. Do students learn from the regular, detailed and personalised feedback provided by AI systems, and will they continue to exhibit similar behaviour in the absence of assistance? Or do they instead continue to rely on AI assistance without learning from it? To contribute to filling this research gap, we conducted a randomised controlled experiment that explored the impact of AI assistance on student agency in the context of peer feedback. With 1625 students across 10 courses, an experiment was conducted using peer review. During the initial four-week period, students were guided by AI features that utilised techniques such as rule-based suggestion detection, semantic similarity, and comparison with previous comments made by the reviewer to enhance their submissions if the feedback provided was deemed insufficiently detailed or general in nature. Over the following four weeks, students were divided into four different groups: control (AI) received prompts, (NR) received no prompts, (SR) received self-monitoring checklists in place of AI prompts, and (SAI) had access to both AI prompts and self-monitoring checklists. Results of the experiment suggest that students tended to rely on rather than learn from AI assistance. If AI assistance was removed, self-regulated strategies could help in filling in the gap but were not as effective as AI assistance. Results also showed that hybrid human-AI approaches that complement AI assistance with self-regulated strategies (SAI) were not more effective than AI assistance on its own. We conclude by discussing the broader benefits, challenges and implications of relying on AI assistance in relation to student agency in a world where we learn, live and work with AI.

Meta-analyse: Hoe accuraat zijn self-assessments van leerlingen?

Self-assessment is een belangrijke vaardigheid voor leerlingen. Bij zelfregulatie is self-assessment bijvoorbeeld belangrijk: het is een noodzakelijke, maar niet voldoende voorwaarde om het eigen leerproces goed te kunnen reguleren. Als je niet in staat bent om goed in te schatten of je wat je bestudeert goed begrijpt, dan is het onwaarschijnlijk dat je verstandige keuzes maakt in het vervolg van het studeren. Oftewel, het is van belang dat de self-assessments van leerlingen en studenten accuraat zijn. In een onlangs verschenen meta-analyse analyseren León, Panadero en García‐Martínez het beschikbare onderzoek naar de accuraatheid van self-assessments. Bovendien onderzochten zij of de self-assessments samenhangen met de beoordelingen van experts. De resultaten van de meta-analyse laten zien dat overall leerlingen zichzelf overschatten bij het uitvoeren van self-assessments: ze zijn positiever over hun prestaties dan is gerechtvaardigd. Wel is het zo dat de self-assessments van leerlingen redelijk correleren met de beoordelingen van experts. Interessant aan de meta-analyse is dat deze ook inzicht geeft in welke factoren zorgen voor hogere accuraatheid van self-assessment. Dat is het geval wanneer leerlingen feedback ontvangen, meer domeinkennis hebben, meer ervaring hebben met self-assessment, wanneer de self-assessment een formatief doel heeft en wanneer leerlingen jonger zijn.

Het abstract

Developing the ability to self-assess is a crucial skill for students, as it impacts their academic performance and learning strategies, amongst other areas. Most existing research in this field has concentrated on the exploration of the students’ capacity to accurately assign a score to their work that closely mirrors an expert’s evaluation, typically a teacher’s. Though this process is commonly referred to as self-assessment, a more precise term would be self-assessment scoring accuracy. Our aim is to review what is the average accuracy and what moderators might influence this accuracy. Following PRISMA recommendations, we reviewed 160 articles, including data from 29,352 participants. We analysed 9 factors as possible moderators: (1) assessment criteria; (2) use of rubric; (3) self-assessment experience; (4) feedback; (5) content knowledge; (6) incentive; (7) formative assessment; (8) field of knowledge; and (9) educational level. The results showed an overall effect of students’ overestimation (g = 0.206) with an average relationship of z = 0.472 between students’ estimation and the expert’s measure. The overestimation diminishes when students receive feedback, possess greater self-assessment experience and content knowledge, when the assessment does not have formative purposes, and in younger students (primary and secondary education). Importantly, the studies analysed exhibited significant heterogeneity and lacked crucial methodological information.

De kracht van de tomaat 🍅: Onderzoek naar de effecten van het nemen van systematische pauzes

Misschien heb je wel eens gehoord van de pomodorotechniek? Als je studeert of werkt aan een taak dan doe je dat volgens deze techniek in periodes van 25 minuten. Om de pomodorotechniek te gebruiken, heb je een timer, een to-do lijst en een manier om je voortgang bij te houden nodig. Dit zijn de stappen die je moet volgen:

1. Beslis aan welke taak je wilt werken. Het moet iets zijn dat je volledige aandacht vereist en kan worden opgedeeld in kleinere stappen.
2. Stel de timer in op 25 minuten en begin aan de taak te werken. Vermijd gedurende deze tijd onderbrekingen of afleidingen. Als er iets anders opkomt, schrijf het dan op en behandel het later.
3. Wanneer de timer gaat, stop dan met werken en markeer één pomodoro als voltooid. Noteer wat je hebt bereikt tijdens deze pauze.
4. Neem 5 minuten pauze en doe iets ontspannends, zoals stretchen, ademhalen of naar muziek luisteren. Kijk niet naar je e-mail of sociale media gedurende deze tijd.
5. Herhaal stap 2 tot 4 totdat je vier pomodoro’s op hebt. Neem dan een langere pauze van 15 tot 30 minuten en doe iets leukers, zoals lezen, een spelletje spelen of een wandeling maken.
6. Bekijk je werk en evalueer je prestaties. Hoeveel pomodoro’s heb je afgewerkt? Hoeveel vooruitgang boekte je met je taak? Hoe voelde je je tijdens het proces? Wat kan je de volgende keer verbeteren?

De pomodorotechniek is een systematische manier om je pauzes in te delen tijdens het studeren. In een recente studie uitgevoerd door onderzoekers van de Universiteit Maastricht werd onderzocht wat het effect is van het nemen van systematische pauzes versus het nemen zelfgereguleerde pauzes (je bepaalt zelf wanneer en hoe lang je pauze neemt) tijdens het studeren. In het onderzoek waren er twee manieren om systematische pauzes te nemen: lange periodes zoals in de pomodorotechniek en korte periodes (iedere zes minuten pauze). De resultaten laten zien dat in de zelfgereguleerde conditie studenten langere periodes studeren maar ook langere pauzes nemen. Het gevolg daarvan lijkt te zijn dat studenten in de zelfgereguleerde conditie meer vermoeid en afgeleid zijn en minder gemotiveerd en geconcentreerd zijn.

Het abstract

Background

During self-study, students need to monitor and regulate mental effort to replete working memory resources and optimize learning results. Taking breaks during self-study could be an effective effort regulation strategy. However, little is known about how breaktaking relates to self-regulated learning.

Aims

We investigated the effects of taking systematic or self-regulated breaks on mental effort, task experiences and task completion in real-life study sessions for 1 day.

Sample

Eighty-seven bachelor's and master's students from a Dutch University.

Methods

Students participated in an online intervention during their self-study. In the self-regulated-break condition (n = 35), students self-decided when to take a break; in the systematic break conditions, students took either a 6-min break after every 24-min study block (systematic-long or ‘Pomodoro technique’, n = 25) or a 3-min break after every 12-min study block (systematic-short, n = 27).

Results

Students had longer study sessions and breaks when self-regulating. This was associated with higher levels of fatigue and distractedness, and lower levels of concentration and motivation compared to those in the systematic conditions. We found no difference between groups in invested mental effort or task completion.

Conclusions

Taking pre-determined, systematic breaks during a study session had mood benefits and appeared to have efficiency benefits (i.e., similar task completion in shorter time) over taking self-regulated breaks. Measuring how mental effort dynamically fluctuates over time and how effort spent on the learning task differs from effort spent on regulating break-taking requires further research.

Effectieve interventie om schoolbetrokkenheid te vergroten

Hoe zorg je dat leerlingen betrokken blijven bij het onderwijs? Deze vraag stond centraal in een nieuwe studie van Roger Azevedo en collega’s. Ze ontwikkelenden de story tool, een interventie waarbij leerlingen aan de hand van een verhaal strategieën leren om hun betrokkenheid te monitoren en leren concrete plannen te maken die betrokkenheid ondersteunen. Roger Azevedo is onder andere bekend van zijn werk op het gebied van zelfregulatie. De interventie bestond uit 10 wekelijkse lessen van 1 uur. Het is dus niet verrassend dat in deze interventie gebruik wordt gemaakt van gekende zelfregulatiestrategieën. Het effect van de interventie op schoolbetrokkenheid is onderzocht met behulp van een randomized controlled trial op 12 basisscholen in Portugal. De deelnemende leerlinge. Waren gemiddeld 10 jaar oud. De resultaten zijn veelbelovend en laten zien dat door de interventie de betrokkenheid van leerlingen wordt vergroot.

Het abstract

Prior research has reported signs of low engagement in the early stages of schooling. The present study assessed the effectiveness of a school-based intervention that promotes cognitive, emotional, and behavioral engagement in elementary school children through a story tool. The study followed a cluster-randomized design with 259 fourth graders nested in 12 classes; the classes, not the individuals, were randomly assigned to an intervention or control group. Both groups were assessed in four waves in two measures for each engagement dimension. Data were analyzed with a multilevel approach. Findings show that the intervention enhanced students’ cognitive, emotional, and behavioral engagement. Still, there is a delay before the intervention program exhibits a beneficial effect.

Moreover, gender discrepancies were found. Before the intervention, girls showed higher cognitive and emotional engagement, but boys exhibited higher emotional engagement after the intervention. In addition, current results indicate that the program benefited the boys more than the girls. Finally, there was no evidence that the engagement outcomes differed depending on the parent’s educational level. Findings provide valuable information for future research and educational practice.

Nudging als middel om studiegedrag en -prestaties van studenten te verbeteren

Nudging is het gebruik van beïnvloedingstechnieken om mensen te helpen bepaald gedrag te vertonen. Een recente studie van Weijers et al. onderzoekt de effectiviteit van nudges die studenten aanmoedigen om zelf-gereguleerd gedrag te vertonen. Er zijn drie verschillende soorten nudging gebruikt in dit onderzoek. Deze nudges stimuleerden studenten om het studeren te plannen, voorbereid naar de les te komen of om vragen te stellen tijdens de les. In drie experimenten zijn de effecten van deze nudges onderzocht. De resultaten laten zien dat vooral de nudge die bedoeld was om studenten vragen te laten stellen tijdens de les effectief was. Studenten gingen inderdaad meer vragen stellen en haalden daarbij ook hogere cijfers. De resultaten suggereren dat nudging een effectief middel kan zijn om gedragsverandering te bewerkstelligen bij studenten, maar dat de effectiviteit kan variëren afhankelijk van het type gedrag dat wordt beïnvloed en de manier waarop deze verandering wordt gestimuleerd. 

Het abstract

Autonomous learning behavior is an important skill for students, but they often do not master it sufficiently. We investigated the potential of nudging as a teaching strategy in tertiary education to support three important autonomous learning behaviors: planning, preparing for class, and asking questions. Nudging is a strategy originating from behavioral economics used to influence behavior by changing the environment, and consists of altering the choice environment to steer human behavior. In this study, three nudges were designed by researchers in co-creation with teachers. A video booth to support planning behavior (n = 95), a checklist to support class preparation (n = 148), and a goal-setting nudge to encourage students to ask questions during class (n = 162) were tested in three field experiments in teachers’ classrooms with students in tertiary education in the Netherlands. A mixed-effects model approach revealed a positive effect of the goal-setting nudge on students’ grades and a marginal positive effect on the number of questions asked by students. Additionally, evidence for increased self-reported planning behavior was found in the video booth group—but no increase in deadlines met. No significant effects were found for the checklist. We conclude that, for some autonomous learning behaviors, primarily asking questions, nudging has potential as an easy, effective teaching strategy.

 

Effecten van een korte lessenreeks om zelfregulatie te onderwijzen

Zelf-regulatie is de vaardigheid om je eigen leerproces te kunnen monitoren en controleren. Hoewel zelf-regulatie wordt gezien als een belangrijke vaardigheid die leerlingen in staat stelt om succesvol te studeren, is het niet duidelijk hoe deze vaardigheid op de beste manier ontwikkeld kan worden bij basisschoolleerlingen. In Nature Human Behaviour verscheen een interessante studie waarin de effecten zijn onderzocht van een korte lessenreeks op de zelf-regulatievaardigheden en leerprestaties van leerlingen in de onderbouw van de basisschool. De auteurs ontwikkelden vijf lessen gebaseerd op de principes van MCII, mental contrasting with implementation intentions. Dit komt erop neer dat je leert hoe je doelen stelt, bedenkt wat de positieve uitkomsten van het behalen van deze doelen zijn en hoe je eventuele obstakels bij het behalen van deze doelen tackelt. 

De uitkomsten van deze lessenreeks zijn onderzocht met behulp van een een randomized controlled trial en laten een duidelijk effect van de interventie op de zelfregulatievaardigheden en leerprestaties van leerlingen zien. Hiermee lijkt deze strategie een veelbelovende strategie voor het onderwijzen van zelfregulatievaardigheden bij jonge basisschooleerlingen.

Het abstract

Children’s self-regulation abilities are key predictors of educational success and other life outcomes such as income and health. However, self-regulation is not a school subject, and knowledge about how to generate lasting improvements in self-regulation and academic achievements with easily scalable, low-cost interventions is still limited. Here we report the results of a randomized controlled field study that integrates a short self-regulation teaching unit based on the concept of mental contrasting with implementation intentions into the school curriculum of first graders. We demonstrate that the treatment increases children’s skills in terms of impulse control and self-regulation while also generating lasting improvements in academic skills such as reading and monitoring careless mistakes. Moreover, it has a substantial effect on children’s long-term school career by increasing the likelihood of enroling in an advanced secondary school track three years later. Thus, self-regulation teaching can be integrated into the regular school curriculum at low cost, is easily scalable, and can substantially improve important abilities and children’s educational career path.

Nieuwe overzichtsstudie naar relatie tussen interventies, zelfregulerend gedrag en leerprestaties

Er wordt veel onderzoek verricht naar de effectiviteit van interventies die zich richten op het ondersteunen van studenten tijdens self-regulated learning (SRL). Deze interventies hebben vaak een positief effect op leerprestaties van studenten. De aanname is daarbij meestal dat deze positieve effecten komen doordat de gebruikte SLR-interventies zorgen in een verbetering in de zelfregulatie van studenten en dat deze verbetering op zijn beurt zorgt voor betere leerprestaties. In onderzoekstermen: de verwachting is dan dat zelfregulatie van studenten het effect van SRL-interventies op leerprestaties medieert. Deze verwachting is echter nog nooit onderzocht. Dit is precies wat mijn collega Renée Jansen, Anouschka van Leeuwen, Liesbeth Kester, Suzanne Jak en ikzelf onderzochten in een meta-analyse die onlangs is geaccepteerd in het tijdschrift Educational Research Review.

In dit onderzoek hebben we gepoogd studies waarin één de volgende vragen centraal stonden samen te vatten:

1. Studies naar de effecten van SRL-interventies op leerprestaties van studenten.
2. Studies naar de effecten van SRL-interventies op zelfregulerend gedrag van studenten.
3. Studies naar de relatie tussen zelfregulerend gedrag en leerprestaties.

Figuur 1: Wordt het effect van SRL-interventies of leerprestaties gemedieerd door zelfregulerend gedrag?

In totaal konden we 142 studies (gepubliceerd in 126 artikelen) includeren in onze meta-analyse. Daarbij hebben we gebruik gemaakt van meta-analytic structural equation modelling (MASEM) om de veronderstelde mediatie te onderzoeken.

Figuur 2: Resultaten MASEM-analyse.

Hier zie je onze belangrijkste resultaten. Hoewel SRL-interventies effectief zijn in het verbeteren van leerprestaties (β = .18) én het verbeteren van zelfregulerend gedrag (β = .22) en hoewel zelfregulerend gedrag positief samenhangt met leerprestaties (β = .22), is het indirecte effect (van SRL-interventies op leerprestaties via zelfregulerend gedrag) klein (β = .05). Dit betekent dat de effecten van SRL-interventies op leerprestaties door andere factoren wordt veroorzaakt dan door zelfregulerend gedrag. 

We speculeren in het artikel dat dit bijvoorbeeld kan worden veroorzaakt door tijd die wordt besteed aan de leertaak: door de SRL-interventies gaan studenten mogelijk meer tijd besteden aan de leertaak waardoor zij beter gaan presteren zonder veranderingen in hun zelfregulerend gedrag. Een andere mogelijke verklaring is dat SRL-interventies niet alleen ingrijpen op het zelfregulerend gedrag van studenten maar ook op hun cognitieve activiteiten. Door in een SRL-interventie bijvoorbeeld studenten te stimuleren hun leerproces te monitoren, krijgen studenten mogelijk een beter inzicht in welke cognitieve strategieën hun leerproces stimuleren dan wel hinderen. Mogelijk gaan deze studenten zich dan concentreren op het inzetten op effectieve cognitieve strategieën.

Na het uitvoeren van de MASEM analyse hebben we drie afzonderlijke meta-analyses uitgevoerd. De resultaten daarvan zie je hieronder. We vonden een significant effect van SRL-interventies op leerprestaties, van SRL-interventies op zelfregulerend gedrag en een significante samenhang tussen zelfregulerend gedrag en leerprestaties. Als je deze effect groottes vergelijkt met de effect groottes in de overzichtsstudie van Schneider en Preckel, dan zijn deze effect groottes gemiddeld te noemen. Op basis van onze resultaten concluderen we dat het aanbieden van interventies die studenten ondersteunen in het ontwikkelen in hun zelfregulatievaardigheden zinvol is.

Figuur 3: Resultaten van afzonderlijke meta-analyses.

Referentie

Jansen, R. S., Van Leeuwen, A., Janssen, J., Jak, S. & Kester, L. (in press). Self-Regulated Learning Partially Mediates the Effect of Self-Regulated Learning Interventions on Achievement in Higher Education: a Meta-Analysis. Educational Research Review. doi:10.1016/j.edurev.2019.100292

Abstract

It is often assumed that interventions aimed at supporting students’ self-regulated learning (SRL) are effective for improving achievement because these interventions support SRL activity. In this study, meta-analytic structural equation modeling (MASEM) was used to test whether SRL activity indeed mediates the effect of SRL interventions on achievement in higher education. Contrary to popular belief, the results only provide evidence for partial mediation. Furthermore, three separate meta-analyses were performed to investigate the role of possible moderators of the relations between: (1) SRL interventions and achievement, (2) SRL interventions and SRL activity, and (3) SRL activity and achievement. Although SRL interventions were effective in improving SRL activity and achievement, most of the study, measurement, and intervention moderators did not explain significant variance of the investigated effect sizes. Other factors, such as task motivation and time on task, potentially influence the effectiveness of SRL interventions. Practical, theoretical and methodological implications are provided.