Een terugblik op 2023 en tot in 2024!

Het jaar is bijna voorbij en daarmee is dit ook de laatste blogpost op ons blog. We wensen iedereen fijne feestdagen en een mooi 2024.

Maar ook op dit blog mag een jaaroverzicht niet ontbreken, dus hier zijn de 10 meest gelezen blogposts van het afgelopen jaar.

1. De meest populaire post beschreef de zorgwekkende resultaten van het PISA onderzoek: Teleurstellende resultaten PISA 2023: Gaat de volgende studiereis naar Ierland?
2. Jullie waren ook benieuwd hoe je meerkeuzevragen effectiever maakt voor retrieval practice: Deze simpele truc maakt meerkeuzevragen effectiever voor retrieval practice
3. 2023 was ook het jaar van AI: Is feedback van ChatGPT op geschreven teksten beter dan feedback van leerkrachten?
4. Jullie waren erg benieuwd naar onze voorspelling voor de PISA resultaten: Pakjesavond? PISA-dag!
5. We deden in 2023 ook een voorspelling voor de uitkomsten van het PIRLS onderzoek: Begrijpend lezen over begrijpend lezen: PIRLS komt eraan!
6. We publiceerden een blogreeks over activerend onderwijs: Activerend onderwijs 2: Acht manieren om actief leren te stimuleren
7. En ook deze post over activerend onderwijs was populair: Activerend onderwijs 1: Maak het constructief en interactief
8. En onze laatste voorspelling ging over De Staat van het Onderwijs: Vooruitkijken naar De Staat van het Onderwijs 2023
9. Ook deze post over AI in het onderwijs werd veel gelezen: Het gevaar van AI: Gaan studenten er te veel op leunen in plaats van ervan te leren?
10. Hoe effectief is Montessori-onderwijs? Meta-analyse toont positieve effecten van Montessori onderwijs

Bing maakte deze kerstkaart.

Het digitale dilemma: Is digitaal lezen een vloek of een zegen voor begrijpend lezen?

Leuk dat je dit blog voor je plezier leest! Waarschijnlijk doe je dit op je laptopscherm, iPad of je smartphone en heb je deze blog niet uitgeprint om vanaf het papier te lezen. En waarschijnlijk lees je dit blog voor je ontspanning of in je vrije tijd. Niet zo gek: We lezen met zijn allen meer en meer digitaal in onze vrije tijd. Maar wat voor invloed heeft dit digitaal lezen in onze vrije tijd op ons vermogen tot begrijpend lezen? Een nieuwe meta-analyse in Review of Educational Research van Altamura, Vargas en Salmerón vatte de uitkomsten van 26 studies naar dit onderwerp samen. 

De resultaten laten zien dat er sprake is van een digitaal dilemma. De overall correlatie van r = .055 laat zien dat er een klein maar significant effect is van digitaal lezen in de vrije tijd op vermogen tot begrijpend lezen. Dus er is een kleine, maar positieve samenhang tussen digitaal lezen in de vrije tijd en het vermogen tot begrijpend lezen: wie meer digitaal leest in de vrije tijd, ontwikkelt zijn of haar vermogens tot begrijpend lezen meer.

Het digitale dilemma bestaat eruit dat deze correlatie veel lager is dan de correlatie tussen vanaf papier lezen in de vrije tijd en de vaardigheid tot begrijpend lezen. In eerder meta-analyses waarin de focus lag op lezen vanaf papier, waren de correlaties gemiddeld tot sterk, terwijl er hier sprake is van een zwakke correlatie. Digitaal lezen in de vrije tijd lijkt dus minder bij te dragen aan de ontwikkeling van de vaardigheid tot begrijpend lezen dan lezen vanaf papier. Eerder schreven we al over het screen inferiority effect en dat lijkt hier wederom bevestigd te worden.

Opvallend is dat voor jonge lezers (basisschoolleeftijd en onderbouw van het voortgezet onderwijs) de gevonden correlatie zelfs negatief is. De leeftijd van lezers lijkt in dit verband dus belangrijk te zijn. Bij jongere lezers kan digitaal lezen in de vrije tijd negatief samenhangen met het vermogen tot begrijpend lezen. Voor studenten, en wellicht voor lezers van dit blog, is het goede nieuws dat deze relatie om lijkt te draaien naarmate je ouder wordt: op latere leeftijd is er een sterkere positieve samenhang tussen digitaal lezen in de vrije tijd en de vaardigheid tot begrijpend lezen.

De auteurs zoeken de verklaring voor de lage correlatie tussen digitaal lezen en vaardignheid tot begrijpend lezen in de manier waarop we vaak omgaan met digitale teksten. Vaak gaat het om korte teksten, die soms ook maar kort in beeld zijn (bijvoorbeeld op social media). Dit moedigt mogelijk oppervlakkigere leesstrategieën aan dan wanneer vanaf papier gelezen wordt.

Het abstract

Previous research has evidenced a strong positive relationship between leisure print reading habits and reading comprehension across the lifespan. The rapid evolution of new forms of leisure digital reading could modify such a relationship. This meta-analysis extends previous research by analyzing the relationship between leisure digital reading habits and reading comprehension. We analyzed 40 effect sizes using multilevel analysis. Data involved 469,564 participants from studies published between 2000 and 2022. The average effect size reflects a small significant effect on reading comprehension (r = .055), which contrasts with the medium size effects found in the literature related to print reading habits and comprehension. This relationship is significantly moderated by the reader’s educational stage. At early stages (primary and middle school) negative relationships are observed between leisure digital reading and text comprehension, while at later stages (high school and university) the relationship turns positive. We highlight the different contributions that reading modalities and technological contexts have on our reading comprehension, especially across the lifespan. In sum, leisure digital reading does not seem to pay off in terms of reading comprehension, at least, as much as traditional print reading does.

 

Digital natives: Mythe, realiteit of betekenisloos begrip?

Als je deze blog leest, heb je vast wel eens gehoord van het begrip "digital natives". Dit begrip zou verwijzen naar een generatie die geboren is na de komst van digitale technologie en die verondersteld wordt goed met technologie overweg te kunnen. Maar is deze term juist of misleidend? Diverse auteurs hebben gesuggereerd dat "digital natives" een onderwijsmythe is, net als bijvoorbeeld leerstijlen. Een nieuw onderzoek werpt licht op dit controversiële begrip en de evolutie ervan in de loop der tijd.

Deze nieuwe studie in Computers & Education onderzocht 1886 artikelen gepubliceerd tussen 2001 en 2022. Ten eerste laat het onderzoek zien dat de term "digital natives" nog steeds veel gebruikt wordt, ondanks dat het door veel onderzoekers bekritiseerd wordt. Volgens deze onderzoekers bestaat er voor het begrip geen deugdelijks empirisch bewijs. Toch laat deze studie zien dat het begrip digital natives populair blijft. De auteurs signaleren dat dit vooral het geval is in westerse landen.

Ten tweede suggereert het onderzoek dat de term "digital natives" in de loop van de tijd is veranderd en zich heeft aangepast aan verschillende contexten en doeleinden. Het is een metafoor geworden die op verschillende fenomenen kan worden toegepast, vaak zonder veel verband met de oorspronkelijke betekenis. 

De studie concludeert dat de term "digital natives" geen vaststaand concept is, maar aan ontwikkeling onderhevig. De auteurs merken op dat "digital natives" inmiddels meerdere interpretaties en betekenissen heeft en vragen zich af of het begrip op deze manier betekenisloos wordt. Een betekenisloze mythe wellicht?

Het abstract

The term “digital natives” was introduced in 2001 to describe a generation that has grown up surrounded by technology and the internet. The accompanying claims of a new way of thinking among digital natives were influential in shaping educational policy. Still, they were challenged by research that found no evidence of generation-wide cognitive changes in learners. Yet, the digital natives narrative persists in popular media and the education discourse. This study set out to investigate the reasons for the persistence of the digital native myth. It analyzed the metadata from 1886 articles related to the term between 2001 and 2022 using bibliometric methods and structural topic modeling. The results show that the concept of “digital native” is still both warmly embraced and fiercely criticized by scholars mostly from western and high income countries, and the volume of research on the topic is growing. However, the results suggest that what appears as the persistence of the idea is actually evolution and complete reinvention: The way the “digital native” concept is operationalized has shifted over time through a series of (metaphorical) mutations. The concept of digital native is one (albeit a highly successful) mutation of the generational gap discourse dating back to the early 1900s. While the initial digital native literature relied on Prensky's unvalidated claims and waned upon facing empirical challenges, subsequent versions have sought more nuanced interpretations. Notably, a burgeoning third mutation now co-opts the “digital native” terminology for diverse purposes, often completely decoupled from the foundational literature and its critiques. This study explains the concept's persistence as dynamic evolution of the digital native discourse in contemporary academic and public spheres.

Teleurstellende resultaten PISA 2023: Gaat de volgende studiereis naar Ierland?

Soms vragen we ons af of er reisorganisatoren naar de PISA-resultaten kijken om een volgend onderwijsgidsland te kiezen. Ooit was het Finland, recenter was het Estland, maar nu, waar moeten we nu naartoe, nu het onderwijspeil steeds lager komt te staan in de Lage Landen?

PISA (Programme for International Student Assessment) laat zien: Voor Nederland zijn de ontwikkelingen voor rekenen, lezen én wetenschapskennis zeer negatief:

Voor wie denkt dat deze dramatische resultaten werden veroorzaakt door COVID-19 en de schoolsluitingen: de trend is in Nederland erger dan de daling die COVID-19 gemiddeld wereldwijd veroorzaakte. Om een idee te geven: het rapport stelt dat 20 punten op de PISA test gelijk staat aan het volgen van 1 jaar onderwijs. Dat betekent dat Nederlandse kinderen nu 2 jaar meer tijd nodig hebben voor wiskunde om op het gemiddelde peil van 2003 te komen: in 2003 lag de score rond 540 punten en nu onder de 500 punten. Voor lezen is het zelfs meer dan 2,5 jaar om op gemiddelde niveau te komen. Inmiddels scoren de Nederlandse jongeren onder het OESO-gemiddelde voor lezen.

Voor het domein waar Nederland er het slechtste voorstaat, lezen, lijkt Ierland inderdaad de aangewezen plek als je niet te ver wil reizen (bijvoorbeeld naar Singapore). In iets mindere mate geldt dit ook voor Engeland. 

Kris Van den Branden beschreef eerder al wat Ierland heeft gedaan om de achterstand in lezen te keren, check: https://duurzaamonderwijs.com/2019/12/03/begrijpend-lezen-en-pisa-kunnen-we-iets-leren-van-ierland/. 

In Nederland wacht de nieuwe ministers van onderwijs een zware taak: het tij moet gekeerd worden. Het zal niet de eerste keer zijn dat wordt opgeroepen tot een Deltaplan voor het onderwijs. Maar dit keer staat het water ons echt aan de lippen.

Daarbij gaat het een uitdaging zijn om niet te fatalistisch worden over de staat van het onderwijs: leraren proberen dag in dag uit het verschil te maken voor hun leerlingen onder vaak moeilijke omstandigheden (lerarentekort, werkdruk, administratieve lasten). Zij verdienen blijvende support en waardering. Aan de andere kant moeten we waken voor relativisme: de trend is duidelijk, de ontwikkelingen zijn zorgwekkend en het is allerminst duidelijk dat met de huidige inspanningen van bijvoorbeeld de overheid de trend gekeerd wordt. 

De reactie van de VO-raad vorig jaar was daarom erg opvallend: openlijk werd de waarde van de PISA-onderzoeken in twijfel getrokken. En uiteraard: de PISA-scores kunnen niet de enige indicatie zijn waarop beleid gebaseerd wordt, maar het zou onverstandig zijn om de signalen die de PISA- en ook de PIRLS-onderzoeken afgeven te negeren. De tijd van struisvogelpolitiek is voorgoed voorbij.

Deze blogpost is geschreven door: Pedro De Bruyckere, Casper Hulshof en Jeroen Janssen. Pedro, Casper en Jeroen zijn allen onderzoeker bij de Afdeling Educatie van de Universiteit Utrecht en als docenten betrokken bij de opleidingen Onderwijswetenschappen.

Het gevaar van AI: Gaan studenten er te veel op leunen in plaats van ervan te leren?

AI-ondersteunde leertechnologieën, zoals ChatGPT en writing assistants, worden meer ingezet in het onderwijs en bieden verschillende voordelen, zoals gepersonaliseerde feedback en adaptieve instructie. Maar hoe beïnvloeden deze technologieën de agency van studenten, hun vermogen om hun eigen leerervaringen vorm te geven en verantwoorde beslissingen te nemen? Een recente studie van Darvishi et al. (2023) onderzocht deze vraag in de context van peer feedback.

Aan hun onderzoek deden 1625 studenten in 10 cursussen mee die werkten met een adaptief onderwijssysteem dat AI gebruikt om de kwaliteit van peer feedback te controleren en te verbeteren. De eerste vier weken kregen alle studenten AI-prompts die verbeteringen in hun feedback voorstelden als deze te kort of te algemeen was of leek op hun eerdere opmerkingen. De volgende vier weken werden de studenten willekeurig ingedeeld in een van de volgende vier groepen: een controlegroep die AI-prompts bleef ontvangen, een groep die geen prompts ontving, een groep die checklists voor zelfcontrole ontving in plaats van AI-prompts, en een groep die zowel AI-prompts als checklists voor zelfcontrole ontving.

De resultaten van het onderzoek toonden aan dat studenten eerder vertrouwden op, dan leerden van AI-hulp. Toen AI-prompts werden verwijderd, nam de kwaliteit van de feedback van studenten aanzienlijk af, wat erop wijst dat ze niet de vaardigheden of gewoonten ontwikkelden om zelfstandig effectieve feedback te geven. Checklists voor zelfcontrole, konden het gat dat was ontstaan door AI-hulp gedeeltelijk opvullen, maar waren niet zo effectief als AI-prompts. Bovendien resulteerde de combinatie van AI-prompts en zelfcontrolerende checklists niet in een betere kwaliteit feedback dan AI-prompts alleen.

Het onderzoek roept belangrijke vragen op over de impact van kunstmatige intelligentie op de agency van studenten. Hoewel AI studenten op verschillende manieren kan ondersteunen, kan het ook hun ontwikkeling van agency en zelfregulatievaardigheden beperken.

Het abstract

AI-powered learning technologies are increasingly being used to automate and scaffold learning activities (e.g., personalised reminders for completing tasks, automated real-time feedback for improving writing, or recommendations for when and what to study). While the prevailing view is that these technologies generally have a positive effect on student learning, their impact on students’ agency and ability to self-regulate their learning is under-explored. Do students learn from the regular, detailed and personalised feedback provided by AI systems, and will they continue to exhibit similar behaviour in the absence of assistance? Or do they instead continue to rely on AI assistance without learning from it? To contribute to filling this research gap, we conducted a randomised controlled experiment that explored the impact of AI assistance on student agency in the context of peer feedback. With 1625 students across 10 courses, an experiment was conducted using peer review. During the initial four-week period, students were guided by AI features that utilised techniques such as rule-based suggestion detection, semantic similarity, and comparison with previous comments made by the reviewer to enhance their submissions if the feedback provided was deemed insufficiently detailed or general in nature. Over the following four weeks, students were divided into four different groups: control (AI) received prompts, (NR) received no prompts, (SR) received self-monitoring checklists in place of AI prompts, and (SAI) had access to both AI prompts and self-monitoring checklists. Results of the experiment suggest that students tended to rely on rather than learn from AI assistance. If AI assistance was removed, self-regulated strategies could help in filling in the gap but were not as effective as AI assistance. Results also showed that hybrid human-AI approaches that complement AI assistance with self-regulated strategies (SAI) were not more effective than AI assistance on its own. We conclude by discussing the broader benefits, challenges and implications of relying on AI assistance in relation to student agency in a world where we learn, live and work with AI.

Hoe kan stilleestijd effectiever worden?

Op veel scholen is meerdere keren per week stilleestijd. Hierbij krijgen leerlingen de tijd om een boek dat ze zelf gekozen hebben. Maar verbetert het echt hun leesvaardigheid, motivatie en leesgedrag? En kan zelfleestijd effectiever worden gemaakt door een aantal extra elementen toe te voegen, zoals ondersteuning door de leerkracht, verantwoording (accountability) of sociale interactie?

Een recente meta-analyse probeerde deze vragen te beantwoorden door 51 studies te bekijken die verschillende varianten van stilleesprogramma's vergeleken. Zij vonden dat:

• Het toevoegen van extra elementen aan stilleestijd een klein positief effect had op de algehele leesvaardigheid. Dit betekent dat leerlingen die deelnamen aan verbeterde stilleesprogramma's iets beter presteerden op leestoetsen dan leerlingen die alleen gewone stilleestijd kregen.
• Het effect was groter voor leerlingen met een risico op leesproblemen. Leerlingen met bijvoorbeeld een lage sociaaleconomische status of een lage leesvaardigheid hadden meer baat bij de extra elementen die kunnen worden toegevoegd aan stilleestijd dan sterkere lezers.
• De auteurs vonden een negatief effect van hulp of instructie door de leerkracht tijdens leestijd, wat mogelijk betekent dat dergelijke activiteiten de betrokkenheid van leerlingen bij teksten kunnen verstoren. 
• Aan de andere kant vonden ze positieve effecten van het beperken en ondersteunen van de boekkeuze, verantwoording en sociale interactie.

De auteurs concluderen dat stilleestijd een waardevol onderdeel van het leescurriculum kan zijn, maar dat het gecombineerd moet worden met elementen die leerlingen helpen bij het kiezen van geschikte boeken, het monitoren van hun leesactiviteiten en het bevorderen van de sociale interactie.

Het abstract

One often used approach to increase students' reading frequency is investing in independent silent reading (ISR) at schools: regularly scheduling time during which students read silently in books of their own choice. However, evidence for the impact of ISR is inconclusive and there appear to be important barriers to its effects on students' reading frequency, motivation, and proficiency: particularly struggling readers have difficulties choosing appropriate books, simply allotting time for reading does not guarantee that students read, ISR lacks accountability, and students are not always given the opportunity to interact about what they read. The aim of the current meta-analysis was to test whether additions to ISR that aim to overcome these barriers contribute to the effects of ISR on students' reading. Using outcomes of 51 effect studies covering 56 samples of students in primary and secondary education, we established a small but significant positive short-term intervention effect on overall reading proficiency (Cohen's d = 0.27). We additionally found that additions to ISR were particularly effective for students at risk of reading failure; for stronger readers, effects were absent. Finally, we found a negative effect of help or instruction by the teacher, which suggests that activities during reading might interfere with students' engagement with texts.

Pakjesavond? PISA-dag!

Vijf december komt niet alleen de Sint langs, maar ook OESO-topman Andreas Schleicher met nieuwe PISA-resultaten, oftewel: het ‘Programme for International Student Assessment’. Een jaartje later dan gepland, omdat een zekere pandemie roet in het eten gooide. Terwijl PIRLS (‘Progress in International Reading Literacy Study’) zich hier niets van aantrok, werd besloten PISA een jaar uit te stellen.

Dit keer is het extra moeilijk om te voorspellen wat de PISA-resultaten zullen uitwijzen voor Nederland en Vlaanderen. Wat we wel durven te stellen: de kans dat de uitkomsten goed zijn, is klein. Dat is zo om verschillende redenen:       

• De gevolgen van COVID-19 zal een belangrijk thema zijn. We weten dat de schoolsluitingen als gevolg van COVID-19 in veel landen een negatieve invloed gehad hebben op het leren van de kinderen en jongeren. Dit was in ons taalgebied niet anders. Het lijkt er zelfs op dat de coronapandemie duidelijke sporen heeft nagelaten in het welzijn van Nederlandse jongeren. Ook dit geeft reden om te verwachten dat dit de resultaten van PISA negatief zal beïnvloeden.
• We weten dat de uitkomsten van PIRLS bij tienjarigen niet goed waren. Waarom zou dan PISA bij vijftienjarigen nu wel goed zijn? Zowel in Vlaanderen als in Nederland is een beweging op gang gekomen om meer aandacht te besteden aan basisvaardigheden, maar het is nog veel te vroeg om dit in de PISA-resultaten terug te zien.
• De leesmotivatie van Nederlandse kinderen is in vergelijking met andere landen laag. En ook al zijn er initiatieven om de leesmotivatie van leerlingen te vergroten, het is mogelijk nog te vroeg om hier duidelijke effecten van te zien in PISA.
• Eerder berekende Kristof De Witte van de KULeuven al het negatieve effect op leeruitkomsten van het lerarentekort, een fenomeen dat hard toeslaat in zowel Vlaanderen als Nederland.

De trend voor Nederlandse PISA-scores is al een flinke tijd dalend.

Het kan zijn dat we het in de internationale ranking beter doen dan verwacht, omdat misschien andere landen of regio’s nog slechter uit de pandemie zijn gekomen, maar dit is ondergeschikt aan de eigen evolutie. Deze ronde staat wiskunde centraal, maar toch zullen we ook zien of het aantal laaggeletterde jongeren is toegenomen. Andere vragen die interessant zijn om in de gaten te houden:

• Is er in Nederland nog steeds een zeer kleine groep van hoogpresterende leerlingen?
• Wordt in Vlaanderen de best presterende groep nog altijd kleiner?
• Hoe verhoudt de manier van lesgeven zich ten opzichte van leereffecten?

PISA komt niet enkel uit op 5 december, dat is nog maar het begin. In 2024 volgen nog extra delen, waarbij onder andere stilgestaan wordt bij de creatieve vermogens van vijftienjarigen in de deelnemende OESO-landen. Misschien is daar dan wel goed nieuws te vinden?

Deze blogpost is geschreven door: Pedro De Bruyckere, Casper Hulshof en Jeroen Janssen. Pedro, Casper en Jeroen zijn allen onderzoeker bij de Afdeling Educatie van de Universiteit Utrecht en als docenten betrokken bij de opleidingen Onderwijswetenschappen.

Wat gebeurt er als je docent vertelt eerstegeneratiestudent te zijn geweest?

Hoe voel je je als je docent tijdens de les iets persoonlijks of kwetsbaars over zichzelf vertelt? Voel je je dan meer verbonden met je docent? En maakt het uit je of docent een eerstegeneratiestudent is en dit aan je laat weten? Wat doen zulke zelfonthullingen van docenten met hoe studenten hun docenten ervaren?

Onderzoekers van de Universiteit van Californië in Los Angeles en de Universiteit van Texas in Austin voerden vier onderzoeken uit met verschillende soorten zelfonthulling door een hypothetische docent. Ze onderzochten hierbij de indrukken van studenten over deze docent en de klas.

De belangrijkste bevinding van dit onderzoek was dat zelfonthulling van persoonlijke of kwetsbare informatie (zoals worstelen op de universiteit of eerstegeneratiestudent zijn) door een docent over het algemeen de waardering, het respect, de warmte, het zoeken van hulp en het gevoel erbij te horen van studenten verbeterde in vergelijking met geen zelfonthulling. Dit suggereert dat zelfonthulling een nuttige strategie kan zijn voor docenten om een band op te bouwen met studenten en een positief klasklimaat te creëren.

De auteurs vonden echter geen bewijs dat wanneer docenten delen dat ze eerstegeneratiestudent zijn dit geen specifiek voordeel opleverde voor huidige eerstegeneratiestudenten dan voor studenten waarvan de ouders wel hebben gestudeerd. De onderzoekers verwachtten dat eerstegeneratiestudenten zich meer geïnspireerd, gemotiveerd en zelfverzekerd zouden voelen als ze zouden horen dat hun professor ook een eerstegeneratiestudent was, maar dit was niet het geval.

Het abstract

First-generation college students, who are the first in their family to attend a four-year college, often face barriers while attending college. In a series of studies, we tested whether a professor self-disclosing their own status as a first-generation student would positively impact current students (particularly first-generation students). In each study, college students read a hypothetical professor’s introduction on the first day of class, in which the intervention was embedded, and then answered questions about their perceptions of the professor and expectations for the class. Across several studies with several versions of the professor’s introduction, the results generally showed that multiple variations of disclosure resulted in positive perceptions of the professor from both first-generation and continuing-generation college students, though our findings were somewhat inconsistent between studies. This research provides new insight into the power of self-disclosure and avenues for future research to continue testing interventions which may benefit first-generation college students.

Deze simpele truc maakt meerkeuzevragen effectiever voor retrieval practice

Onlangs verscheen in het tijdschrift Journal of Educational Psychology een studie van collega Gesa van den Broek. Deze studie laat zien hoe meerkeuzevragen effectiever gemaakt kunnen worden voor retrieval practice. In een reeks experimenten werd onderzocht of meerkeuzevragen effectiever worden voor retrieval practice als er een pauze van vier seconden zit tussen tussen het moment dat de meerkeuzevraag in beeld verschijnt en het moment dat de antwoordopties in beeld verschijnen. De auteurs onderzochten de effecten van deze stapsgewijze meerkeuzevragen bij het leren van de vocabulaire van een vreemde taal. De experimenten in deze studie laten zien dat deze stapsgewijze meerkeuzevragen leerlingen helpen effectiever vocabulaire te leren dan “gewone” meerkeuzevragen. De verklaring hiervoor is dat leerlingen de pauze tussen het verschijnen van de vraag en de antwoordopties kunnen gebruiken om actief het antwoord uit hun geheugen op te halen. De auteurs suggereren dat het gebruiken van stapsgewijze meerkeuzevragen een gemakkelijk in te zetten verbetering zijn voor bijvoorbeeld online oefenprogramma’s. Extra tof aan deze studie is dat studenten van onze opleidingen mee hebben gewerkt aan de dataverzameling en de publicatie.

Multiple-choice questions (MCQs) are popular in vocabulary software because they can be scored automatically and are compatible with many input devices (e.g., touchscreens). Answering MCQs is beneficial for learning, especially when learners retrieve knowledge from memory to evaluate plausible answer alternatives. However, such retrieval may not always occur (e.g., with easy-to-guess answers). Therefore, we tested whether we could optimize MCQs for retrieval practice with a stepwise display, which presents the question before the answer options. This creates an opportunity for cued recall. In an experimental classroom study (N = 75) and three online experiments with adult participants (N = 45, N = 77, and N = 79), participants practiced vocabulary with either standard MCQs or stepwise MCQs: In standard MCQs, a word was presented with three possible translations; in stepwise MCQs, it was shown for 4 s before the translations appeared. In three of the four experiments (Experiments 1, 3a, and 3b), stepwise MCQs enhanced retention significantly compared to standard MCQs, measured by a posttest several days after practice. Benefits of stepwise MCQs were found for different translation directions (Experiments 1 and 3) and both with easy-to-guess answers (noncompetitive answer options, Experiment 1) and hard-to-guess answers (competitive answer options, Experiment 3). However, the effect was most robust for questions with noncompetitive answer options (Experiments 1, 3a, and 3b) and for learners who reported trying to retrieve the answer from memory during the stepwise display (Experiments 1 and 3). Moreover, retention was generally enhanced by competitive, hard-to-guess answer options (Experiments 3a and 3b). Overall, a stepwise display is a promising and easy-to-implement manipulation to optimize MCQs for retrieval practice. (PsycInfo Database Record (c) 2023 APA, all rights reserved)

Impact Statement

Educational Impact and Implications Statement: We aimed to optimize multiple-choice exercises for vocabulary learning, and tested stepwise multiple-choice questions (MCQs), in which the question was presented for four seconds before the answer options became visible. With such a stepwise display, learners can try to recall the answer from memory before being prompted by answer options. In both children and adults, stepwise MCQs led to better vocabulary learning than standard questions, which immediately showed the answer options. Stepwise MCQs are an easy-to-implement improvement of computerized vocabulary exercises and might also improve learning of other materials and in other settings (e.g., classroom quizzes, mobile apps). Vocabulary learning was also better when answer options prevented learners from guessing the correct response and for those learners who tried to recall the answer from memory before seeing the answer options. Multiple-choice exercises should be carefully designed to optimize learning. 

Is samenwerking noodzakelijk voor productive failure?

Productive failure (productief falen, PF) is een instructiestrategie waarbij leerlingen worden uitgedaagd om een nieuw probleem op te lossen voordat ze hierover directe instructie hebben ontvangen. Het idee is dat leerlingen in zulke situaties, doordat ze foutieve oplossingen genereren en worstelen met het nieuwe concept, hun voorkennis activeren, erachter komen wat de grenzen van hun kennis zijn en een beter begrip krijgen van de kenmerken van het concept dat ze bestuderen. In eerdere studies is onderzocht dat PF een bijdrage kan leveren aan bijvoorbeeld het conceptuele begrip van leerlingen. Een nieuwe studie in Instructional Science van Brand et al. (2023) onderzocht of samenwerking een essentieel onderdeel van PF is.

In deze studie werd productive failure tijdens individueel probleemoplossen vergeleken met productive failure tijdens probleemoplossen in een groep. Deze studie maakte gebruik van dezelfde instructie en problemen als in eerdere studies naar PF. De onderzoekers verwachtten dat PF tijdens samenwerkend probleemoplossen leerlingen beter zou voorbereiden op het leren van directe instructie. De onderzoekers verwachtten dit omdat tijdens samenwerken voorkennis beter geactiveerd wordt en hiaten in kennis beter zichtbaar worden.

Deze verwachtingen werden echter niet bevestigd. In het onderzoek werden geen verschillen gevonden tussen de individuele conditie en de groepsconditie. De auteurs concluderen op basis van deze resultaten daarom dat samenwerking geen toegevoegde waarde heeft in het voorbereiden van leerlingen op het leren van PF.

Het abstract

Productive Failure (PF) is an instructional design that implements a problem-solving phase which aims at preparing students for learning from a subsequent instruction. PF has been shown to facilitate students’ conceptual knowledge acquisition in the mathematical domain. Collaboration has been described as a vital design component of PF, but studies that have investigated the role of collaboration in PF empirically so far, were not able to confirm the necessity of collaboration in PF. However, these studies have diverged significantly from prior traditional PF studies and design criteria. Therefore, the role of collaboration in PF remains unclear. In an experimental study that is based on the traditional design of PF, we compared a collaborative and an individual problem-solving setting. It was hypothesized that collaboration facilitates the beneficial preparatory mechanisms of the PF problem-solving phase: prior knowledge activation, awareness of knowledge gaps, and recognition of deep features. In a mediation analysis, the effects of collaborative and individual problem solving on conceptual knowledge acquisition as mediated through the preparatory mechanisms were tested. In contrast to the hypotheses, no mediations or differences between conditions were found. Thus, collaboration does not hold a major preparatory function in itself for the design of PF.

Het screen inferiority effect: Lezen van een scherm is nadelig voor begrijpend lezen

Hoewel digitale schermen niet meer weg te denken zijn uit het dagelijks leven en studenten steeds vaker hun teksten en artikelen lezen van hun laptop of tablet, hebben onderzoekers meermaals laten zien dat er mogelijk sprake is van een screen inferiority effect: lezers die van een scherm lezen lijken teksten wat minder goed te begrijpen dan lezers die teksten van papier lezen. Een nieuwe meta-analyse in Journal of Educational Psychology vatte de resultaten van 49 studies samen. Deze studies onderzochten allen het effect van het lezen van het scherm versus het lezen van papier. De resultaten van deze meta-analyse laten zien dat er inderdaad sprake is van een licht screen inferiority effect. Afhankelijk van het onderzoeksdesign dat gehanteerd werd, vonden de auteurs een effect size van g = -0.113 of een effect size van g = -0.103. Uit aanvullende analyses blijkt dat het screen inferiority effect groter is bij studenten in het hoger onderwijs dan bij leerlingen uit het basis- en voortgezet onderwijs.

Het abstract

As handheld devices, such as tablets, become a common tool in schools, a critical and urgent question for the research community is to assess their potential impact on educational outcomes. Previous meta-analytic research has evidenced the “screen inferiority effect”: Readers tend to understand texts slightly worse when reading on-screen than when reading the same text in print. Most primary studies from those meta-analyses used computers as on-screen reading devices. Accordingly, the extent to which handheld devices, which provide a reading experience closer to books than computers, are affected by the screen inferiority effect remains an open question. To address this issue, we reviewed relevant literature regarding potential moderating factors for the screen inferiority effect through the lenses of the reading for understanding framework. We then performed two meta-analyses aimed at examining the differences in reading comprehension when reading on handheld devices, as compared to print. Results from the two multilevel random-effect meta-analyses, which included primary studies that used either between-participant (k = 38, g = −0.113) or within-participant (k = 21, g = −0.103) designs, consistently showed a significant small size effect favoring print text comprehension. Moderator analyses helped to partially clarify the results, indicating in some cases a higher screen inferiority effect for undergraduate students (as compared to primary and secondary school students) and for participants who were assessed individually (as opposed to in groups). We discuss the need to continue fostering print reading in schools while developing effective ways to incorporate handheld devices for reading purposes. 

Een docent in beeld beïnvloedt het leren van instructievideo’s

Instructievideo’s zijn niet meer weg te denken uit het onderwijs. Denk maar aan de video’s die gebruikt worden in MOOCs of de video’s die diverse docenten maken op hun Youtubekanaal waarin zij eindexamenstof uitleggen. In dit soort video’s is geregeld de docent in beeld, maar dat is niet altijd het geval. Theorieën zoals de Cognitive Theory of Multimedia Learning voorspellen dat de zichtbaarheid van een docent in instructievideo’s bijvoorbeeld motivatie en social presence kan verhogen, maar dat deze zichtbaarheid geen effect zal hebben op de leeruitkomsten. Andere theorieën voorspellen daarentegen dat zichtbaarheid van de docent door het verhogen van motivatie en social presence wel een effect kan hebben op leeruitkomsten. Een recente meta-analyse in Educational Research Review onderzocht de effecten van de zichtbaarheid van de docent in instructievideo’s. De resultaten laten zien dat zichtbaarheid van de docent in instructievideo’s een klein positief effect heeft op leeruitkomsten (g = +0.22). Bovendien heeft zichtbaarheid positieve effecten op social presence (g = +0.35) en motivatie (g = +0.41). Deze meta-analyse toont daarnaast aan dat zichtbaarheid van de docent kijkers ook kan afleiden (g = +0.31). Dit verklaart mogelijk het relatief kleine effect van zichtbaarheid van de docent op leeruitkomsten.

Het abstract

Researchers disagree on the extent to which social cues in instructional videos influence learning and learning-relevant outcomes and processes. The instructor presence effect states that visible instructors in instructional videos lead to increased social presence and higher scores in subjective ratings like motivation, social presence, or affect, but do not improve learning outcomes. In contrast, the Cognitive-Affective-Social Theory of Learning in digital Environments outlines how social cues not only enhance social, emotional, and motivational processes, but they also potentially promote learning outcomes. We conducted a series of meta-analyses to explore the effects of instructor presence in instructional videos on retention, transfer, social presence, motivation, cognitive load, affect, and visual dwell time. The meta-analyses include 35 studies, which contained 46 pair-wise comparisons and 6339 participants. Results revealed a small, statistically significant positive effect of including a visual instructor on retention outcomes, but no significant effect on transfer performance. A visible instructor also significantly enhanced social presence, affective, and motivational ratings. Furthermore, we found that a visible instructor significantly reduced dwell time on relevant visual material but also reduced subjective perception of extraneous cognitive load. Significant moderator effects could be found regarding prior knowledge, the instructional domain as well as the size of the instructor.

Meta-analyse: Hoe accuraat zijn self-assessments van leerlingen?

Self-assessment is een belangrijke vaardigheid voor leerlingen. Bij zelfregulatie is self-assessment bijvoorbeeld belangrijk: het is een noodzakelijke, maar niet voldoende voorwaarde om het eigen leerproces goed te kunnen reguleren. Als je niet in staat bent om goed in te schatten of je wat je bestudeert goed begrijpt, dan is het onwaarschijnlijk dat je verstandige keuzes maakt in het vervolg van het studeren. Oftewel, het is van belang dat de self-assessments van leerlingen en studenten accuraat zijn. In een onlangs verschenen meta-analyse analyseren León, Panadero en García‐Martínez het beschikbare onderzoek naar de accuraatheid van self-assessments. Bovendien onderzochten zij of de self-assessments samenhangen met de beoordelingen van experts. De resultaten van de meta-analyse laten zien dat overall leerlingen zichzelf overschatten bij het uitvoeren van self-assessments: ze zijn positiever over hun prestaties dan is gerechtvaardigd. Wel is het zo dat de self-assessments van leerlingen redelijk correleren met de beoordelingen van experts. Interessant aan de meta-analyse is dat deze ook inzicht geeft in welke factoren zorgen voor hogere accuraatheid van self-assessment. Dat is het geval wanneer leerlingen feedback ontvangen, meer domeinkennis hebben, meer ervaring hebben met self-assessment, wanneer de self-assessment een formatief doel heeft en wanneer leerlingen jonger zijn.

Het abstract

Developing the ability to self-assess is a crucial skill for students, as it impacts their academic performance and learning strategies, amongst other areas. Most existing research in this field has concentrated on the exploration of the students’ capacity to accurately assign a score to their work that closely mirrors an expert’s evaluation, typically a teacher’s. Though this process is commonly referred to as self-assessment, a more precise term would be self-assessment scoring accuracy. Our aim is to review what is the average accuracy and what moderators might influence this accuracy. Following PRISMA recommendations, we reviewed 160 articles, including data from 29,352 participants. We analysed 9 factors as possible moderators: (1) assessment criteria; (2) use of rubric; (3) self-assessment experience; (4) feedback; (5) content knowledge; (6) incentive; (7) formative assessment; (8) field of knowledge; and (9) educational level. The results showed an overall effect of students’ overestimation (g = 0.206) with an average relationship of z = 0.472 between students’ estimation and the expert’s measure. The overestimation diminishes when students receive feedback, possess greater self-assessment experience and content knowledge, when the assessment does not have formative purposes, and in younger students (primary and secondary education). Importantly, the studies analysed exhibited significant heterogeneity and lacked crucial methodological information.

Meta-analyse: Negatieve effecten van ongelijke behandeling en discriminatie door leerkrachten

Een recente meta-analyse onderzocht de samenhang tussen ongelijke behandeling en discriminatie door leerkrachten en het welbevinden en de leeruitkomsten van leerlingen. Ongelijke behandeling en discriminatie door leerkrachten kan verschillende vormen aannemen, maar in deze meta-analyse werd gekeken naar gevallen waarin leerlingen waarnemen dat hun leerkracht leerlingen ongelijk behandeld vanwege hun etnische achtergrond. Dit kan gaan om relatief onschuldig ogende gedragingen zoals microagressies maar ook om discriminerend gedrag. De auteurs konden aantonen dat ongelijke behandeling en discriminatie door leerkrachten negatief correleert met zowel het welbevinden als de leeruitkomsten van leerlingen. De resultaten lieten ook zien dat de etnische samenstelling van de leerlingpopulatie op school het effect van ongelijke behandeling en discriminatie modereert: bij scholen de populatie voor een groter gedeelte uit minderheidsleerlingen bestaat, is de samenhang tussen ongelijke behandeling en discriminatie en leerprestaties minder sterk. De auteurs suggereren dat dit betekent dat heterogene leerlingpopulaties een beschermende functie kunnen hebben tegen de negatieve effecten van ongelijke behandeling en discriminatie door leerkrachten.

Het abstract

Although research has overwhelmingly demonstrated the negative consequences of perceived racial–ethnic discrimination on children’s and youth’s well-being and academic outcomes, context- and perpetrator-specific discrimination experiences are rarely disaggregated. Racial–ethnic discrimination in the school environment is common, and the perpetrators are often teachers who may treat racial–ethnic minority students unfairly. This work used a three-level multilevel approach to meta-analytically synthesize existing evidence with the aim to (a) document the links between perceived teacher-based racial–ethnic discrimination (TBRED) and students’ psychological, behavioral, and physical well-being, substance use, grade point average and school motivation, and (b) to examine whether these associations differ by sample and study characteristics. Based on 68 studies and 259 effect size estimates, we found that perceived TBRED is linked to lower well-being (r = −.15, 95% confidence interval [CI] [−.18, −.12]), higher substance use (r = .13, 95% CI [.06, .20]), and lower academic performance (r = −.16, 95% CI [−.20, −.13]) with substantial heterogeneity across effect sizes. Similarly, TBRED had small-to-medium negative associations within each domain of well-being and academics. The results were partially moderated by school racial–ethnic composition, suggestive of a protective function of a higher concentration of racial–ethnic minority students. In addition, more reliable scales and a greater number of items measuring TBRED were associated with stronger negative correlations with well-being. These findings highlight the importance of increasing awareness around issues of racism and discrimination in initial teacher training and professional development. We encourage further exploration of effect size heterogeneity and call for research on TBRED outside the United States.

De kracht van de tomaat 🍅: Onderzoek naar de effecten van het nemen van systematische pauzes

Misschien heb je wel eens gehoord van de pomodorotechniek? Als je studeert of werkt aan een taak dan doe je dat volgens deze techniek in periodes van 25 minuten. Om de pomodorotechniek te gebruiken, heb je een timer, een to-do lijst en een manier om je voortgang bij te houden nodig. Dit zijn de stappen die je moet volgen:

1. Beslis aan welke taak je wilt werken. Het moet iets zijn dat je volledige aandacht vereist en kan worden opgedeeld in kleinere stappen.
2. Stel de timer in op 25 minuten en begin aan de taak te werken. Vermijd gedurende deze tijd onderbrekingen of afleidingen. Als er iets anders opkomt, schrijf het dan op en behandel het later.
3. Wanneer de timer gaat, stop dan met werken en markeer één pomodoro als voltooid. Noteer wat je hebt bereikt tijdens deze pauze.
4. Neem 5 minuten pauze en doe iets ontspannends, zoals stretchen, ademhalen of naar muziek luisteren. Kijk niet naar je e-mail of sociale media gedurende deze tijd.
5. Herhaal stap 2 tot 4 totdat je vier pomodoro’s op hebt. Neem dan een langere pauze van 15 tot 30 minuten en doe iets leukers, zoals lezen, een spelletje spelen of een wandeling maken.
6. Bekijk je werk en evalueer je prestaties. Hoeveel pomodoro’s heb je afgewerkt? Hoeveel vooruitgang boekte je met je taak? Hoe voelde je je tijdens het proces? Wat kan je de volgende keer verbeteren?

De pomodorotechniek is een systematische manier om je pauzes in te delen tijdens het studeren. In een recente studie uitgevoerd door onderzoekers van de Universiteit Maastricht werd onderzocht wat het effect is van het nemen van systematische pauzes versus het nemen zelfgereguleerde pauzes (je bepaalt zelf wanneer en hoe lang je pauze neemt) tijdens het studeren. In het onderzoek waren er twee manieren om systematische pauzes te nemen: lange periodes zoals in de pomodorotechniek en korte periodes (iedere zes minuten pauze). De resultaten laten zien dat in de zelfgereguleerde conditie studenten langere periodes studeren maar ook langere pauzes nemen. Het gevolg daarvan lijkt te zijn dat studenten in de zelfgereguleerde conditie meer vermoeid en afgeleid zijn en minder gemotiveerd en geconcentreerd zijn.

Het abstract

Background

During self-study, students need to monitor and regulate mental effort to replete working memory resources and optimize learning results. Taking breaks during self-study could be an effective effort regulation strategy. However, little is known about how breaktaking relates to self-regulated learning.

Aims

We investigated the effects of taking systematic or self-regulated breaks on mental effort, task experiences and task completion in real-life study sessions for 1 day.

Sample

Eighty-seven bachelor's and master's students from a Dutch University.

Methods

Students participated in an online intervention during their self-study. In the self-regulated-break condition (n = 35), students self-decided when to take a break; in the systematic break conditions, students took either a 6-min break after every 24-min study block (systematic-long or ‘Pomodoro technique’, n = 25) or a 3-min break after every 12-min study block (systematic-short, n = 27).

Results

Students had longer study sessions and breaks when self-regulating. This was associated with higher levels of fatigue and distractedness, and lower levels of concentration and motivation compared to those in the systematic conditions. We found no difference between groups in invested mental effort or task completion.

Conclusions

Taking pre-determined, systematic breaks during a study session had mood benefits and appeared to have efficiency benefits (i.e., similar task completion in shorter time) over taking self-regulated breaks. Measuring how mental effort dynamically fluctuates over time and how effort spent on the learning task differs from effort spent on regulating break-taking requires further research.

Meta-analyse bevestigt de relatie tussen autonomieondersteuning en leeruitkomsten

Een nieuwe meta-analyse onderzocht de relatie tussen autonomieondersteuning en leeruitkomsten. Wanneer er sprake is van autonomieondersteuning kunnen leerlingen keuzes maken in wat en hoe ze leren. De veronderstelling is dat wanneer leerlingen meer autonomieondersteuning ervaren dit een positief effect zal hebben op leeruitkomsten zoals motivatie en zelfregulatie. Een recente meta-analyse bekeek alle beschikbare onderzoek en concludeert op basis van 378 effect sizes in 153 studies dat er inderdaad een significante correlatie is tussen autonomieondersteuning en leeruitkomsten.

Het abstract

The current study provides a comprehensive meta-analysis of the relations between students’ perceived teacher and parent autonomy support and positive learning outcomes by synthesizing 378 effect sizes from 179 independent samples in 153 studies (N = 213,612). We identified six categories that broadly capture positive learning outcomes: autonomous motivation, student behavioral engagement, mastery goal, self-regulated learning, self-beliefs, and academic performance. The findings demonstrate the importance of autonomy support in education contexts. Using correlation coefficients as our effect size index, we found the estimated average effect size of .32, with wide between- and within-cluster heterogeneity. The effects of several moderators were examined. The type of learning outcomes and the agent of autonomy support were significant moderators. Gender distribution had a significant moderating effect for teacher autonomy support, when all other moderators were held constant. The higher the percentage of females in the sample, the lower the correlation between teacher autonomy support and learning outcomes. Autonomous motivation, student behavioral engagement, and self-beliefs yielded largest effect sizes in being predicted by autonomy support. Of all learning outcomes, academic performance had the weakest overall relationship with autonomy support. Meta-analytic path analyses suggested that this relationship was partially mediated by other learning outcomes such as autonomous motivation and student engagement. Taken together, these findings provide compelling evidence for the importance of teacher and parent autonomy support for promoting positive learning outcomes in diverse educational settings from elementary school through university.

Meta-analyse: Open Educational Resources (OER) hebben geen invloed op leerprestaties

Dankzij Marco Kalz kwam ik een nieuwe meta-analyse tegen over de impact van Open Educational Resources (OER) op leerprestaties. Dat zijn leermaterialen die gratis en vrij beschikbaar zijn voor (her)gebruik. OER kunnen verschillende vormen aannemen, zoals kennisclips, boeken, artikelen, weblectures, etc. Eén van de doel van OER is om de toegang tot kwaliteitsvol onderwijs te verbeteren en te bevorderen, en om de samenwerking en innovatie tussen docenten en leerlingen te stimuleren. De verwachting is daarnaast ook dat OER de leerprestaties zullen verbeteren. Deze nieuwe meta-analyse van Tlili et al. laat echter zien dat deze verwachting niet terecht is. De auteurs concluderen dat de impact van OER op leerprestaties verwaarloosbaar is.

Het abstract

While several studies have investigated the various effects of open educational resources (OER) and open educational practices (OEP), few have focused on its connection to learning achievement. The related scientific literature is divided about the effects of OER and OEP with regards to their contribution to learning achievement. To address this tension, a meta-analysis and research synthesis of 25 studies (N = 119,840 participants) was conducted to quantitatively investigate the effects of OER and OEP on students’ learning achievement. The analysis included course subject, level of education, intervention duration, sample size, geographical distribution, and research design as moderating variables of the obtained effects. The findings revealed that OER and OEP have a significant yet negligible (g = 0.07, p < 0.001) effect. Additionally, the analysis found that the obtained effect can be moderated by several variables, including course subject, level of education and geographical distribution. The study findings can help various stakeholders (e.g., educators, instructional designers or policy makers) in understanding what might hinder OER and OEP effect on learning achievement, hence accommodating better learning outcomes and more effective interventions.

Interacties tussen leerkrachten en leerlingen van verschillende sociaaleconomische achtergronden

Leerkrachten in het basisonderwijs hebben dagelijks honderden interacties met de leerlingen in hun klas, en hiermee dragen ze bij aan een omgeving waarin leerlingen kunnen leren en ontwikkelen. Een recent artikel in Social Psychology of Education laat zien dat deze interacties verschillen op basis van de sociaaleconomische achtergrond van leerlingen. Leerkrachten blijken minder goede relaties te hebben met leerlingen met een lagere sociaaleconomische achtergrond en zijn bovendien directiever naar die leerlingen. Dit kan ervoor zorgen dat de prestatiekloof tussen leerlingen van verschillende sociaaleconomische achtergronden in stand wordt gehouden of zelfs nog groter wordt.

Wat is er onderzocht?

De zelfdeterminatietheorie stelt dat het belangrijk is dat leerkrachten hun leerlingen keuzevrijheid en structuur bieden en positieve relaties met leerlingen opbouwen. Alle leerlingen, ongeacht hun achtergrond, hebben baat bij dergelijke interacties. Daarom biedt deze theorie een passend kader voor onderzoek naar gelijke kansen in het onderwijs. Jonne Bloem en collega’s hebben twee studies uitgevoerd waarin werd gekeken of leraren anders omgaan met leerlingen met een lage of een hoge sociaaleconomische achtergrond. 

Hoe werd dit onderzocht?

De eerste studie was een vignettenstudie, waarin leerkrachten vragen beantwoordden over hun interacties met een fictieve leerling. Leerkrachten kregen een verhaaltje te lezen over een leerling; bij helft van de leerkrachten was de naam van de leerling Willemijn en bij de andere helft Shelly. Ook de hobby’s verschilden (hockey en viool of dansen in het buurthuis) om zo een leerling met een hoge of lage sociaaleconomische achtergrond te illustreren. In de tweede studie beantwoordden leerkrachten vragen over hun interacties met leerlingen uit hun eigen klas. In beide studies werd ook de rol van vooroordelen ten aanzien van leerlingen met een lage sociaaleconomische status onderzocht.

Wat waren de bevindingen?

In beide studies waren leerkrachten minder positief over hun relatie met leerlingen met een lagere sociaaleconomische achtergrond vergeleken met leerlingen met een hogere sociaaleconomische achtergrond. Bovendien kwam in de tweede studie naar voren dat leerkrachten een meer directieve interactiestijl hadden (een combinatie van minder autonomieondersteuning en meer structuur) bij leerlingen met een lagere sociaaleconomische achtergrond. Dat gold met name wanneer deze leerlingen minder goed presteerden op school of meer ongewenst gedrag vertoonden. Deze bevindingen zijn zorgwekkend omdat een directieve interactiestijl en een lagere relatiekwaliteit negatieve gevolgen kunnen hebben voor de motivatie en prestaties van leerlingen. Deze verschillen werden versterkt wanneer leerkrachten sterkere vooroordelen hadden ten aanzien van leerlingen met een lagere sociaaleconomische achtergrond. Deze bevindingen benadrukken de mogelijke rol van interacties in de klas voor het stimuleren van gelijke kansen voor ieder kind.

Lees het volledige artikel hier: https://doi.org/10.1007/s11218-023-09831-w 

Is feedback van ChatGPT op geschreven teksten beter dan feedback van leerkrachten?

Mark Warschauer, hoogleraar aan University of California, Irvine, deelde vandaag een pre-print van een interessante studie waarin feedback werd gegeven door een getrainde leerkracht of door ChatGPT op teksten die door leerlingen waren geschreven. 

Dit is de prompt die de onderzoekers gebruikten voor ChatGPT: “Pretend you are a secondary school teacher. Provide 2-3 pieces of specific, actionable feedback on each of the following essays...that highlight what the student has done well and what they could improve on. Use a friendly and encouraging tone. If needed, provide examples of how the student could improve the essay.”

Hun studie laat zien dat feedback van de getrainde leerkrachten op vier van de vijf door de onderzoekers gebruikte kwaliteitscriteria beter scoort dan de feedback van ChatGPT. Warschauer en zijn team concluderen ook dat de verschillen in kwaliteit van de feedback opvallend klein zijn.

Warschauer en zijn collega’s concluderen op basis van hun bevindingen dat ChatGPT (nog) geen vervanging is voor feedback van een leerkracht, maar dat leerlingen ChatGPT zouden kunnen gebruiken als aanvulling op feedback van een leerkracht.

Het abstract:

Offering students formative feedback on drafts of their writing is an effective way to facilitate writing development. This study examined the ability of generative AI (i.e., ChatGPT) to provide formative feedback on students’ compositions. We compared the quality of human and AI feedback by scoring the feedback each provided on secondary student essays (n=200) on five measures of feedback quality: the degree to which feedback (a) was criteria-based, (b) provided clear directions for improvement, (c) was accurate, (d) prioritized essential features, and (e) used a supportive tone. We examined whether ChatGPT and human evaluators provided feedback that differed in quality for native English speakers and English learners and for compositions that differed in overall quality. Results showed that human raters were better at providing high-quality feedback to students in all categories other than criteria-based. Considering the ease of generating feedback through ChatGPT and its overall quality, practical differences between humans and ChatGPT were not substantial. Feedback did not vary by language status for humans or AI, but AI and humans showed differences in feedback based on essay quality. Implications for generative AI as an educational tool are discussed.

Activerend onderwijs 5: Laat je studenten niet verzuipen

Kirschner, P. A., Sweller, J., Clark, R. E. (2006). Why minimal guidance during instruction does not work: An analysis of the failure of constructivist, discovery, problem-based, experiential, and inquiry-based teaching. Educational Psychologist, 41, 75-86. https://doi.org/10.1207/s15326985ep4102_1 

Introductie

Heb je wel eens gehoord van het begrip “leerkuil” (in het Engels: “Learning pit”)? Ik had er tot voor kort ook niet van gehoord, maar als de onderstaande afbeelding bekijkt, herken je er misschien wel iets in.  ¹

 

https://www.praxisbulletin.nl/wp-content/uploads/2022/01/PB39_05_beeld_leerklimaat_2.jpg 

Bij activerend leren werken studenten geregeld in groepen aan complexe opdrachten waarbij ze flink op zichzelf worden teruggeworpen. Deze opdrachten zijn complex en uitdagend omdat studenten veel zelf uit moeten zoeken, de randvoorwaarden niet altijd duidelijk zijn en er ook niet een duidelijk vastomlijnde oplossing is. De kans is dan groot dat studenten als het ware op de bodem van de leerkuil blijven zitten en de weg eruit niet meer vinden. Dit soort opdrachten zie je vaak bij bijvoorbeeld probleem-gestuurd onderwijs, ontdekkend leren, ervaringsgericht leren en onderzoekend leren. In hun klassieke artikel uit 2006 betogen Paul Kirschner, John Sweller en Richard Clark dat de reden dat studenten in een leerkuil geraken en er niet meer uitkomen te maken heeft met het gegeven dat bij dit soort complexe opdrachten het werkgeheugen van studenten overbelast raakt. Door deze overbelasting stopt het leren vervolgens in feite. Het artikel van Kirschner et al. is een oproep om doordacht te werk te gaan bij het vormgeven van dit soort onderwijs en hierbij rekening te houden met de beperkte werkgeheugencapaciteit van studenten. Ze pleiten voor meer ondersteuning van studenten bij het leerproces. Ze stellen dat bij ontdekkend of ervaringsgericht leren de kans groot is dat er niet geleerd wordt (studenten klimmer niet meer uit de leerkuil) en ze maken in hun artikel duidelijk waarom instructie én ondersteuning van je studenten  van het grootste belang zijn.

Het idee

Kirschner et al. spreken in hun artikel over minimally guided instruction. Daarvan is sprake wanneer studenten zelf de begrippen en concepten moeten ontdekken die ze geacht worden te leren. Studenten moeten dan leren met weinig instructie en ondersteuning van de docent. Door te verwijzen naar de werking van het geheugen en door gebruik te maken van de cognitive load theory van Sweller leggen Kirschner et al. uit dat er een groot nadeel kleeft aan deze vormen van onderwijs: de kans is erg groot dat het werkgeheugen van studenten in dit soort situaties overbelast raakt. Als dat het geval is, zal er van leren geen sprake kunnen zijn. In dit soort situaties zullen studenten heel veel mentale energie moeten steken in het zoeken naar strategieën om het probleem waarvoor ze geplaatst worden op te lossen. Dit doet een groot beroep op de werkgeheugencapaciteit van studenten. Deze belasting van het werkgeheugen draagt niet bij aan het leren.

De inzichten

Wat goed is voor een expert is niet goed voor een beginner (en andersom)

Minimally guided instruction wordt vaak verdedigd met het argument dat het authentiek is: Beroepsbeoefenaars of experts werken ook vaak aan de complexe, slecht gedefinieerde problemen die centraal staan bij minimally guided instruction. Het probleem is dat experts, door hun rijke kennisbasis, veel minder tegen problemen aanlopen. Zij herkennen het probleem bijvoorbeeld veel gemakkelijker en zien sneller hoe het probleem vervolgens opgelost moet worden. Kortom hun werkgeheugen wordt veel minder belast en er blijft dus mentale capaciteit voor hen over om te leren. Bij beginners (je studenten) is dat dus heel anders. Beginners hebben baat bij duidelijke instructie en voldoende ondersteuning, maar dat ontbreekt nu juist bij minimally guided instruction.

Begin met veel instructie en ondersteuning en bouw het af

Als het onderwerp waar je studenten over leren of het probleem dat ze moeten oplossen nog erg onbekend is, dan begin je het beste met veel uitleg en veel ondersteuning. Leg belangrijke concepten bijvoorbeeld goed uit. En laat bijvoorbeeld zien hoe jij als expert het probleem stap-voor-stap zou aanpakken. Laat ze daar vervolgens mee oefenen en geef ze zo geleidelijk meer en meer verantwoordelijkheid en zelfstandigheid. Dat afbouwen is belangrijk, het expertise-reversal effect (Kalyuga et al. 2003, 2007) laat namelijk zien dat juist wanneer je studenten meer expertise verkrijgen instructie en begeleiding je studenten in de weg kunnen gaan zitten.

Meer weten?

• In deze webinar legt Paul Kirschner belangrijke theorieën uit de cognitieve psychologie uit, die hij gebruikte in zijn artikel met Sweller en Clark. https://www.youtube.com/watch?v=QrGOO_7QQOg 

1 Overigens, als je meer gaat lezen over het begrip leerkuil dan gaat er wel een kleine beerput open. Veel auteurs lijken dit begrip te koppelen aan het begrip mindset. Het idee is dan kortgezegd dat je met de juiste mindset wel uit de leerkuil kunt komen. De mindsettheorie van Carol Dweck is echter niet zonder kritiek. Zie voor meer info: https://onderwijskunde.blogspot.com/2017/06/got-my-mindset-on-you.html

Activerend onderwijs 4: Zorg dat samenwerkend leren loont

Kirschner, F., Paas, F., & Kirschner, P. A. (2009). A cognitive load approach to collaborative learning: United brains for complex learning. Educational Psychology Review, 21, 31-42. https://doi.org/10.1007/s10648-008-9095-2 

Introductie 

Het is de zevende week van je cursus. De tentamens en cursusdeadlines komen in zicht. Na je werkgroep stappen twee studenten op je af: ze willen met je spreken over hun groepsopdracht en hun groepsgenoot. Ze vertellen je dat de samenwerking erg moeizaam verloopt, dat deze groepsgenoot afspraken vaak niet na komt en dat het werk dat deze student bijdraagt ondermaats is. Het gevolg hiervan is dat de andere twee studenten extra veel werk aan het verzetten zijn en dat ze behoorlijk gefrustreerd zijn geraakt. Wat is hier aan de hand? Het leek zo'n goed idee om je studenten in groepen te laten werken, het onderwijs wordt er immers interactief van (zie het artikel van Chi en Wylie). Femke Kirschner, Fred Paas en Paul Kirschner gebruiken in hun artikel inzichten uit de cognitieve psychologie om te verklaren waarom samenwerkend leren niet in alle gevallen leerzaam is. Kort samengevat: wanneer de voordelen van samenwerkend leren niet opwegen tegen de nadelen, dan doet samenwerkend leren mogelijk meer kwaad dan goed. 

Het idee 

Kirschner et al. gebruiken in hun artikel de cognitive load theory van Sweller om te begrijpen waarom samenwerkend leren niet in alle situaties leerzaam is. Cognitive load theory gaat uit van het idee dat het menselijke werkgeheugen slechts een beperkte hoeveel informatie tegelijk kan verwerken. Wanneer het werkgeheugen te veel informatie tegelijk moet verwerken, raakt het overbelast en wordt deze informatie niet meer adequaat verwerkt en uiteindelijk niet opgeslagen in het langetermijngeheugen. Kirschner et al. betogen dat je uit dit gegeven twee zaken kunt afleiden die relevant zijn voor samenwerkend leren.

Ten eerste biedt samenwerkend leren voor studenten een voordeel: Door samen te werken kunnen studenten de hoeveel informatie die ze moeten verwerken verdelen. Er zijn meer mogelijkheden voor het verwerken van al die complexe informatie doordat groepsleden deze informatie kunnen verdelen over de werkgeheugens van de afzonderlijke groepsleden. Kirschner et al. noemen dit het distributievoordeel van samenwerkend leren.

Ten tweede biedt samenwerkend leren voor studenten een nadeel: Wanneer je samenwerkt moet je je ook bezighouden met processen waar je geen aandacht aan hoeft te schenken als je individueel zou werken. Je moet overleggen, goed afstemmen, onduidelijkheden ophelderen, je moet conflicten oplossen, etc. Niet al deze processen dragen bij aan het leerproces van studenten. Kirschner et al. spreken daarom ook wel van transactiekosten. Ook transactiekosten belasten het werkgeheugen en vormen daarmee een beperkende factor in het leerproces van studenten tijdens het samenwerken. Kirschner et al. concluderen dat samenwerkend leren alleen leerzaam kan zijn als het distributievoordeel tijdens samenwerkend leren groter is dan de transactiekosten van samenwerkend leren.

De inzichten 

Vergroot het distributievoordeel door taken voldoende complex te maken Kirschner et al. hebben in enkele studies laten zien dat je door taken voldoende complex te maken, ervoor kunt zorgen dat de voordelen van samenwerkend leren opwegen tegen de nadelen. Wanneer de groepsopdracht die je aan je studenten geeft voldoende complex is, dan is er een duidelijk distributievoordeel. Studenten hebben er dan voordeel van dat ze de mentale inspanning die het verwerken van deze grote hoeveelheid informatie kost, kunnen verdelen. Uiteraard zullen ze dan nog steeds moeten overleggen en afstemmen, maar het voordeel van het kunnen verdelen is dan groot genoeg. Als je gebruik maakt van samenwerkend leren in je onderwijs loont het dus de moeite om kritisch te kijken naar de complexiteit van de opdrachten die je aan je studenten geeft. Wanneer je vermoedt of merkt dat een opdracht te eenvoudig is, dan is het verstandig om te bedenken hoe je de opdracht complexer kunt maken. 

Verlaag transactiekosten door je studenten voldoende te ondersteunen Een andere manier om te zorgen dat samenwerkend leren loont, is door te bedenken hoe je je studenten kunt ondersteunen door voor hen de transactiekosten zo laag mogelijk te houden. Het idee hierbij is dat je ervoor zorgt dat de kans zo klein mogelijk is dat meeliftgedrag, conflicten, etc. voorkomen. Het werk van de broers David en Roger Johnson geeft al veel aanknopingspunten hiervoor. Op basis van hun jarenlange onderzoek hebben ze vijf principes geformuleerd die van belang zijn om samenwerkend leren succesvol te laten verlopen. Het eerste advies dat Johnson en Johnson geven is om te zorgen dat je studenten voldoende afhankelijk van elkaar zijn. Zorg ervoor dat je studenten elkaar écht nodig hebben. Het gebruiken van een complexe opdracht zorgt al voor een flinke mate van afhankelijkheid. Studenten hebben dan echt de inzet van hun groepsleden nodig om de opdracht tot een goed einde te brengen. Maar er zijn andere manieren die je daarnaast kunt inzetten om je studenten afhankelijk van elkaar te maken. Bijvoorbeeld door studenten verschillende rollen te geven of door informatie te verdelen onder groepsleden. De Jigsaw-methode maakt gebruikt van dit laatste principe.

De Jigsawmethode.

Een tweede advies is om te zorgen dat groepsleden individueel aanspreekbaar zijn op hun bijdrage aan het groepsproces en -resultaat. Studenten moeten kunnen zien wat ieder groepslid bijdraagt, maar dat is voor jou als docent ook van belang. Als je niet weet wat de bijdrage van ieder van je studenten is, kun je hen ook niet aanspreken op hun bijdrage. Meeliften ligt dan op de loer: het is voor studenten dan gemakkelijk en verleidelijk om op te gaan in de relatieve massa van de groep. Je kunt de individuele aanspreekbaarheid van studenten verhogen door bijvoorbeeld studenten te laten aangeven wat hun bijdrage is geweest aan het paper dat ze samen schreven. Of door hen een logboek te laten bijhouden. 

Er zijn ook leerzame transactiekosten 

Door het voorgaande zou je het idee kunnen krijgen dat alle interacties die plaatsvinden in samenwerkende groepen enkel ballast zijn. Dat is uiteraard niet zo. Denk maar terug aan het artikel van Fiorella en Mayer: iets uitleggen of onderwijzen aan een ander is een prima leeractiviteit. Het is dus de kunst om te zorgen dat de échte transactiekosten zo laag mogelijk zijn en dat de leerzame interacties de overhand kunnen krijgen. Kijk dus hoe je de verstorende processen zoals meeliften kunt verlagen door studenten van elkaar afhankelijk te maken en individueel aanspreekbaar te maken. Zorg er daarbij voor dat je studenten laat zien wat je dan wél van hen verwacht: inhoudelijke discussies, overleggen, argumenten geven, etc. Het is goed voorstelbaar dat je studenten daarover instructie of extra informatie nodig hebben. 

Meer lezen?

• Op het onderwijswetenschappen blog vind je tips voor het vormgeven van (online) samenwerkend leren. https://www.uu.nl/nieuws/hoe-bereik-ik-mijn-lesdoelen-in-een-online-setting-volgens-de-jigsaw-methode
• UU collega's Anne Geesink, Rianne Poot, Daniëlle Vlaanderen en Itzél Zuiker de matrix groepssamenwerking. Deze matrix bevat voor verschillende aandachtspunten in de samenwerking vragen voor studenten die zij aan zichzelf kunnen stellen om hun samenwerking te stimuleren. Deze matrix kun je vinden de Teaching and Learning Collection van het Centre for Academic Teaching. https://teaching-and-learning-collection.sites.uu.nl/knowledge_item/studenten-die-samenwerken-als-professionals/
• Karin Smit legt hier uit hoe je succesvol les kunt geven met de Jigsaw methoden in een online setting. https://www.uu.nl/nieuws/hoe-bereik-ik-mijn-lesdoelen-in-een-online-setting-volgens-de-jigsaw-methode