Een terugblik op 2023 en tot in 2024!

Het jaar is bijna voorbij en daarmee is dit ook de laatste blogpost op ons blog. We wensen iedereen fijne feestdagen en een mooi 2024.

Maar ook op dit blog mag een jaaroverzicht niet ontbreken, dus hier zijn de 10 meest gelezen blogposts van het afgelopen jaar.

1. De meest populaire post beschreef de zorgwekkende resultaten van het PISA onderzoek: Teleurstellende resultaten PISA 2023: Gaat de volgende studiereis naar Ierland?
2. Jullie waren ook benieuwd hoe je meerkeuzevragen effectiever maakt voor retrieval practice: Deze simpele truc maakt meerkeuzevragen effectiever voor retrieval practice
3. 2023 was ook het jaar van AI: Is feedback van ChatGPT op geschreven teksten beter dan feedback van leerkrachten?
4. Jullie waren erg benieuwd naar onze voorspelling voor de PISA resultaten: Pakjesavond? PISA-dag!
5. We deden in 2023 ook een voorspelling voor de uitkomsten van het PIRLS onderzoek: Begrijpend lezen over begrijpend lezen: PIRLS komt eraan!
6. We publiceerden een blogreeks over activerend onderwijs: Activerend onderwijs 2: Acht manieren om actief leren te stimuleren
7. En ook deze post over activerend onderwijs was populair: Activerend onderwijs 1: Maak het constructief en interactief
8. En onze laatste voorspelling ging over De Staat van het Onderwijs: Vooruitkijken naar De Staat van het Onderwijs 2023
9. Ook deze post over AI in het onderwijs werd veel gelezen: Het gevaar van AI: Gaan studenten er te veel op leunen in plaats van ervan te leren?
10. Hoe effectief is Montessori-onderwijs? Meta-analyse toont positieve effecten van Montessori onderwijs

Bing maakte deze kerstkaart.

Het digitale dilemma: Is digitaal lezen een vloek of een zegen voor begrijpend lezen?

Leuk dat je dit blog voor je plezier leest! Waarschijnlijk doe je dit op je laptopscherm, iPad of je smartphone en heb je deze blog niet uitgeprint om vanaf het papier te lezen. En waarschijnlijk lees je dit blog voor je ontspanning of in je vrije tijd. Niet zo gek: We lezen met zijn allen meer en meer digitaal in onze vrije tijd. Maar wat voor invloed heeft dit digitaal lezen in onze vrije tijd op ons vermogen tot begrijpend lezen? Een nieuwe meta-analyse in Review of Educational Research van Altamura, Vargas en Salmerón vatte de uitkomsten van 26 studies naar dit onderwerp samen. 

De resultaten laten zien dat er sprake is van een digitaal dilemma. De overall correlatie van r = .055 laat zien dat er een klein maar significant effect is van digitaal lezen in de vrije tijd op vermogen tot begrijpend lezen. Dus er is een kleine, maar positieve samenhang tussen digitaal lezen in de vrije tijd en het vermogen tot begrijpend lezen: wie meer digitaal leest in de vrije tijd, ontwikkelt zijn of haar vermogens tot begrijpend lezen meer.

Het digitale dilemma bestaat eruit dat deze correlatie veel lager is dan de correlatie tussen vanaf papier lezen in de vrije tijd en de vaardigheid tot begrijpend lezen. In eerder meta-analyses waarin de focus lag op lezen vanaf papier, waren de correlaties gemiddeld tot sterk, terwijl er hier sprake is van een zwakke correlatie. Digitaal lezen in de vrije tijd lijkt dus minder bij te dragen aan de ontwikkeling van de vaardigheid tot begrijpend lezen dan lezen vanaf papier. Eerder schreven we al over het screen inferiority effect en dat lijkt hier wederom bevestigd te worden.

Opvallend is dat voor jonge lezers (basisschoolleeftijd en onderbouw van het voortgezet onderwijs) de gevonden correlatie zelfs negatief is. De leeftijd van lezers lijkt in dit verband dus belangrijk te zijn. Bij jongere lezers kan digitaal lezen in de vrije tijd negatief samenhangen met het vermogen tot begrijpend lezen. Voor studenten, en wellicht voor lezers van dit blog, is het goede nieuws dat deze relatie om lijkt te draaien naarmate je ouder wordt: op latere leeftijd is er een sterkere positieve samenhang tussen digitaal lezen in de vrije tijd en de vaardigheid tot begrijpend lezen.

De auteurs zoeken de verklaring voor de lage correlatie tussen digitaal lezen en vaardignheid tot begrijpend lezen in de manier waarop we vaak omgaan met digitale teksten. Vaak gaat het om korte teksten, die soms ook maar kort in beeld zijn (bijvoorbeeld op social media). Dit moedigt mogelijk oppervlakkigere leesstrategieën aan dan wanneer vanaf papier gelezen wordt.

Het abstract

Previous research has evidenced a strong positive relationship between leisure print reading habits and reading comprehension across the lifespan. The rapid evolution of new forms of leisure digital reading could modify such a relationship. This meta-analysis extends previous research by analyzing the relationship between leisure digital reading habits and reading comprehension. We analyzed 40 effect sizes using multilevel analysis. Data involved 469,564 participants from studies published between 2000 and 2022. The average effect size reflects a small significant effect on reading comprehension (r = .055), which contrasts with the medium size effects found in the literature related to print reading habits and comprehension. This relationship is significantly moderated by the reader’s educational stage. At early stages (primary and middle school) negative relationships are observed between leisure digital reading and text comprehension, while at later stages (high school and university) the relationship turns positive. We highlight the different contributions that reading modalities and technological contexts have on our reading comprehension, especially across the lifespan. In sum, leisure digital reading does not seem to pay off in terms of reading comprehension, at least, as much as traditional print reading does.

 

Digital natives: Mythe, realiteit of betekenisloos begrip?

Als je deze blog leest, heb je vast wel eens gehoord van het begrip "digital natives". Dit begrip zou verwijzen naar een generatie die geboren is na de komst van digitale technologie en die verondersteld wordt goed met technologie overweg te kunnen. Maar is deze term juist of misleidend? Diverse auteurs hebben gesuggereerd dat "digital natives" een onderwijsmythe is, net als bijvoorbeeld leerstijlen. Een nieuw onderzoek werpt licht op dit controversiële begrip en de evolutie ervan in de loop der tijd.

Deze nieuwe studie in Computers & Education onderzocht 1886 artikelen gepubliceerd tussen 2001 en 2022. Ten eerste laat het onderzoek zien dat de term "digital natives" nog steeds veel gebruikt wordt, ondanks dat het door veel onderzoekers bekritiseerd wordt. Volgens deze onderzoekers bestaat er voor het begrip geen deugdelijks empirisch bewijs. Toch laat deze studie zien dat het begrip digital natives populair blijft. De auteurs signaleren dat dit vooral het geval is in westerse landen.

Ten tweede suggereert het onderzoek dat de term "digital natives" in de loop van de tijd is veranderd en zich heeft aangepast aan verschillende contexten en doeleinden. Het is een metafoor geworden die op verschillende fenomenen kan worden toegepast, vaak zonder veel verband met de oorspronkelijke betekenis. 

De studie concludeert dat de term "digital natives" geen vaststaand concept is, maar aan ontwikkeling onderhevig. De auteurs merken op dat "digital natives" inmiddels meerdere interpretaties en betekenissen heeft en vragen zich af of het begrip op deze manier betekenisloos wordt. Een betekenisloze mythe wellicht?

Het abstract

The term “digital natives” was introduced in 2001 to describe a generation that has grown up surrounded by technology and the internet. The accompanying claims of a new way of thinking among digital natives were influential in shaping educational policy. Still, they were challenged by research that found no evidence of generation-wide cognitive changes in learners. Yet, the digital natives narrative persists in popular media and the education discourse. This study set out to investigate the reasons for the persistence of the digital native myth. It analyzed the metadata from 1886 articles related to the term between 2001 and 2022 using bibliometric methods and structural topic modeling. The results show that the concept of “digital native” is still both warmly embraced and fiercely criticized by scholars mostly from western and high income countries, and the volume of research on the topic is growing. However, the results suggest that what appears as the persistence of the idea is actually evolution and complete reinvention: The way the “digital native” concept is operationalized has shifted over time through a series of (metaphorical) mutations. The concept of digital native is one (albeit a highly successful) mutation of the generational gap discourse dating back to the early 1900s. While the initial digital native literature relied on Prensky's unvalidated claims and waned upon facing empirical challenges, subsequent versions have sought more nuanced interpretations. Notably, a burgeoning third mutation now co-opts the “digital native” terminology for diverse purposes, often completely decoupled from the foundational literature and its critiques. This study explains the concept's persistence as dynamic evolution of the digital native discourse in contemporary academic and public spheres.

Teleurstellende resultaten PISA 2023: Gaat de volgende studiereis naar Ierland?

Soms vragen we ons af of er reisorganisatoren naar de PISA-resultaten kijken om een volgend onderwijsgidsland te kiezen. Ooit was het Finland, recenter was het Estland, maar nu, waar moeten we nu naartoe, nu het onderwijspeil steeds lager komt te staan in de Lage Landen?

PISA (Programme for International Student Assessment) laat zien: Voor Nederland zijn de ontwikkelingen voor rekenen, lezen én wetenschapskennis zeer negatief:

Voor wie denkt dat deze dramatische resultaten werden veroorzaakt door COVID-19 en de schoolsluitingen: de trend is in Nederland erger dan de daling die COVID-19 gemiddeld wereldwijd veroorzaakte. Om een idee te geven: het rapport stelt dat 20 punten op de PISA test gelijk staat aan het volgen van 1 jaar onderwijs. Dat betekent dat Nederlandse kinderen nu 2 jaar meer tijd nodig hebben voor wiskunde om op het gemiddelde peil van 2003 te komen: in 2003 lag de score rond 540 punten en nu onder de 500 punten. Voor lezen is het zelfs meer dan 2,5 jaar om op gemiddelde niveau te komen. Inmiddels scoren de Nederlandse jongeren onder het OESO-gemiddelde voor lezen.

Voor het domein waar Nederland er het slechtste voorstaat, lezen, lijkt Ierland inderdaad de aangewezen plek als je niet te ver wil reizen (bijvoorbeeld naar Singapore). In iets mindere mate geldt dit ook voor Engeland. 

Kris Van den Branden beschreef eerder al wat Ierland heeft gedaan om de achterstand in lezen te keren, check: https://duurzaamonderwijs.com/2019/12/03/begrijpend-lezen-en-pisa-kunnen-we-iets-leren-van-ierland/. 

In Nederland wacht de nieuwe ministers van onderwijs een zware taak: het tij moet gekeerd worden. Het zal niet de eerste keer zijn dat wordt opgeroepen tot een Deltaplan voor het onderwijs. Maar dit keer staat het water ons echt aan de lippen.

Daarbij gaat het een uitdaging zijn om niet te fatalistisch worden over de staat van het onderwijs: leraren proberen dag in dag uit het verschil te maken voor hun leerlingen onder vaak moeilijke omstandigheden (lerarentekort, werkdruk, administratieve lasten). Zij verdienen blijvende support en waardering. Aan de andere kant moeten we waken voor relativisme: de trend is duidelijk, de ontwikkelingen zijn zorgwekkend en het is allerminst duidelijk dat met de huidige inspanningen van bijvoorbeeld de overheid de trend gekeerd wordt. 

De reactie van de VO-raad vorig jaar was daarom erg opvallend: openlijk werd de waarde van de PISA-onderzoeken in twijfel getrokken. En uiteraard: de PISA-scores kunnen niet de enige indicatie zijn waarop beleid gebaseerd wordt, maar het zou onverstandig zijn om de signalen die de PISA- en ook de PIRLS-onderzoeken afgeven te negeren. De tijd van struisvogelpolitiek is voorgoed voorbij.

Deze blogpost is geschreven door: Pedro De Bruyckere, Casper Hulshof en Jeroen Janssen. Pedro, Casper en Jeroen zijn allen onderzoeker bij de Afdeling Educatie van de Universiteit Utrecht en als docenten betrokken bij de opleidingen Onderwijswetenschappen.

Het gevaar van AI: Gaan studenten er te veel op leunen in plaats van ervan te leren?

AI-ondersteunde leertechnologieën, zoals ChatGPT en writing assistants, worden meer ingezet in het onderwijs en bieden verschillende voordelen, zoals gepersonaliseerde feedback en adaptieve instructie. Maar hoe beïnvloeden deze technologieën de agency van studenten, hun vermogen om hun eigen leerervaringen vorm te geven en verantwoorde beslissingen te nemen? Een recente studie van Darvishi et al. (2023) onderzocht deze vraag in de context van peer feedback.

Aan hun onderzoek deden 1625 studenten in 10 cursussen mee die werkten met een adaptief onderwijssysteem dat AI gebruikt om de kwaliteit van peer feedback te controleren en te verbeteren. De eerste vier weken kregen alle studenten AI-prompts die verbeteringen in hun feedback voorstelden als deze te kort of te algemeen was of leek op hun eerdere opmerkingen. De volgende vier weken werden de studenten willekeurig ingedeeld in een van de volgende vier groepen: een controlegroep die AI-prompts bleef ontvangen, een groep die geen prompts ontving, een groep die checklists voor zelfcontrole ontving in plaats van AI-prompts, en een groep die zowel AI-prompts als checklists voor zelfcontrole ontving.

De resultaten van het onderzoek toonden aan dat studenten eerder vertrouwden op, dan leerden van AI-hulp. Toen AI-prompts werden verwijderd, nam de kwaliteit van de feedback van studenten aanzienlijk af, wat erop wijst dat ze niet de vaardigheden of gewoonten ontwikkelden om zelfstandig effectieve feedback te geven. Checklists voor zelfcontrole, konden het gat dat was ontstaan door AI-hulp gedeeltelijk opvullen, maar waren niet zo effectief als AI-prompts. Bovendien resulteerde de combinatie van AI-prompts en zelfcontrolerende checklists niet in een betere kwaliteit feedback dan AI-prompts alleen.

Het onderzoek roept belangrijke vragen op over de impact van kunstmatige intelligentie op de agency van studenten. Hoewel AI studenten op verschillende manieren kan ondersteunen, kan het ook hun ontwikkeling van agency en zelfregulatievaardigheden beperken.

Het abstract

AI-powered learning technologies are increasingly being used to automate and scaffold learning activities (e.g., personalised reminders for completing tasks, automated real-time feedback for improving writing, or recommendations for when and what to study). While the prevailing view is that these technologies generally have a positive effect on student learning, their impact on students’ agency and ability to self-regulate their learning is under-explored. Do students learn from the regular, detailed and personalised feedback provided by AI systems, and will they continue to exhibit similar behaviour in the absence of assistance? Or do they instead continue to rely on AI assistance without learning from it? To contribute to filling this research gap, we conducted a randomised controlled experiment that explored the impact of AI assistance on student agency in the context of peer feedback. With 1625 students across 10 courses, an experiment was conducted using peer review. During the initial four-week period, students were guided by AI features that utilised techniques such as rule-based suggestion detection, semantic similarity, and comparison with previous comments made by the reviewer to enhance their submissions if the feedback provided was deemed insufficiently detailed or general in nature. Over the following four weeks, students were divided into four different groups: control (AI) received prompts, (NR) received no prompts, (SR) received self-monitoring checklists in place of AI prompts, and (SAI) had access to both AI prompts and self-monitoring checklists. Results of the experiment suggest that students tended to rely on rather than learn from AI assistance. If AI assistance was removed, self-regulated strategies could help in filling in the gap but were not as effective as AI assistance. Results also showed that hybrid human-AI approaches that complement AI assistance with self-regulated strategies (SAI) were not more effective than AI assistance on its own. We conclude by discussing the broader benefits, challenges and implications of relying on AI assistance in relation to student agency in a world where we learn, live and work with AI.