Het gevaar van AI: Gaan studenten er te veel op leunen in plaats van ervan te leren?

AI-ondersteunde leertechnologieën, zoals ChatGPT en writing assistants, worden meer ingezet in het onderwijs en bieden verschillende voordelen, zoals gepersonaliseerde feedback en adaptieve instructie. Maar hoe beïnvloeden deze technologieën de agency van studenten, hun vermogen om hun eigen leerervaringen vorm te geven en verantwoorde beslissingen te nemen? Een recente studie van Darvishi et al. (2023) onderzocht deze vraag in de context van peer feedback.

Aan hun onderzoek deden 1625 studenten in 10 cursussen mee die werkten met een adaptief onderwijssysteem dat AI gebruikt om de kwaliteit van peer feedback te controleren en te verbeteren. De eerste vier weken kregen alle studenten AI-prompts die verbeteringen in hun feedback voorstelden als deze te kort of te algemeen was of leek op hun eerdere opmerkingen. De volgende vier weken werden de studenten willekeurig ingedeeld in een van de volgende vier groepen: een controlegroep die AI-prompts bleef ontvangen, een groep die geen prompts ontving, een groep die checklists voor zelfcontrole ontving in plaats van AI-prompts, en een groep die zowel AI-prompts als checklists voor zelfcontrole ontving.

De resultaten van het onderzoek toonden aan dat studenten eerder vertrouwden op, dan leerden van AI-hulp. Toen AI-prompts werden verwijderd, nam de kwaliteit van de feedback van studenten aanzienlijk af, wat erop wijst dat ze niet de vaardigheden of gewoonten ontwikkelden om zelfstandig effectieve feedback te geven. Checklists voor zelfcontrole, konden het gat dat was ontstaan door AI-hulp gedeeltelijk opvullen, maar waren niet zo effectief als AI-prompts. Bovendien resulteerde de combinatie van AI-prompts en zelfcontrolerende checklists niet in een betere kwaliteit feedback dan AI-prompts alleen.

Het onderzoek roept belangrijke vragen op over de impact van kunstmatige intelligentie op de agency van studenten. Hoewel AI studenten op verschillende manieren kan ondersteunen, kan het ook hun ontwikkeling van agency en zelfregulatievaardigheden beperken.

Het abstract

AI-powered learning technologies are increasingly being used to automate and scaffold learning activities (e.g., personalised reminders for completing tasks, automated real-time feedback for improving writing, or recommendations for when and what to study). While the prevailing view is that these technologies generally have a positive effect on student learning, their impact on students’ agency and ability to self-regulate their learning is under-explored. Do students learn from the regular, detailed and personalised feedback provided by AI systems, and will they continue to exhibit similar behaviour in the absence of assistance? Or do they instead continue to rely on AI assistance without learning from it? To contribute to filling this research gap, we conducted a randomised controlled experiment that explored the impact of AI assistance on student agency in the context of peer feedback. With 1625 students across 10 courses, an experiment was conducted using peer review. During the initial four-week period, students were guided by AI features that utilised techniques such as rule-based suggestion detection, semantic similarity, and comparison with previous comments made by the reviewer to enhance their submissions if the feedback provided was deemed insufficiently detailed or general in nature. Over the following four weeks, students were divided into four different groups: control (AI) received prompts, (NR) received no prompts, (SR) received self-monitoring checklists in place of AI prompts, and (SAI) had access to both AI prompts and self-monitoring checklists. Results of the experiment suggest that students tended to rely on rather than learn from AI assistance. If AI assistance was removed, self-regulated strategies could help in filling in the gap but were not as effective as AI assistance. Results also showed that hybrid human-AI approaches that complement AI assistance with self-regulated strategies (SAI) were not more effective than AI assistance on its own. We conclude by discussing the broader benefits, challenges and implications of relying on AI assistance in relation to student agency in a world where we learn, live and work with AI.

Het screen inferiority effect: Lezen van een scherm is nadelig voor begrijpend lezen

Hoewel digitale schermen niet meer weg te denken zijn uit het dagelijks leven en studenten steeds vaker hun teksten en artikelen lezen van hun laptop of tablet, hebben onderzoekers meermaals laten zien dat er mogelijk sprake is van een screen inferiority effect: lezers die van een scherm lezen lijken teksten wat minder goed te begrijpen dan lezers die teksten van papier lezen. Een nieuwe meta-analyse in Journal of Educational Psychology vatte de resultaten van 49 studies samen. Deze studies onderzochten allen het effect van het lezen van het scherm versus het lezen van papier. De resultaten van deze meta-analyse laten zien dat er inderdaad sprake is van een licht screen inferiority effect. Afhankelijk van het onderzoeksdesign dat gehanteerd werd, vonden de auteurs een effect size van g = -0.113 of een effect size van g = -0.103. Uit aanvullende analyses blijkt dat het screen inferiority effect groter is bij studenten in het hoger onderwijs dan bij leerlingen uit het basis- en voortgezet onderwijs.

Het abstract

As handheld devices, such as tablets, become a common tool in schools, a critical and urgent question for the research community is to assess their potential impact on educational outcomes. Previous meta-analytic research has evidenced the “screen inferiority effect”: Readers tend to understand texts slightly worse when reading on-screen than when reading the same text in print. Most primary studies from those meta-analyses used computers as on-screen reading devices. Accordingly, the extent to which handheld devices, which provide a reading experience closer to books than computers, are affected by the screen inferiority effect remains an open question. To address this issue, we reviewed relevant literature regarding potential moderating factors for the screen inferiority effect through the lenses of the reading for understanding framework. We then performed two meta-analyses aimed at examining the differences in reading comprehension when reading on handheld devices, as compared to print. Results from the two multilevel random-effect meta-analyses, which included primary studies that used either between-participant (k = 38, g = −0.113) or within-participant (k = 21, g = −0.103) designs, consistently showed a significant small size effect favoring print text comprehension. Moderator analyses helped to partially clarify the results, indicating in some cases a higher screen inferiority effect for undergraduate students (as compared to primary and secondary school students) and for participants who were assessed individually (as opposed to in groups). We discuss the need to continue fostering print reading in schools while developing effective ways to incorporate handheld devices for reading purposes. 

Terugblik op 10 jaar onderwijswetenschappen blog: Wat zijn de meest populaire posts? (Deel 4)

   

Ongemerkt is er in 2022 een jubileum gepasseerd: het onderwijswetenschappen blog bestaat 10 jaar! Het einde van het jaar is een mooi moment om terug te blikken op 10 jaar blogposts over onderwijs, onderzoek en meer. Wat waren de 10 meest gelezen blogs in die 10 jaar tijd?

Vandaag kijken we naar nummer 4 en nummer 3:

Nummer 4: All work and no play? Taal- en rekenonderwijs in de kleuterklassen (7 januari 2019, 7240x gelezen)

In langlopende onderwijsdiscussies zijn er vaak twee kampen die met elkaar in de clinch liggen. Zo ook bij de vraag of het verstandig is om in het kleuteronderwijs aandacht te besteden aan het (beginnend) leren lezen, schrijven en rekenen. Deze discussie wordt vaak gereduceerd of je bij kamp "instructie" of kamp "spelen" hoort. In deze blog bespreken we een onderzoek dat laat zien dat aandacht besteden aan de ontwikkeling van lees-, schrijf- en rekenvaardigheid positieve effecten heeft en eigenlijk geen nadelige effecten laat zien.

Nummer 3: Help, mijn kind moet naar een Steve Jobsschool! (16 april 2013, 10221x gelezen)

Het is misschien wel weer wat op de achtergrond van ons collectieve geheugen geraakt, maar er was eens een opiniepeiler, die dacht de Deventer moordzaak op te kunnen lossen en toen zijn peilen op het onderwijs ging richten. Het resultaat: de Steve Jobsscholen. De Steve Jobsscholen verdwenen weer even snel als ze gekomen zijn, onder andere na stevige kritiek van de Onderwijsinspectie. In deze post analyseert Casper het concept achter de Steve Jobsscholen.

Check morgen ons blog voor de twee meest gelezen posts van ons onderwijswetenschappen blog!

Het staat in de cursushandleiding! Hoe designkenmerken van online cursussen samenhangen met studieprestaties

"Het staat in de cursushandleiding!" is een veel gehoord antwoord op vragen van studenten over de cursus. In een recent onderzoek in het tijdschrift Plos One onderzoeken Fischer en collega's de cursushandleidingen van 11 online cursussen. De premisse van het onderzoek is dat een goede cursushandleiding informatie geeft over belangrijke ontwerpkenmerken van de cursus (bv. de cursusdoelen, de manier waarop interactie is georganiseerd) en dat deze ontwerpkenmerken samenhangend zijn met studieprestaties van studenten. 

De auteurs komen tot een codeerschema dat vier belangrijke ontwerpkenmerken voor online cursussen bevat. Ze baseren zich hierbij op een kwalitatieve analyse van 11 cursushandleidingen van online cursussen die werden aangeboden door een Amerikaanse universiteit. Het uiteindelijke codeerschema bestond uit 23 codes gerangschikt onder vier categorieën: technologie, cursusorganisatie, leerdoelen en alignment en interpersoonlijke interacties.

Interassant is dat de auteurs vervolgens onderzoeken of het wel of niet voorkomen van bepaalde ontwerpkenmerken samenhangt met studieprestaties van studenten. Uit de analyse blijkt dat de ontwerpkenmerken cursusorganisatie en leerdoelen en alignment significante predictoren van studieprestaties zijn.

Het abstract:

The importance of online learning in higher education settings is growing, not only in wake of the Covid-19 pandemic. Therefore, metrics to evaluate and increase the quality of online instruction are crucial for improving student learning. Whereas instructional quality is traditionally evaluated with course observations or student evaluations, course syllabi offer a novel approach to predict course quality even prior to the first day of classes. This study develops an online course design characteristics rubric for science course syllabi. Utilizing content analysis, inductive coding, and deductive coding, we established four broad high-quality course design categories: course organization, course objectives and alignment, interpersonal interactions, and technology. Additionally, this study exploratively applied the rubric on 11 online course syllabi (N = 635 students) and found that these design categories explained variation in student performance.

Revisely: een tool voor feedback op teksten

Er wordt in het onderwijs veel geschreven. U herinnert zich wellicht nog de tijd dat je je teksten op papier moest inleveren met dubbele regelafstand zodat de docent er gemakkelijk commentaar bij kon schrijven. Tegenwoordig worden teksten meestal digitaal ingeleverd (ikzelf verbied studenten zelfs expliciet om papieren versies in te leveren). Commentaar op een tekst geven kan met elke tekstverwerker, via commentaar in de kantlijn bijvoorbeeld. Dat werkt prima, en ik en zo'n beetje al mijn collega's werken volgens die methode. Wat er lastig aan is is het gebrek aan administratie (iedereen slaat documenten op zijn eigen manier op) en het feit dat je bij bijvoorbeeld 30 papers telkens hetzelfde commentaar aan het geven bent. Dat commentaar is ook niet gecategoriseerd, en het zou ook handig zijn als het commentaar gekoppeld zou kunnen worden aan een scoreformulier (of een rubric). Kortom: een gat in de markt, dat inmiddels wordt opgevuld door verschillende bedrijven.

Het logo van Revisely

Een van die bedrijven is Revisely, een bedrijf dat nog volop aan haar tool aan het sleutelen is maar dat al wel enige voet aan de grond heeft in het voortgezet onderwijs. De Universiteit Utrecht start binnenkort met een pilot, en als die een succes wordt dan gaan we allen gaandeweg op het gebruik van Revisely over. Tijdens een goedbezochte bijeenkomst werd Revisely geintroduceerd en kregen we de gelegenheid om (kritische) vragen te stellen en om Revisely uit te testen (ik had dat zelf al eens eerder gedaan). Ook voor de medewerkers van Revisely was het een informatieve bijeenkomst, want het bleek al snel dat de verwachtingen die docenten in het hoger onderwijs hebben (en wellicht ook de eisen die zij stellen) anders zijn dan die in het voortgezet onderwijs.

Eigenschappen van Revisely

Revisely werkt binnen elke webbrowser. Aan mobiele apps wordt nog gewerkt. Studenten plaatsen hun tekst in een veld op de webpagina, klikken op 'verzenden', en de docent kan ermee aan de slag. Uploaden van een document is nog niet mogelijk, dat staat op de roadmap voor januari (de roadmap is het ontwikkelplan, sommige zaken krijgen een hogere prioriteit dan andere). Geen breekpunt, maar erg handig is het niet (afbeeldingen gaan verloren bijvoorbeeld). Ingeleverde teksten worden automatisch op plagiaat gescand, daarvoor wordt het document naar de Zweedse servers van Urkund gestuurd. Een concurrent als Turnitin maakt gebruik van het bekendere Ephorus, maar Urkund zou minstens even goed moeten zijn, en "Hier komt de NSA tenminste niet bij." Ja, vast. Het systeem geeft zelf ook alvast feedback: enig basaal commentaar op spelling en grammatica wordt automatisch aan een document toegevoegd (je kunt dat ook uitzetten).
Een paar 'unique selling points' voor het hoger onderwijs (in ieder geval voor ons!) zijn de mogelijkheid tot het geven van peer feedback (studenten die op elkaars werk commentaar geven) en het bekijken van een document door meerdere correctoren. Deze mogelijkheden staan op de rol voor een grote update in oktober.

Feedback-keuzevenster

Goed, je hebt een tekst ontvangen en nu wil je er commentaar op geven. Dat doe je door een woord of zinsdeel in de tekst te selecteren en daarna op een icoon te klikken: een duim omhoog (voor iets positiefs), een duim omlaag (voor een kritische opmerking), of een neutrale opmerking. De duim omlaag werd niet zo gewaardeerd, maar is helaas niet te veranderen. Na het kiezen van een duim verschijnt een popup-menu, waar je je specifieke commentaar kunt selecteren uit een enorme lijst. Gelukkig kun je zelf 'favorites' kiezen zodat de lijst enigszins werkbaar wordt. Ik en enkele andere 'powerusers' vroegen of er ook sneltoetscombinaties mogelijk zijn om nog makkelijker feedback te geven. Helaas. Er werd door de aanwezige Reviselymedewerkers meteen een aantekening gemaakt, maar dergelijke extra features krijgen geen hoge prioriteit. De verschillende typen feedback hebben hun eigen achtergrondkleur (vage pastelkleuren, helaas niet aan te passen; voor kleurenblinden werkt dit niet goed), en een student kan de verschillende typen feedback aan- en uitzetten. Auditieve feedback (gesproken commentaar) is nog niet mogelijk, maar ook daar wordt aan gewerkt. Volgens Revisely is er wel veel vraag naar maar wordt het in de praktijk nauwelijks gebruikt.
Na alle uitleg mochten we zelf ook nog even met Revisely aan de slag. Het werkt allemaal heel redelijk. Dat het feedbackselectiescherm een popupvenster is dat over de tekst heen komt te staan is hinderlijk, maar het is een bewuste keuze: op deze manier kan het op alle schermen en platforms er hetzelfde uitzien. Ik had het liever anders gezien, met een vaste commentaarbalk aan de zijkant van het scherm waarbij je je feedback de tekst insleept, bijvoorbeeld.

Conclusie

Ik kan nog slechts een voorlopige conclusie trekken. Het is duidelijk dat Revisely goed op weg is, maar nog een lang eind te gaan heeft. De in het voortgezet onderwijs opgebouwde ervaring is goed, maar de vergelijkbaarheid met het hoger onderwijs lijkt een beetje overschat te worden. De komende updates zullen moeten uitwijzen of de mogelijkheden die voor ons essentieel zijn daadwerkelijk onderdeel van het product worden. Voorlopig moeten we het met beloften daarover doen. Dat zal mij er echter niet van weerhouden om Revisely een eerlijke kans te geven. Bij het eerstvolgende vak waarin studenten een schrijfopdracht uitvoeren ga ik de tool gebruiken om feedback te geven. Wordt dus zeker vervolgd.

Rubicon subsidie voor Anouschka van Leeuwen voor onderzoek naar learning analytics voor docenten

Anouschka van Leeuwen, onderzoeker en docent bij Onderwijskunde, heeft een NWO Rubiconbeurs verworven. Het programma Rubicon is bedoeld om jonge, veelbelovende wetenschappers de mogelijkheid te geven internationale onderzoekservaring op te doen. Dit is een belangrijke stap in een wetenschappelijke carrière.

Anouschka gaat de komende 1,5 jaar onderzoek doen aan Ruhr-Universität Bochum bij de onderzoeksgroep van prof. dr. Nikol Rummel en zal ook gaan samenwerken met dr. Vincent Aleven (Carnegie Melon University). Anouschka's project is getiteld: "From Overload to Overview: Learning Analytics to Aid Teachers" en richt zich op het inzetten van learning analytics om docenten te ondersteunnen bij het begeleiden van samenwerkend leren.

Engelstalige samenvatting
Collaborative learning is very effective, at least when adaptive supported is provided. Providing adaptive support, however, imposes on teachers the demanding if not impossible task of maintaining an overview of students’ collaborative activities, evaluating those, and intervening when necessary. When supported by computer software, collaboration leaves “digital traces”. The collection a
nd analysis of these traces (i.e., learning analytics; LA) has the potential to help teachers move from overload to overview of students’ collaboration. Moreover, LA cannot only aid teachers by mirroring student activities, but also automate evaluation and intervention. The question is which level of LA-aid is optimal to enable adaptive teacher support of collaboration.

This question is investigated with both simulation and classroom studies. In the simulation phase, LA dashboards are developed that 1) mirror, 2) evaluate, or 3) provide automatic interventions on student activities. The dashboards are developed by applying rapid prototyping, a novel approach in this area. Subsequently, the effects of dashboards on teacher behavior are evaluated with simulated classroom situations. The outcomes are used as input for the classroom studies, in which effects of the three LA aid levels are measured on changes in teacher behavior, outcomes of student collaboration, and student perceptions of received support.

Nederlandstalige samenvatting
Overload of overzicht: Samenwerking tussen docent en computer
Docenten hebben niet de middelen om samenwerkende groepen leerlingen uitgebreid te volgen en feedback te geven. Drie manieren om docenten hierbij middels learning analytics te ondersteunen, worden vergeleken op veranderingen in docentgedrag, studentpercepties van docentbegeleiding, en uitkomsten van de samenwerking.

Mindfulness trainen op school: werkt dat?

Teach us to care and not to care

Teach us to sit still.

T.S. Eliot - Ash-Wednesday (1930)

En het is zo stil in mij 

Ik heb nergens woorden voor

Het is zo stil in mij 

En de wereld draait maar door.

Van Dik Hout - Stil in mij

Tout le malheur des hommes vient d'une seule chose, qui est de ne savoir pas demeurer en repos dans une chambre.

Blaise Pascal

Wat zal staatssecretaris Sander Dekker opgekeken hebben, de eerste keer dat hij een blik wierp in de digitale ideeënbus van het Onderwijs2032 platform. Hoog bovenaan een flink aantal lijstjes prijkte het verzoek tot het structureel invoeren van oefening in 'mindfulness' op school. Oefening hierin zou allerlei voordelen hebben voor het welbevinden van kinderen en ook bijdragen aan schoolprestaties. Een stukje rust in de hectiek van alledag (in een steeds ingewikkeldere en vluchtigere maatschappij) is misschien ook geen overbodige luxe. Mindfulness is dan ook hot. Op internet wemelt het van de kleine bedrijfjes die trainingen en workshops verzorgen. Het gaat dan meestal om zo'n 8 tot 10 sessies van anderhalf uur. Het ligt voor de hand dat er aardig wat geld in deze sector omgaat. Naast mindfulness voor leerlingen bestaan er ook trainingen mindfulness voor leerkrachten, zodat zij zelf leren om de boodschap door te geven. Rond het begrip hangt dus een vrij positieve vibe. Tegelijk zijn er zoals wel vaker het geval is mensen die het begrip veel te zweverig vinden en die twijfels hebben bij de effectiviteit van oefening in mindfulness op cognitief en sociaal welbevinden. Wie op zoek gaat naar wetenschappelijk onderzoek naar mindfulness belandt in een vrijwel ondoordringbaar bos vol studies en studietjes. Probeer daar maar eens wijs uit te worden. Gelukkig kwam ik een studie tegen uit 2014 waarin onderzoekers van de Europa-Universiteit Viadrina in Frankfurt geprobeerd hebben om al het onderzoek naar mindfulness op school samen te nemen en te analyseren: een meta-analyse. De studie brengt een aantal interessante aspecten en problemen aan het licht en is daarom de moeite waard om te bespreken (het hele artikel is overigens gratis beschikbaar).

Een belangrijke vraag is: wat ís mindfulness? Een hanteerbare definitie is die van Jon Kabat-Zinn: het psychologische vermogen om moedwillig ervaringen van het moment te ondergaan, zonder over die ervaringen te oordelen maar daarentegen open te staan voor en die ervaring en een gevoel van nieuwsgierigheid op te wekken. Er is een duidelijke relatie tussen mindfulness en meditatie en yoga. Het doel is in alle gevallen hetzelfde: door ontspanning oefenen om lichaam en geest te focussen en niet afgeleid te raken. De technieken worden in allerlei variaties al jaren toegepast in een klinische setting, bijvoorbeeld als onderdeel van een behandeling bij een depressieve stoornis. De ervaringen daarmee zijn redelijk positief. De vraag is of stressreductie en meer welbevinden ook in niet-klinische settings voordeel hebben, zoals in het onderwijs. Aangezien concentratie en aandacht ook belangrijke voorwaarden voor leren zijn, is de link tussen mindfulness en onderwijs vrij makkelijk te leggen. Zoals de onderzoekers het zelf formuleren: "Mindfulness can be understood as the foundation and basic pre-condition for education." Zij zien mindfulness als het tegenovergestelde van dagdromen, een proces waarbij op allerlei foute plekken in de hersenen activiteit te zien is. Hier hebben de onderzoekers zeker een punt, te veel 'malen' is niet zo goed voor ons, zo blijkt uit onderzoek. Toch komt al snel in het artikel een beetje nare aap uit de mouw: de onderzoekers zijn niet geheel onbevooroordeeld: zij lijken erg graag te willen aantonen dat mindfulnesstraining effectief is. Daarvoor moeten zij zich wel in een aantal bochten wringen. Wel melden ze dat het enthousiasme over mindfulness op dit moment groter is als het bewijs voor de effectiviteit ervan. Maar: effectiviteit meten is moeilijk want trainingsprogramma's blijken nogal uiteenlopend te zijn. Er wordt heel wat aangemodderd, lijkt het. Ook het wetenschappelijke gehalte van veel onderzoek naar mindfulness laat te wensen over. Dat heeft tot gevolg dat een uitgebreide zoektocht naar literatuur 207 studies oplevert, waarvan na het toepassen van enkele criteria (bijvoorbeeld: vind het onderzoek plaats in een school, en is er ook een uitkomst gemeten) 24 studies overblijven (waarvan slechts 13 'peer reviewed'): bijna 90 procent van de gevonden onderzoeken voldeed dus niet aan de minimumeisen voor een meta-analyse. Alleen al dat gegeven verhoogt de kans op een vertekend beeld: zijn de overgebleven studies wel representatief?

Eigenschappen van mindfulnesstrainingen, links het aantal studies (max. 24), rechts percentage.

Ook van de gekozen studies loopt de kwaliteit uiteen. Het mag dan wel een 'randomized controlled trial' zijn, er zit een onderzoek tussen met maar 12 leerlingen (7 in de mindfulnessconditie, 5 in de controlegroep die op een wachtlijst stond). Wat opvalt is dat de mindfulnesstrainingen behoorlijk van elkaar verschillen (zie de tabel hierboven). Thuisoefeningen, yoga, groepsdiscussies: het behoort allemaal tot de mogelijkheden maar is zeker niet noodzakelijk. Dat is wel problematisch als je de verschillende studies op een hoop gooit. Andere problemen met de geanalyseerde onderzoeken zijn dat veel context (achtergrond van de leerlingen, gegevens over scholen) ontbreken en dat de onderzoekers in hun studies ook als mindfulnesstrainers optreden: wie wil rapporteren over een zelf-ontworpen training als die training niet effectief is?

Om vast te stellen of mindfulnesstraining in de onderzochte studies in het algemeen een positief effect heeft berekenden de onderzoekers een 'weighted mean effect size' (g). De uitkomst? g = 0,41 (betrouwbaarheidsinterval van 95% loopt van 0,28 tot 0,54). Dat is geen onaardige uitkomst, formeel te interpreteren als 'klein tot middelmatig'. Ter vergelijking: de effectwaarden die John Hattie presenteert in zijn bekende onderwijsonderzoekoverzichtswerk Visible Learning neemt hij pas serieus vanaf de waarde 0,4 (het 'scharnierpunt'). In die zin zou mindfulnesstraining van Hattie dus 'groen licht' krijgen. Reden voor een hosanna? Helaas, er blijken flinke methodologische bezwaren te kleven aan de onderzochte studies. Dat komt duidelijk naar voren als de effectgrootte van elk van de 24 studies wordt afgezet tegen het aantal kinderen dat deelnam aan die studie. De 'trechterplot' die dat oplevert staat hieronder.

Trechterplot: voor 24 studies effectgrootte tegenover aantal proefpersonen

Wat de trechterplot duidelijk laat zien is dat het merendeel van de onderzochte studies een effectgrootte had die onder het gemiddelde lag (oftewel: de verdeling is scheef). Dat de algemene effectgrootte toch op 0,4 uitkomt wordt bepaald door een paar studies die een flinke effectgrootte lieten zien. Het kenmerk van die studies: het aantal proefpersonen was heel laag, waardoor juist die studies veel minder betrouwbaar zijn dan de andere studies. Als de schroeven wat strakker worden gedraaid en alleen de 12 studies met meer dan 41 proefpersonen worden bekeken zakt de algemene effectwaarde naar 0,31 (betrouwbaarheidsinterval van 95% loopt van 0,18 tot 0,44): een zeer matig effect op zijn best!

Het Frankfurtse onderzoeksteam blijft optimistisch: mindfulnesstraining lijkt een gematigd positief effect te hebben, met name als het gaat om cognitieve prestaties. Een bijkomende bevinding is dat de variatie in onderzoeksuitkomsten voornamelijk voortkomt uit verschil in de tijd die aan de training wordt besteed: hoe meer minuten oefening, hoe hoger de effectgrootte. Mindfulness is duidelijk niet een vaardigheid die leerlingen na een korte instructie beheersen. Al met al is de conclusie dat meer en vooral beter onderzoek nodig is. Ik zou daaraan willen toevoegen dat het ook de moeite waard kan zijn om verschillende vormen van mindfulnesstraining tegen elkaar af te zetten, want ik vraag me bijvoorbeeld af of in hoeverre er bij de verschillende yoga- en meditatietechnieken geen sprake is van een placebo-effect. Misschien hebben kinderen vooral oefening nodig in niet telkens afgeleid worden door onze almaar interessanter wordende wereld.

Literatuur
Zenner, C., Herrnleben-Kurz, S., & Walach, H. (2014). Mindfulness-based interventions in schools - a systematic review and meta-analysis. Frontiers in Psychology, 5, 1-20. doi:10.3389/fpsyg.2014.00603

Een bezoek aan de NOT beurs

De Nationale Onderwijs Tentoonstelling (die tegenwoordig NOT Beurs genoemd wordt) bestaat al decennia. Het is een tweejaarlijkse vakbeurs voor professionals in PO, VO en mbo. De beurs mag zonder aarzeling gigantisch genoemd worden: dit jaar waren er meer dan 350 exposanten. De beurs duurt tegenwoordig zes dagen, van maandag tot en met zaterdag, dus iedereen die iets met onderwijs te maken heeft is wel een keer in de gelegenheid een bezoek aan de Jaarbeurs te brengen. Is dat ook de moeite waard?

Beelddenken op de beurs

Op dinsdag ben ik poolshoogte gaan nemen. Het eerste dat opvalt is dat de beurs echt gigantisch is: verschillende jaarbeurshallen worden door alle stands ingenomen. De grootte van de stands varieert van klein (eenvoudige toetsbureau's en pennenfabrikanten bijvoorbeeld) tot heel fors (met name de onderwijsvakbonden zoals het AOB). Wat mij verder opviel was de enorme verscheidenheid: van leerbureautjes die zich richten op specifieke leerproblemen tot ontwikkelaars van fraaie, jaloersmakende interactieve speeltoestellen. Het schoolplein wordt het domein van 'spelend leren' en ook daar zal electronica een rol in gaan spelen. ICT was sowieso aardig vertegenwoordigd op de beurs, hoewel de echt grote jongens zoals Microsoft en Apple schitterden door afwezigheid. Blijkbaar hebben die geen beurs nodig om hun waren aan de man te brengen. Tussen de bedrijven door zijn het vooral grote en kleine uitgevers die hun nieuwe methoden tonen. Tot mijn genoegen mocht het pas vertaalde boek 'Leren zichtbaar maken' van John Hattie zich in grote belangstelling verheugen. Fraai is ook de terugkerende kinderboekenstraat, waar de meeste boeken voor beursprijzen verkocht worden (vaak zelfs voor de helft van de winkelwaarde) en elke dag speciale activiteiten zijn georganisserd. In de drukte zat Marianne Busser (schrijfster van ruim 300 boeken voor kleuters) in alle rust aan een tafeltje boeken signeren. De beurs biedt ruimte aan iedereen die geld meebrengt (het schijnt erg duur te zijn om er te mogen staan), daarom zijn er ook her en der bedrijfjes uit het wat meer 'alternatieve circuit' te zien. Ook interessant is het om organisaties te zien op de beurs die je niet onmiddellijk met onderwijs associeer, zoals het Centraal Bureau voor de Statistiek dat onderwijspakketten uitgeeft, en de ANWB die zich inzet voor verkeerslessen. Eenzaam in een hoekje van de beurs trof ik een stand van het ABP. De massaal aanwezige meesters en juffen leken meer geïnteresseerd in goed onderwijs van nu dan in hun eigen toekomstperspectief.

Er was eigenlijk maar één stand die ik miste, en dat was die van onszelf, de Universiteit Utrecht. Wat is zo'n beurs een mooie plek om met leerkrachten en docenten in gesprek te gaan over wat de universiteit (en ook de Hogeschool) leerlingen te bieden heeft. Voor Onderwijskunde zou het ook een geschikte plek kunnen zijn om interesse te wekken in een van de vele onderzoeksprojecten die lopen binnen de faculteit. Voor mij was dus niet alleen wat er wel, maar ook wat er niet op de beurs te zien was informatief!

Onderwijskundestudent Stephanie Kruiper bezocht ook de NOT beurs, en zij geeft hieronder haar impressie.

Na van alle kanten te horen hebben gekregen dat ik als student Onderwijskunde écht naar de NOT moest gaan, ging ik dan ook maar. Ik wist totaal niet wat me te wachten stond, wat ongelofelijk groot is die beurs. Ontzettend druk was het er ook, vooral bij de grote uitgeverijen en de bedrijven die de nieuwste digiboards en tablets verkopen. Het is wel duidelijk dat niet veel studenten de NOT bezoeken. Mijn moeder werd telkens aangezien voor juf en kreeg de volledige aandacht, terwijl ik compleet werd genegeerd…

Na een paar rondjes door de hallen gelopen te hebben kreeg ik door dat je alleen leert wat er nieuw is door het gesprek aan te gaan met mensen. Van schoolfotograaf tot onderwijsinspectie, je leert overal wel iets over. De rode draad door alle stands waren toch wel de tablets en digiboards. Er werd zelfs een complete hal aan gewijd, met de grote computermerken die hun spullen probeerden te verkopen. In de trein hoorde ik docenten al zeggen: ‘Ik ga vooral kijken naar Google Glass!’ Of je daarvoor per se naar een vakbeurs moet, vroeg ik me wel af.

Squla: ook op de beurs niet te vermijden

Als je beginner bent in de onderwijswereld, heb je in de eerste jaren totaal geen overzicht van het vakgebied. De NOT helpt ontzettend bij het vormen van een soort ‘vakkennisbasis’. Je krijgt antwoord op allerlei vragen: Welke bedrijven zijn actief, wie zijn de grootste partijen in het onderwijsveld, wat is populair en wat niet, enzovoort. Zo had ik er nauwelijks bij stilgestaan hoe véél bedrijven en stichtingen zich met onderwijs bezig houden. Natuurlijk hoor je over de grote uitgevers en de overheid, maar iets simpels als een pen heeft een enorm aandeel op zo’n beurs. Dierentuinen en musea staan er voor de schoolreisjes, zelfs de prittstift had een eigen stand.

Ondanks mijn twijfels vooraf, ben ik ontzettend blij dat ik gegaan ben. In mijn geval ging het bezoeken van de NOT vooral om de oriëntatie en om het maken van connecties, maar iedereen die iets met onderwijs te maken heeft zou eigenlijk moeten komen. Je kan je echt helemaal onderdompelen in het wereldje, je een beeld vormen bij al die bedrijven en stichtingen. Maar vooral kan je in gesprek gaan met anderen. Natuurlijk staan al die mensen op de beurs er in eerste instantie om te verkopen, maar dat is niet het enige. Iedereen is zo enthousiast over onderwijs, dat ze graag al hun ideeën en ervaringen willen delen. Ik werd niet afgewimpeld omdat ze wisten dat ik niks kocht, en dat zegt wel echt iets over de mentaliteit. Ik ben er over twee jaar zeker weer bij!

Geen effect van leerlingcontrole bij gebruik onderwijstechologie

Een relatief vaak genoemd voordeel van het gebruiken van onderwijstechnologie is dat hiermee leerlingen controle kan worden gegeven over het eigen leerproces. Intuïtief zou je kunnen vermoeden dat door het geven van controle over het eigen leerproces, leerlingen meer gemotiveerd raken en hun zelfregulerend vermogen versterkt wordt, wat het leerproces ten goede komt. Is dit echter wel zo? Een recente meta-analyse doet vermoeden van niet.

Naar aanleiding van een meta-analyse van Cheung en Slavin (2013) schreven we een tijd terug over de nog niet gerealiseerde potentie van onderwijstechnologie. De meta-analyse van Cheung en Slavin toonde namelijk aan dat de effecten van onderwijstechnologie voor de  het stimuleren van rekenvaardigheden van leerlingen tot dusver zeer beperkt zijn. Cheung en Slavin vonden een effectgrootte van +0.16 en toonden daarmee aan dat onderwijstechnologie een positief maar zeer beperkt effect heeft op de rekenvaardigheden van leerlingen.

Heeft het nut om leerlingen met behulp van onderwijstechnologie controle te geven over het eigen leerproces?

Bij een meta-analyse kunnen de verschillen tussen studies soms echter erg groot zijn. Waar in de ene studie een klein of zelfs negatief effect gevonden wordt, kan in de andere studie een groot effect gevonden worden. Dat kan veroorzaakt worden door verschillende factoren. Eén van de voor de hand liggende factoren is de onderwijstechnologie zelf: de ene toepassing is beter ontworpen, heeft meer effectieve onderdelen dan de andere toepassing. Een onlangs verschenen meta-analyse zoomt verder in op één van de kenmerken waarop toepassingen van onderwijstechnologie van elkaar verschillen, namelijk leerlingcontrole (learner control).

Leerlingcontrole kan gedefinieerd worden als de mate waarin de leerling tijdens het werken met onderwijstechnologie de vrijheid heeft om eigen keuzes te maken tijdens het leerproces. Bijvoorbeeld door zelf te kunnen kiezen welke taak of opdracht de leerling gaat uitvoeren of hoeveel oefenopgaven hij/zij gaat maken. Leerlingcontrole kan variëren van geen controle (de toepassing bepaalt het verloop van het leerproces en maakt alle relevante keuzes) tot volledige leerlingcontrole (de leerling maakt alle keuzes). In veel onderwijstechnologische toepassingen is leerlingcontrole een belangrijk uitgangspunt. De gedachte is dat wanneer leerlingen controle hebben over het eigen leerproces, dit het leerproces ten goede zal komen bijvoorbeeld doordat leerlingcontrole de motivatie en het zelfregulerend vermogen van leerlingen bevordert.

De recent verschenen meta-analyse van Karich, Burns en Maki (2014) vat het onderzoek naar de effecten van leerlingcontrole samen. In totaal vonden Karich et al. 85 studies naar de effecten van leerlingcontrole bij onderwijstechnologie. Een groot aantal studies veel echter af vanwege hun beperkte methodologische kwaliteit of omdat ze te weinig kwantitatieve gegevens rapporteerden voor het berekenen van effectgroottes. Na deze screening restten nog 18 studies.

De conclusie zijn duidelijk en ontnuchterend. Uit de meta-analyse van Karich et al. blijkt dat leerlingcontrole geen effect heeft op de leerprestaties van leerlingen (g = +0.05). Hierbij maakt het geen verschil welke specifieke toepassing van ondewijstechnologie het betreft of over welk aspect van het leerproces de leerling controle krijgt (bv. tempo, moeilijkheid van opdrachten). Karich et al. concluderen verder dat leerlingcontrole een groter effect lijkt het hebben op zogenaamde 'behavioral outcomes' (motivatie, time on task) dan leeruitkomsten.

De resultaten van deze meta-analyse laten zien dat wanneer met behulp van onderwijstechnologie getracht wordt leerlingen controle gegeven wordt over het eigen leerproces dit geen noemenswaardige effecten heeft op leerprestaties. Zoals de auteurs ook aangeven moet toekomstig onderzoek uitwijzen of alternatieve manieren van het geven van controle aan leerlingen hier wellicht beter in slagen.

Karich, A. C., Burns, M. K., Maki, K. E. (2014). Updated meta-analysis of learner control within educational technology. Review of Educational Research, 84, 392-410. doi:10.3102/0034654314526064

De (nog) niet gerealiseerde potentie van onderwijstechnologie voor het rekenonderwijs?

Moeten we hoge verwachtingen hebben van het inzetten van onderwijstechnologie in het rekenonderwijs? Een recente meta-analyse suggereert dat misschien niet realistisch is.

Al jaren wordt er door overheden en scholen flink geïnvesteerd in nieuwe technologie. Nieuwe technologische toepassingen zoals interactieve whiteboards, tablets, smart phones vinden hierdoor hun weg meer en meer naar het klaslokaal. Dat het inzetten van technologie in het onderwijs big business is, blijkt wel uit het feit dat de Amerikaanse overheid in 2009 besloot 650 miljoen dollar beschikbaar te stellen voor onderwijstechnologie.

Dit roept de vraag op wat deze investeringen opleveren. Er wordt geïnvesteerd in onderwijstechnologie met het doel om het onderwijs te verbeteren, om het leerproces van leerlingen beter te ondersteunen en om leraren te helpen nog beter onderwijs te verzorgen. Lukt dat ook? Dat is de vraag die de honderden, zo niet duizenden, studies die de afgelopen decennia zijn uitgevoerd naar de effecten van onderwijstechnologie proberen te beantwoorden.

Om uit die enorme hoeveelheid studies zinnige conclusies te kunnen trekken - sommige studies vinden immers een positief effect, anderen geen effect, en weer anderen een negatief effect - voeren onderzoekers regelmatig meta-analyses uit. Met een meta-analyse proberen onderzoekers het effect van een interventie, van een nieuwe toepassing, samen te vatten met één maat, de effectgrootte. Deze effectgrootte wordt berekend door de uitkomsten van de studies die worden opgenomen in de meta-analyse te combineren. Hierbij krijgen grotere en betrouwbaardere studies meer gewicht dan kleinere en onbetrouwbaardere studies.

Cognitive Tutor, één van de programma's die is opgenomen in de meta-analyse van Cheung en Slavin (2013).

Een recente meta-analyse, uitgevoerd door Cheung en Slavin (2013), probeert de vraag te beantwoorden wat het effect van onderwijstechnologische toepassingen is op de rekenprestaties van leerlingen in het basis- en voortgezet onderwijs. Dat effect blijkt niet groot te zijn. Cheung en Slavin vonden een effectgroote van +0.16. Een positief effect van onderwijstechnologie weliswaar, maar wel een zeer bescheiden effect: leerlingen die met onderwijstechnologie werken tijdens het rekenonderwijs presteren beter dan kinderen die daar niet mee werken. Dit verschil is echter relatief klein.

De indeling van effect groottes zoals gehanteerd door Hattie.

In de terminologie van Hattie's Visisble Learning (2009) gaat het hier om een effectgrootte die ruim onder de door hem gehanteerde grens van +0.40 blijft. Effectgroottes boven +0.40 zijn volgens Hattie betekenisvolle effecten; effecten van daadwerkelijk effectieve interventies. Blijft een interventie onder deze grens, dan is het de vraag of implementatie van deze interventie wel zinvol is.

Deze bevinding staat veraf van de positieve verwachtingen die de evangelisten van onderwijstechnologie hebben. Hoe kan het dat - althans in het rekenonderwijs - de effecten van onderwijstechnologie zo bescheiden zijn? De effectgrootte die Cheung en Slavin vinden, is ook behoorlijk lager dan die eerder door andere auteurs werd gevonden. Zo vonden Li en Ma (2011) een effectgrootte van +0.28, Kulik en Kulik (1991) een effectgrootte van +0.39 en Khalili en Shashaani (1994) zelfs een effectgrootte van +0.52 van onderwijstechnologie op prestaties in het rekenonderwijs. Hattie (2009) vond in zijn review van alle meta-analyses naar de effecten van onderwijstechnologie een effectgroote van +0.37. Hoe is dit te verklaren?

Het moge duidelijk zijn dat Cheung and Slavin niet de eersten zijn die een meta-analyse uitvoeren naar de effecten van onderwijstechnologie in het rekenonderwijs. Ze beschrijven in hun artikel daarom ook uitgebreid op welke vlakken hun meta-analyse afwijkt van eerdere meta-analyses en waarom hun meta-analyse een betrouwbaarder resultaat oplevert. Volgens Cheun en Slavin bevatten eerdere meta-analyses duidelijke tekortkomingen; tekortkomingen die hun meta-analyse niet heeft. Deze zijn onder andere:

1. Geen controlegroep: In eerdere meta-analyses zijn vaak studies opgenomen waarbij geen gebruik gemaakt wordt van een controlegroep; een controlegroep waarbij de leerlingen "onderwijs-zoals-gebruikelijk" kregen. Zonder zo'n controlegroep is het onmogelijk om toename in rekenprestaties met zekerheid toe te schrijven aan onderwijstechnologie. Zo'n toename kan dan ook veroorzaakt worden door andere factoren dan de onderwijstechnologie, bijvoorbeeld rijping of groei.
2. Korte duur: Veel studies naar het gebruik van onderwijstechnologie betreffen studies waarbij slechts voor korte tijd (soms slechts één les) met de onderwijstechnologie gewerkt wordt. Door slechts voor een korte periode met onderwijstechnologie te werken, bestaat het risico dat de gevonden effect grootte slechts toe te schrijven is aan de nieuwigheid van de onderwijstechnologie. Pas wanneer voor langere tijd met onderwijstechnologie gewerkt wordt, met andere woorden als de nieuwigheid er voor leerlingen en leraren vanaf is, is volgens Cheung en Slavin écht vast te stellen wat het effect ervan is voor het onderwijs. In de meta-analyse van Cheun en Slavin zijn daarom alleen studies opgenomen die 12 weken of langer duurden.
3. Verschillen tussen onderzoeksgroepen bij aanvang van de studie: Volgens Cheung en Slavin is het van belang dat bij aanvang van een onderzoek wordt vastgesteld of de onderzoeksgroepen vergelijkbaar zijn. Wanneer de rekenprestaties in de ene groep bij aanvang van het onderzoek al hoger zijn dan de andere groep, dan is geen eerlijke vergelijking mogelijk. Daarom namen Cheung en Slavin in hun meta-analyse alleen studies op waarbij er een zogenaamde voormeting werd gedaan, zodat was vast te stellen of de onderzoeksgroepen bij aanvang wel vergelijkbaar waren.

Het moge duidelijk zijn: Cheung en Slavin zijn streng. Alleen studies die aan strenge criteria voldoen, zijn opgenomen in deze meta-analyse. Op basis van een zoektocht in verschillende databases localiseerden Cheung en Slavin meer dan 700 studies die mogelijk in aanmerking zou komen voor opname in de meta-analyse. Uiteindelijk konden daarvan slechts 74 aan de strenge criteria van Cheung en Slavin voldoen. En op basis van deze 74 studies moeten we concluderen dat onderwijstechnologie een kleine, maar positieve bijdrage levert aan het verbeteren van de rekenprestaties van leerlingen in het basis- en het voorgezet onderwijs.

Zal de iPad een groter effect hebben op het onderwijs?

Moeten we dan accepteren dat tot nu toe de effecten van onderwijstechnologie in het rekenonderwijs slechts bescheiden zijn? De uitkomsten van de meta-analyse laten weinig ruimte voor een andere conclusie. Dat wil uiteraard niet zeggen dat onderwijstechnologie niet de potentie heeft om een grotere bijdrage te gaan leveren aan het verbeteren van het rekenonderwijs. Ook onderwijstechnologie ontwikkelt zich in een snel tempo; nieuwe toepassingen worden met grote regelmaat beschikbaar en met veel enthousiasme door sommige leraren ingezet in het onderwijs. Wie weet hoe het klaslokaal van 2020 eruit zal zien en op welke manier onderwijstechnologie dan - misschien beter dan toe nu toe - het onderwijs veranderd en verbeterd zal hebben?

Referenties

Cheung, A. C. K., & Slavin, R. E. (2013). The effectiveness of educational technology applications for enhancing mathematics achievement in K-12 classrooms: A meta-analysis. Educational Research Review, 9, 88-113. doi: j.edurev.2013.01.001

Hattie, J. (2009). Visible learning: A synthesis of over 800 meta-analyses relating to achievement. New York: Routledge.

Khalili, A., & Shashaani, L. (1994). The effectiveness of computer applications: A meta-analysis. Journal of Research on Computing in Education, 27, 48–62.

Kulik, C. L. C., & Kulik, J. A. (1991). Effectiveness of computer-based instruction: An updated analysis. Computers in Human Behavior, 7, 75–94.

Li, Q., & Ma, X. (2011). A meta-analysis of the effects of computer technology on school students’ mathematics learning. Educational Psychology Review, 22, 215–243.