Posts tonen met het label wetenschap. Alle posts tonen
Posts tonen met het label wetenschap. Alle posts tonen

dinsdag 5 december 2023

Teleurstellende resultaten PISA 2023: Gaat de volgende studiereis naar Ierland?

Soms vragen we ons af of er reisorganisatoren naar de PISA-resultaten kijken om een volgend onderwijsgidsland te kiezen. Ooit was het Finland, recenter was het Estland, maar nu, waar moeten we nu naartoe, nu het onderwijspeil steeds lager komt te staan in de Lage Landen?

PISA (Programme for International Student Assessment) laat zien: Voor Nederland zijn de ontwikkelingen voor rekenen, lezen én wetenschapskennis zeer negatief:

Voor wie denkt dat deze dramatische resultaten werden veroorzaakt door COVID-19 en de schoolsluitingen: de trend is in Nederland erger dan de daling die COVID-19 gemiddeld wereldwijd veroorzaakte. Om een idee te geven: het rapport stelt dat 20 punten op de PISA test gelijk staat aan het volgen van 1 jaar onderwijs. Dat betekent dat Nederlandse kinderen nu 2 jaar meer tijd nodig hebben voor wiskunde om op het gemiddelde peil van 2003 te komen: in 2003 lag de score rond 540 punten en nu onder de 500 punten. Voor lezen is het zelfs meer dan 2,5 jaar om op gemiddelde niveau te komen. Inmiddels scoren de Nederlandse jongeren onder het OESO-gemiddelde voor lezen.

Voor het domein waar Nederland er het slechtste voorstaat, lezen, lijkt Ierland inderdaad de aangewezen plek als je niet te ver wil reizen (bijvoorbeeld naar Singapore). In iets mindere mate geldt dit ook voor Engeland. 


Kris Van den Branden beschreef eerder al wat Ierland heeft gedaan om de achterstand in lezen te keren, check: https://duurzaamonderwijs.com/2019/12/03/begrijpend-lezen-en-pisa-kunnen-we-iets-leren-van-ierland/

In Nederland wacht de nieuwe ministers van onderwijs een zware taak: het tij moet gekeerd worden. Het zal niet de eerste keer zijn dat wordt opgeroepen tot een Deltaplan voor het onderwijs. Maar dit keer staat het water ons echt aan de lippen.

Daarbij gaat het een uitdaging zijn om niet te fatalistisch worden over de staat van het onderwijs: leraren proberen dag in dag uit het verschil te maken voor hun leerlingen onder vaak moeilijke omstandigheden (lerarentekort, werkdruk, administratieve lasten). Zij verdienen blijvende support en waardering. Aan de andere kant moeten we waken voor relativisme: de trend is duidelijk, de ontwikkelingen zijn zorgwekkend en het is allerminst duidelijk dat met de huidige inspanningen van bijvoorbeeld de overheid de trend gekeerd wordt. 

De reactie van de VO-raad vorig jaar was daarom erg opvallend: openlijk werd de waarde van de PISA-onderzoeken in twijfel getrokken. En uiteraard: de PISA-scores kunnen niet de enige indicatie zijn waarop beleid gebaseerd wordt, maar het zou onverstandig zijn om de signalen die de PISA- en ook de PIRLS-onderzoeken afgeven te negeren. De tijd van struisvogelpolitiek is voorgoed voorbij.

Deze blogpost is geschreven door: Pedro De Bruyckere, Casper Hulshof en Jeroen JanssenPedro, Casper en Jeroen zijn allen onderzoeker bij de Afdeling Educatie van de Universiteit Utrecht en als docenten betrokken bij de opleidingen Onderwijswetenschappen.

vrijdag 16 juni 2017

Got my mindset on you

Where is my mind
Where is my mind
Where is my mind
Way out in the water
See it swimmin'
Pixies - Where is my mind

Okee, een verzoekje aan docenten die dit lezen. Steek uw hand op (hieronder op 'Share this article on Facebook' klikken mag ook) als u een leerling wel eens hebt horen zeggen: "Ik hoef bij dit vak mijn best niet te doen, want ik kan het toch niet." Ook in elke lerarenkamer hoor je wel eens: "Als ze haar best zou doen zou ze het best kunnen, maar ze heeft de verkeerde instelling." Ook al weet iedereen wel ongeveer wat dat betekent, 'instelling' is geen wetenschappelijke term. In de wetenschap gebruiken we liever een woord als 'attitude' (waar bij deze leerling dan iets aan gedaan moet worden). Of we spreken van een lage 'intrinsieke motivatie' als iemand iets niet leuk vindt om te doen. De juiste houding en motivatie zijn misschien niet essentieel bij het leren, maar ze helpen wel, en ze maken het werk van een docent ook stukken aangenamer. Sommigen gaan zelfs zo ver te zeggen dat het voornaamste doel van onderwijs is om interesse of nieuwsgierigheid te kweken bij leerlingen, en dan komt de rest vanzelf, maar dat is een wel erg utopische gedachte.
Ik krijg zo nu en dan de vraag wat mijn mening is over de zogenaamde mindset-theorie. Als je eenmaal de naam hebt een 'myth buster' te zijn, dan is dat gezien de populariteit van die theorie wel te verwachten. Voor ons 'boek 2' is het een onderwerp waar ik onderzoek naar doe. Aan de hand van een recent onderzoeksartikel erover zal ik er hier op ingaan. In het (op het moment nog conceptuele) boek zal ik de historische achtergrond en het onderzoek ernaar in de volle breedte bespreken: dat is in ieder geval de bedoeling!
Mindsettheorie is een theorie die werd geformuleerd door de aan Stanford University verbonden hoogleraar psychologie Carol Dweck.
Carol Dweck
De theorie sluit eigenlijk naadloos aan bij de 'verkeerde instelling'-gedachte: de manier waarop je over je eigen vaardigheden denkt heeft invloed op je doen en laten. Centraal in de theorie staat de gedachte dat mensen hun basisvaardigheden als min of meer vaststaand zien (een 'fixed mindset') of juist als plooibaar (een 'growth mindset'). Het is niet moeilijk om binnen dat raamwerk allerlei fenomenen uit te leggen. Bijvoorbeeld: als je als leerling gewend bent dat bij de rekenles tegen je wordt gezegd: "Jij hoeft dit niet te doen want dit gaat jou niet lukken", dan wen je je een fixed mindset aan. Uit dit voorbeeld kunnen we ook afleiden dat de manier waarop een docent een leerling aanspreekt grote invloed kan hebben op het zelfbeeld, pardon de mindset, van die leerling. In haar boeken werkt Dweck deze gedachte verder uit.
Willekeurige tegelwijsheid, gebaseerd op mindsettheorie.
Voor een psycholoog is dit alles eigenlijk niet echt nieuw, en het is dan ook niet zo vreemd dat Carol Dweck een student was bij de bekende sociaal-psycholoog Albert Bandura. Maar Dweck heeft dit alles verder uitgewerkt, met name de implicaties van het concept voor het onderwijs. Om onduidelijke redenen koos ze daarvoor de term 'brainology' (zie bijvoorbeeld de website van Dweck's trainingsorganisatie MindsetWorks). Dat heeft ertoe geleid dat sommigen, bijvoorbeeld Stanfordhoogleraar rekenonderwijs Jo Boaler, een verband leggen tussen mindset en de hersenen. Zij vertaalt het spreekwoord "Al doende leert men" als "Mistakes grow the brain" (zie het pleidooi op de website van haar eigen bedrijf Youcubed), en heeft er onder andere voor gepleit om de leerling die de meeste fouten in een wiskundeproefwerk maakt het hoogste cijfer te geven. Dergelijke kort-door-de-bochtredeneringen hebben Dweck ertoe aangezet om haar uitspraken enigszins te nuanceren. Een leerling voor welke prestatie dan ook prijzen om daarmee een growth mindset te bevorderen kan juist tot het omgekeerde leiden, zegt Dweck. Voor workshopbegeleiders is er de komende tijd weer een hoop werk te verzetten.
Voor veel mensen zal dit allemaal wat gerommel in de marge zijn, en zal de vraag: "Klopt de theorie?" een stuk belangrijker zijn. Dat is geen eenvoudige vraag. Een aantal onderzoeken hebben een positief verband tussen mindset en leren laten zien, maar met name bij wat grootschaliger onderzoek blijft daarvan erg weinig over. Dat kan van alles betekenen, waarbij een moeilijkheid is dat met het in kaart brengen van iemand's mindset soms wel erg gemakkelijk omgesprongen wordt. Het onderzoek van Bahnik en Vranka (2017) bijvoorbeeld, dat ik hier in het bijzonder onder de aandacht wil brengen, gebruikt daar een test voor die uit slechts twee vragen bestaat (elk te beantwoorden op een 7-puntsschaal). Een eenvoudig concept staat niet gelijk aan een eenvoudige toets, en zeker niet als niet eens zeker is of we hier met een eenvoudig concept te maken hebben. Bahnik en Vranka benadrukken nota bene zelf dat er bij mindset sprake is van een 'continuum'. De twee Tjechische onderzoekers keken naar de relatie tussen de mindset van in totaal 5653 studenten en hun prestatie op een aantal 'general academic prerequisites'-tests (GAP) die een aantal academische vaardigheden maten (met een nadruk op verbale, rekenkundige en logische vaardigheden).
Associatie tussen mindset (zwarte lijn = gemiddelde twee items,
met 95%betrouwbaarheidsinterval als lijn.
Voor deze test is allerlei oefenmateriaal beschikbaar, maar iemand met een fixed mindset gaat dat niet gebruiken, is de aanname. Mindsettheorie voorspelt dus een verband tussen mindset en academische vaardigheden: een fixed mindset zou tot een lagere prestatie leiden, een growth mindset tot een hogere. Als de correlatie tussen mindset en GAP bijvoorbeeld 0,4 zou zijn, dan zou mindset een deel van de variantie in GAP verklaren, en dat zou de theorie ondersteunen. De correlatie die in dit onderzoek werd gemeten was -0,03 oftewel: geen enkel verband. De onderzoekers probeerden op allerlei verschillende manieren andere verbanden te bekijken, en telkens was het antwoord hetzelfde: geen enkele relatie tussen mindset en GAP. Afserveren dus, die mindsettheorie? Nee, zover hoeven we niet te gaan. Wel is deze studie de zoveelste in een rij die laat zien dat het voorspellend vermogen van mindset op academische prestaties laag of misschien wel verwaarloosbaar klein is. Daar horen wat mitsen en maren bij. Misschien vormen Tjechische studenten wel een specifieke, zelfgeselecteerde groep van sterk gemotiveerde personen, wat het mindseteffect gemakkelijk zou kunnen overschaduwen. Of we meten mindset niet goed, en misschien zijn het juist de personen met een fixed mindset die dat niet willen toegeven of die het zelfreflectievermogen missen om dat over zichzelf te concluderen. We weten het niet. Wat wel duidelijk is, is dat de noodzaak in het onderwijs rekening te houden met de mindset van de leerling, en energie te steken in het omvormen ervan tot een growth mindset, op dit moment niet door onderzoeksdata ondersteund wordt.

Bahník, Š., & Vranka, M. A. (2017). Growth mindset is not associated with scholastic aptitude in a large sample of university applicants. Personality and Individual Differences, 117, 139-143. [pdf van dit artikel]

woensdag 21 december 2016

Online in de collegezaal, maar mentaal offline?

En ja hoor, daar was ie weer: de laptops-wel-of-niet-toestaan-in-colleges-discussie. Net zoals de discussie over Zwarte Piet en het afsteken van vuurwerk, komt deze discussie eens in de zoveel tijd terug? De aanleiding: een nieuw onderzoek, uitgevoerd aan de Michigan State University, vond dat het gebruik van laptops tijdens colleges negatief samenhangt met tentamencijfers aan het eind van de cursus.

Iets nieuws onder de zon? Aan de ene kant niet: omdat, zoals de auteurs in het artikel zelf ook aangeven, de negatieve relatie tussen internetgebruik in colleges en studieprestaties al vaker is aangetoond. Opvallend is daarbij dat veel studenten zelf de indruk hebben dat het gebruik van internet tijdens colleges geen negatief effect heeft op hun studieprestaties, terwijl dit wél het geval blijkt te zijn. Een verklaring hiervoor is mogelijk dat studenten zelf niet goed in kunnen schatten hoe veel ze van internet gebruik maken tijdens colleges. Omdat veel eerder onderzoek gebruik maakt van dergelijke self-reports hebben de auteurs van deze nieuwe studie getracht een betere indruk van het internetgebruik van studenten tijdens colleges, door dit gebruik daadwerkelijk te registreren (bv. hoe vaak vroegen studenten een bepaalde webpagina op?). De studenten die deelnamen aan deze studie logden daarvoor eerst in op een proxy server, die vervolgens registreerde welke webpagina's door studenten werden opgevraagd. Hiermee konden de auteurs een meer accurate indruk krijgen van het internetgebruik van studenten tijdens colleges. Interessante toevoeging aan het onderzoek is daarnaast dat de auteurs ook hebben getracht de motivatie van studenten voor de cursus en hun interesse in de collegestof te meten. Hierdoor kunnen de auteurs ook een alternatieve verklaring onderzoeken voor de relatie tussen internetgebruik in de collegezaal en tentamencijfers: namelijk verveling. Misschien is het wel zo dat een deel van de studenten zich verveelt tijdens colleges en dat deze studenten daarom gaan Facebooken, YouTube-en, etc. Dan is verveling mogelijk de verklarende factor en niet het internetgebruik zelf. Dat is dan meer een uiting van deze verveling.

Wat kwam er dan uit deze studie? Allereerst de omvang van het internetgebruik door studenten tijdens de colleges. Ik moet zeggen dat ik hier wel van schrok. 37 minuten bleek de mediaan van de duur van het internetgebruik te zijn. Of te wel, als voor alle deelnemende studenten de tijd die ze tijdens éém college op internet doorbrachten gerangschikt wordt van laag naar hoog, blijkt 37 minuten het midden van deze verdeling te vormen. De colleges duurden in dit onderzoek 150 minuten, dus een groot deel van de studenten brengt een kwart of meer tijd van het college door op internet. En dat is nog niet alles, want de deelnemende studenten werd daarnaast nog gevraagd om aan te geven hoeveel tijd ze smartphone of tablet gebruikten om te appen of sms-en of sociale media te gebruiken. Daar besteedden deze studenten nog eens gemiddeld 27 en 19 minuten aan!

Wat doen studenten dan op internet tijdens colleges? Een deel van de tijd gebruiken studenten hun laptop wél voor studiegerelateerde zaken, zoals bekijken van de online leeromgeving of het zoeken op Wikipedia naar relevante onderwerpen (mediaan is 3.79 minuten per college). Het meeste deel van de tijd gebruiken studenten internet tijdens college voor sociale media (mediaan is 6.30 minuten). Daarnaast gebruiken ze internet ook geregeld om te e-mailen (mediaan 1.85 minuten).

Is het dan zo dat internetgebruik tijdens hoorcolleges inderdaad samenhangt met slechtere studieprestaties? Ja, in dit onderzoek werd aangetoond dat er een negatieve samenhang is tussen internetgebruik en tentamencijfers. Hierbij is gecontroleerd voor de mogelijke invloed van intelligentie, interesse en motivatie. Dus zelfs wanneer rekening gehouden wordt met de intelligentie van studenten en hun interesse in en motivatie voor het onderwerp, bestaat er een negatieve samenhang tussen internetgebruik tijdens colleges en studieprestaties. Het is dus niet zo dat verveling van studenten tijdens colleges volledig kan verklaren waarom er een negatieve samenhang is tussen internetgebruik en studieprestaties. De auteurs vinden zelfs dat motivatie niet en interesse slechts marginaal (p < .10) samenhangen met het gebruik van sociale media, e-mail, etc. tijdens hoorcolleges. Het is dus niet zo dat het de minder gemotiveerde of niet geïnteresseerde studenten zijn die tijdens hoorcolleges het meest gebruik maken van internet.

Interessante bevinding in dit onderzoek is overigens dat de studenten in dit onderzoek behoorlijk goed in staat bleken te zijn om hun eigen internetgebruik tijdens hoorcolleges te schatten. De schattingen van de studenten zaten behoorlijk dichtbij het daadwerkelijke internetgebruik.

De vraag die dan overblijft, is wat de implicaties van dit en ander onderzoek naar het gebruik van internet tijdens colleges moeten zijn? Moeten laptops (en andere devices) verbannen worden uit de collegezalen? Dat is een gevoelige kwestie onder docenten en studenten. Veel studenten vinden het verbieden van laptops betuttelend en ook veel docenten vinden het de eigen verantwoordelijkheid van studenten om te besluiten om laptops op zinvolle dan wel ontspannende wijze te gebruiken tijdens hoorcolleges.

Het is gemakkelijk om met de vinger naar de hoorcollegedocent in kwestie te wijzen: het zullen wel oersaaie colleges zijn geweest anders hadden de studenten vast niet zoveel geïnternet tijdens die colleges. Voor een deel mag je inderdaad van docenten verwachten dat zij in staat zijn om colleges te geven die de interesse van studenten wekken en waar misschien ook de aanwezige laptops op een nuttige manier gebruikt worden. Van de andere kant laat dit onderzoek ook zien dat er geen sterke relatie is tussen de interesse van de deelnemende studenten en hun internetgebruik: meer interesse leidt dus niet automatische tot minder internetgebruik en vice versa. En ja, het is inderdaad ook de eigen verantwoordelijkheid van de student: van een student mag je verwachten dat zij of hij nadenkt over wat raadzaam is bij het studeren en studenten moeten dan ook maar de consequenties aanvaarden van hun eventuele internetgebruik tijdens hoorcolleges.

Toch laat meer en meer onderzoek zien dat internetverslaving steeds vaker voorkomt en dat veel mensen daarom ook niet in staat zijn om de impuls om internet te gebruiken het hoofd te bieden.

Online of offline in de collegezaal? De discussie is vast nog niet uitgewoed, maar deze studie geeft zeker te denken.


woensdag 30 december 2015

Beter presteren: begrip demonstreren?

In juni 2015 rondde Marije van Braak haar bacheloropleiding Onderwijskunde af met haar bachelorthesis. Op de jaarlijkse congresdag waarin onderwijskundestudenten hun bacheloronderzoek presenteren, werd haar thesis uitgeroepen tot de beste bachelorthesis door de jury. Ze diende vervolgens haar thesis in voor deelname aan de Student Research Conference. Op deze conferentie kunnen studenten uit Nederland en Vlaanderen hun bacheloronderzoek presenteren. Slechts 60 studenten worden toegelaten tot deze conferentie. Ook Marije mocht haar onderzoek presenteren op deze conferentie. Daarnaast werd haar thesis genomineerd voor de Peter G. Swanbornprijs. Desgevraagd heeft Marije een samenvatting van haar onderzoek geschreven voor op dit blog.


Beter presteren: begrip demonstreren?
Een goede leraar is iemand die iets uit je haalt in plaats van iets in je stopt. – N. D. Walsh

Onderwijsontwikkelingen en onderwijshervormingen doen altijd veel stof opwaaien: verhitte discussies onder politici, leerkrachten, directies, ouders en wetenschappers lijken rond de invoering van deze ontwikkelingen en hervormingen soms aan de orde van de dag te zijn. Ditzelfde geldt ook voor één van de meest recente onderwijsontwikkelingen: de Wet Passend Onderwijs (ingevoerd op 1 augustus 2014). Sinds de invoering van deze wet is passend onderwijs de norm in ons Nederlandse onderwijssysteem.

Passend onderwijs, aangepast aan het individu, wordt ook wel adaptief onderwijs genoemd. Adaptief onderwijs is onderwijs waarin rekening wordt gehouden met de grote diversiteit aan leerlingen door het curriculum en de instructie passend te maken bij (onder andere) interesses en leerprofielen (Tomlinson et al., 2013). De laatste vorm van passend onderwijs, het ‘passend maken’ van instructie, blijft soms wat onderbelicht. Uit een meta-onderzoek van John Hattie blijkt echter dat het passend maken van instructie (een vorm van micro differentiatie) een veelbelovende positieve invloed heeft op leeruitkomsten.
            “Werk aan de winkel voor docenten”, zou men kunnen denken. Maar let op: de rol van leerlingen in het uitvoeren van aangepaste instructie is minstens net zo cruciaal. Leerlingen beïnvloeden namelijk de docentinstructie op veel verschillende manieren: op een meer directe manier door het stellen van vragen en het geven van antwoorden, en op een meer indirecte manier via leerlingkenmerken als prestatieniveau, motivatie en betrokkenheid. Een voorbeeld: Leerkrachten ontwikkelingen specifieke ideeën over de prestatieniveaus van leerlingen, die zij als een eerste stap gebruiken bij het aanpassen van instructie aan die leerlingen. Een wiskundeleerkracht zal aan een leerling die altijd hoog scoort voor wiskunde (waarschijnlijk) een andere uitleg geven dan aan een leerling waarvan hij weet dat hij zwak is in zijn vak.
            Hoe groot de rol van de leerling is in het passend maken van instructie, blijkt ook uit hoe belangrijk het is voor de leerkracht wat een leerling zegt of vraagt tijdens de instructie. Als een leerling een probleem heeft met som 24 (om weer even wiskunde als voorbeeld te nemen), kan deze leerling zeggen: “Ik snap som 24 niet!”. Dit geeft de docent weinig informatie over wat nu precies het probleem is van deze leerling. Informatie over het precieze probleem van de leerling krijgt de docent wel als de leerling zou zeggen: “Ik begrijp niet waarom hoek A 67° is in deze driehoek, als je die hoeken optelt is het toch geen 180°!” (gesteld, bijvoorbeeld, dat ‘deze driehoek’ slaat op een driehoek in het boek waarin twee hoeken al gegeven zijn). In het eerste geval zegt de leerling alleen dat hij/zij iets niet snapt (een zogenaamde claim of understanding), terwijl de docent uit de tweede leerlinguitspraak ook kan afleiden wat wel (alle hoeken van een driehoek samen zijn 180°) en niet wordt gesnapt (de berekening, de docent zou kunnen bedenken dat hier verkeerde hoeken zijn opgeteld of dat er sprake is van een afrondingsfout). In de laatste situatie is er sprake van een demonstration of understanding.

            Zoals blijkt uit de gegeven leerlinguitspraken, zijn begripsdemonstraties informatiever voor een docent dan begripsclaims. Een informatievere uitspraak geeft een docent meer ‘handvaten’ voor het passend maken van de instructie. Leerlingen zouden hun docent mogelijk dus helpen met het afstemmen van instructie door relatief veel begripsdemonstraties te gebruiken in hun vragen en antwoorden in interacties met de docent. De vraag die hierbij rijst is: zijn alle leerlingen wel even goed in staat om hun begrip te ‘demonstreren’ in plaats van het te ‘claimen’? En gerelateerd hieraan: zijn alle docenten wel even goed in staat om hun leerlingen te helpen hun begrip te ‘demonstreren’ in plaats van te ‘claimen’ (bijvoorbeeld door te vragen: “Kun je me uitleggen waarom…?”  in plaats van “Snap je het nu?”)? Het zou kunnen zijn dat leerlingen die een lager prestatieniveau hebben, en daarmee minder inzicht in en overzicht over de stof hebben, minder goed zijn in het demonstreren van begrip dan leerlingen die hoger presteren.
De suggestie dat prestatieniveau samen zou hangen met vormen van begripsuiting (en vormen van het ontlokken van deze uitingen, zie het schema hieronder) vormde de aanleiding voor een recent scriptieonderzoek (Van Braak, 2015).

 In dit onderzoek zijn 153 leerling-leerkracht interacties geanalyseerd aan de hand van een bestaand codeerschema voor docentuitspraken (ontwikkeld door Van de Pol, Volman, Oort en Beishuizen) en een codeerschema voor leerlinguitspraken, ontwikkeld op basis van een deel van de genoemde interacties. Alle interacties waren opgenomen tijdens wiskundelessen op vier middelbare scholen in Nederland (vier verschillende klassen in totaal). De leerlingen die deelnamen aan de interacties zaten tijdens de opnames in de eerste klas van het VMBO-T; het prestatieniveau van deze leerlingen is gemeten met behulp van hun gemiddelde cijfer voor het vak wiskunde, een veelgebruikte maat voor prestatie. Zowel de gemiddelde cijfers als de interacties waren onderdeel van een grotere dataset.

De belangrijkste bevinding uit het onderzoek is de afwezigheid van een verband tussen het prestatieniveau van leerlingen en de vorm(en) van begripsuiting die zij gebruiken. Tegen de verwachting in, gebruiken leerlingen die hoger presteren niet meer begripsdemonstraties dan leerlingen die lager presteren. Dit verband bleek ook niet aanwezig nadat was gecontroleerd voor het type begripsuiting dat door de docent werd ontlokt.
            Opvallend genoeg was ongeveer 40 procent van alle leerlinguitspraken een demonstratie van begrip, terwijl het percentage van begripsclaims twee keer zo laag lag. Leerkrachten daarentegen, gebruikten maar in ongeveer 19 procent van de uitingen een vraag of uitspraak die een begripsdemonstratie ontlokte; 4 procent van hun uitingen was erop gericht een begripsclaim te ontlokken. Het overgrote deel van de docentuitingen was er helemaal niet op gericht iets te ontlokken bij de leerling, dit waren of (delen) van antwoorden, of uitleg in de vorm van ‘statements’ (bijvoorbeeld: “De hoeken van een driehoek zijn samen 180°. Als je een onbekende hoek wilt berekenen, trek je de twee bekende hoeken van 180° af.”).
            Het lijkt er dus op – hoewel een causale relatie tussen leerlinguitspraken en docentuitspraken door het gebruikte onderzoeksdesign niet aangetoond kan worden – dat begripsclaims van leerlingen vaker niet door docenten waren ontlokt dan begripsdemonstraties. Dit zou er op kunnen wijzen dat er inderdaad nog een duidelijke taak ligt voor leerkrachten: meer en gerichtere vragen stellen, om zo informatievere leerlinguitspraken (dat is: demonstraties) te ontlokken. Door informatievere uitingen van leerlingen te stimuleren, zouden leerkrachten meer informatie kunnen krijgen die hen helpt om de juiste ‘diagnose’ te stellen met betrekking tot het ‘probleem’ dat een leerling heeft.
           
Hoewel het onderzoek suggesties oplevert voor de onderwijspraktijk, is het belangrijk om op te merken dat de afwezigheid van een verband tussen prestatieniveau en begripsuiting (claim versus demonstratie) in dit onderzoek suggereert dat het demonstreren van begrip niet per se een positieve invloed heeft op leeruitkomsten (dat is: vakgemiddeldes). Mogelijk is deze bevinding echter een gevolg van de verschillen tussen cijfers bij verschillende leerkrachten. Terwijl leerlingen bij één docent in het onderzoek gemiddeld een 5,7 scoorden voor wiskunde, was dit bij een andere docent een 7,7. Dit grote verschil tussen docenten zou ertoe hebben kunnen geleid dat een ‘overall’ effect niet zichtbaar was in de data. Verder onderzoek dat rekening houdt met dit kenmerk van de data zou aanvullende waardevolle informatie kunnen opleveren over de relatie tussen het prestatieniveau van leerlingen en de manier waarop zij begrip uiten.
             

Bronnen
Hattie, J. (2009). Visible learning: A synthesis over 800 meta-analyses relating to achievement. New        York, NY: Routledge.
Tomlinson, C. A., Brighton, C., Hertberg, H., Callahan, C. M., Moon, T. R., Brimijoin, K., Conover,         L. A., & Reynolds, T. (2003). Differentiating instruction in response to student readiness,    interest, and learning profile in academically diverse classrooms: A review of literature.       Journal for the Education of the Gifted, 27, 119-145. doi:10.1177/016235320302700203
Van Braak, M. (2015). Is Demonstrating Understanding Rewarding? Student Academic Performance and Student Expression Mode in the Context of Micro Differentiation. Unpublished bachelorthesis, Utrecht University.
Van de Pol, J., Volman, M., Oort, F., & Beishuizen, J. (2014). Teacher scaffolding in small-group            work: An intervention study. Journal of the Learning Sciences, 23, 600-650. doi:10.1080/10508406.2013.805300

woensdag 8 april 2015

Mindfulness trainen op school: werkt dat?

Teach us to care and not to care
Teach us to sit still.
T.S. Eliot - Ash-Wednesday (1930)

En het is zo stil in mij 
Ik heb nergens woorden voor
Het is zo stil in mij 
En de wereld draait maar door.
Van Dik Hout - Stil in mij

Tout le malheur des hommes vient d'une seule chose, qui est de ne savoir pas demeurer en repos dans une chambre.
Blaise Pascal

Wat zal staatssecretaris Sander Dekker opgekeken hebben, de eerste keer dat hij een blik wierp in de digitale ideeënbus van het Onderwijs2032 platform. Hoog bovenaan een flink aantal lijstjes prijkte het verzoek tot het structureel invoeren van oefening in 'mindfulness' op school. Oefening hierin zou allerlei voordelen hebben voor het welbevinden van kinderen en ook bijdragen aan schoolprestaties. Een stukje rust in de hectiek van alledag (in een steeds ingewikkeldere en vluchtigere maatschappij) is misschien ook geen overbodige luxe. Mindfulness is dan ook hot. Op internet wemelt het van de kleine bedrijfjes die trainingen en workshops verzorgen. Het gaat dan meestal om zo'n 8 tot 10 sessies van anderhalf uur. Het ligt voor de hand dat er aardig wat geld in deze sector omgaat. Naast mindfulness voor leerlingen bestaan er ook trainingen mindfulness voor leerkrachten, zodat zij zelf leren om de boodschap door te geven. Rond het begrip hangt dus een vrij positieve vibe. Tegelijk zijn er zoals wel vaker het geval is mensen die het begrip veel te zweverig vinden en die twijfels hebben bij de effectiviteit van oefening in mindfulness op cognitief en sociaal welbevinden. Wie op zoek gaat naar wetenschappelijk onderzoek naar mindfulness belandt in een vrijwel ondoordringbaar bos vol studies en studietjes. Probeer daar maar eens wijs uit te worden. Gelukkig kwam ik een studie tegen uit 2014 waarin onderzoekers van de Europa-Universiteit Viadrina in Frankfurt geprobeerd hebben om al het onderzoek naar mindfulness op school samen te nemen en te analyseren: een meta-analyse. De studie brengt een aantal interessante aspecten en problemen aan het licht en is daarom de moeite waard om te bespreken (het hele artikel is overigens gratis beschikbaar).

Een belangrijke vraag is: wat ís mindfulness? Een hanteerbare definitie is die van Jon Kabat-Zinn: het psychologische vermogen om moedwillig ervaringen van het moment te ondergaan, zonder over die ervaringen te oordelen maar daarentegen open te staan voor en die ervaring en een gevoel van nieuwsgierigheid op te wekken. Er is een duidelijke relatie tussen mindfulness en meditatie en yoga. Het doel is in alle gevallen hetzelfde: door ontspanning oefenen om lichaam en geest te focussen en niet afgeleid te raken. De technieken worden in allerlei variaties al jaren toegepast in een klinische setting, bijvoorbeeld als onderdeel van een behandeling bij een depressieve stoornis. De ervaringen daarmee zijn redelijk positief. De vraag is of stressreductie en meer welbevinden ook in niet-klinische settings voordeel hebben, zoals in het onderwijs. Aangezien concentratie en aandacht ook belangrijke voorwaarden voor leren zijn, is de link tussen mindfulness en onderwijs vrij makkelijk te leggen. Zoals de onderzoekers het zelf formuleren: "Mindfulness can be understood as the foundation and basic pre-condition for education." Zij zien mindfulness als het tegenovergestelde van dagdromen, een proces waarbij op allerlei foute plekken in de hersenen activiteit te zien is. Hier hebben de onderzoekers zeker een punt, te veel 'malen' is niet zo goed voor ons, zo blijkt uit onderzoek. Toch komt al snel in het artikel een beetje nare aap uit de mouw: de onderzoekers zijn niet geheel onbevooroordeeld: zij lijken erg graag te willen aantonen dat mindfulnesstraining effectief is. Daarvoor moeten zij zich wel in een aantal bochten wringen. Wel melden ze dat het enthousiasme over mindfulness op dit moment groter is als het bewijs voor de effectiviteit ervan. Maar: effectiviteit meten is moeilijk want trainingsprogramma's blijken nogal uiteenlopend te zijn. Er wordt heel wat aangemodderd, lijkt het. Ook het wetenschappelijke gehalte van veel onderzoek naar mindfulness laat te wensen over. Dat heeft tot gevolg dat een uitgebreide zoektocht naar literatuur 207 studies oplevert, waarvan na het toepassen van enkele criteria (bijvoorbeeld: vind het onderzoek plaats in een school, en is er ook een uitkomst gemeten) 24 studies overblijven (waarvan slechts 13 'peer reviewed'): bijna 90 procent van de gevonden onderzoeken voldeed dus niet aan de minimumeisen voor een meta-analyse. Alleen al dat gegeven verhoogt de kans op een vertekend beeld: zijn de overgebleven studies wel representatief?

Eigenschappen van mindfulnesstrainingen, links het aantal studies (max. 24), rechts percentage.
Ook van de gekozen studies loopt de kwaliteit uiteen. Het mag dan wel een 'randomized controlled trial' zijn, er zit een onderzoek tussen met maar 12 leerlingen (7 in de mindfulnessconditie, 5 in de controlegroep die op een wachtlijst stond). Wat opvalt is dat de mindfulnesstrainingen behoorlijk van elkaar verschillen (zie de tabel hierboven). Thuisoefeningen, yoga, groepsdiscussies: het behoort allemaal tot de mogelijkheden maar is zeker niet noodzakelijk. Dat is wel problematisch als je de verschillende studies op een hoop gooit. Andere problemen met de geanalyseerde onderzoeken zijn dat veel context (achtergrond van de leerlingen, gegevens over scholen) ontbreken en dat de onderzoekers in hun studies ook als mindfulnesstrainers optreden: wie wil rapporteren over een zelf-ontworpen training als die training niet effectief is?

Om vast te stellen of mindfulnesstraining in de onderzochte studies in het algemeen een positief effect heeft berekenden de onderzoekers een 'weighted mean effect size' (g). De uitkomst? g = 0,41 (betrouwbaarheidsinterval van 95% loopt van 0,28 tot 0,54). Dat is geen onaardige uitkomst, formeel te interpreteren als 'klein tot middelmatig'. Ter vergelijking: de effectwaarden die John Hattie presenteert in zijn bekende onderwijsonderzoekoverzichtswerk Visible Learning neemt hij pas serieus vanaf de waarde 0,4 (het 'scharnierpunt'). In die zin zou mindfulnesstraining van Hattie dus 'groen licht' krijgen. Reden voor een hosanna? Helaas, er blijken flinke methodologische bezwaren te kleven aan de onderzochte studies. Dat komt duidelijk naar voren als de effectgrootte van elk van de 24 studies wordt afgezet tegen het aantal kinderen dat deelnam aan die studie. De 'trechterplot' die dat oplevert staat hieronder.

Trechterplot: voor 24 studies effectgrootte tegenover aantal proefpersonen

Wat de trechterplot duidelijk laat zien is dat het merendeel van de onderzochte studies een effectgrootte had die onder het gemiddelde lag (oftewel: de verdeling is scheef). Dat de algemene effectgrootte toch op 0,4 uitkomt wordt bepaald door een paar studies die een flinke effectgrootte lieten zien. Het kenmerk van die studies: het aantal proefpersonen was heel laag, waardoor juist die studies veel minder betrouwbaar zijn dan de andere studies. Als de schroeven wat strakker worden gedraaid en alleen de 12 studies met meer dan 41 proefpersonen worden bekeken zakt de algemene effectwaarde naar 0,31 (betrouwbaarheidsinterval van 95% loopt van 0,18 tot 0,44): een zeer matig effect op zijn best!

Het Frankfurtse onderzoeksteam blijft optimistisch: mindfulnesstraining lijkt een gematigd positief effect te hebben, met name als het gaat om cognitieve prestaties. Een bijkomende bevinding is dat de variatie in onderzoeksuitkomsten voornamelijk voortkomt uit verschil in de tijd die aan de training wordt besteed: hoe meer minuten oefening, hoe hoger de effectgrootte. Mindfulness is duidelijk niet een vaardigheid die leerlingen na een korte instructie beheersen. Al met al is de conclusie dat meer en vooral beter onderzoek nodig is. Ik zou daaraan willen toevoegen dat het ook de moeite waard kan zijn om verschillende vormen van mindfulnesstraining tegen elkaar af te zetten, want ik vraag me bijvoorbeeld af of in hoeverre er bij de verschillende yoga- en meditatietechnieken geen sprake is van een placebo-effect. Misschien hebben kinderen vooral oefening nodig in niet telkens afgeleid worden door onze almaar interessanter wordende wereld.



Literatuur
Zenner, C., Herrnleben-Kurz, S., & Walach, H. (2014). Mindfulness-based interventions in schools - a systematic review and meta-analysis. Frontiers in Psychology, 5, 1-20. doi:10.3389/fpsyg.2014.00603

zaterdag 7 februari 2015

Het beste onderwijsonderzoek van 2014

Op verzoek van het vakblad Didactief (koop dat blad!) schreef ik eind vorig jaar een artikel over het onderwijsonderzoek van 2014, en wat mij daarbij was opgevallen. Het stuk staat in het decembernummer. Omdat Didactief een laagdrempelige insteek heeft werd mijn manuscript enigszins 'vertaald' naar een tekst die voor de gemiddelde haastige leerkracht goed te behappen was. Hieronder staat de tekst zoals ik die zelf geschreven heb. Overigens: het onderzoek dat ik beschrijf is vast en zeker niet het 'beste' voor iedereen: het aanbod is zo groot dat een selectie noodzakelijk is en blijft. Als je zelf, op welke manier dan ook, tegen 'wow'-onderzoek aanloopt, laat het ons dan gerust weten: een weblog is niet alleen een manier om informatie te publiceren, maar evenzo een manier om erover te communiceren!

Het onderwijsonderzoek van 2014

Hypes komen, hypes gaan. Intussen draaide de wereld van het onderwijsonderzoek ook dit jaar weer rustig door. Net als voorgaande jaren is er veel, heel veel onderzoek gepubliceerd en het wordt nog altijd elk jaar meer. Het is allemaal niet bij te houden, maar gelukkig: u hoeft niet meer per se af te wachten tot Didactief op de mat valt. Het hele jaar door wordt er lustig geblogd, getweet en gefacebookt over nieuw en opmerkelijk onderzoek. Desondanks zijn de sociale media inmiddels ook zo dichtbevolkt dat ook daar wellicht de bomen het bos aan het zicht ontnemen. Aan mij is daarom gevraagd om het interessantste danwel meest relevante onderwijsonderzoek van 2014 toe te lichten. Dat is niet eenvoudig, alleen al om de reden dat onderzoeksresultaten vaak een tijdlang moeten ‘rijpen’: het kan jaren duren voordat onderzoek op haar juiste waarde wordt geschat (de omgekeerde weg bewandelen, van gewaardeerd naar afgeserveerd, is overigens ook mogelijk).  Het is dus onmogelijk om in deze brei aan te wijzen wat, samengevat, nu echt hét onderwijsonderzoek van 2014 is: die keuze is noodzakelijk subjectief. Ik heb me dan ook een beetje laten leiden door mijn eigen interesses, met name algemene trends op onderwijsgebied en de zaken waarvan ik vind dat het tijd wordt dat ze ontzenuwd worden. Maar ik heb ook hier en daar rondgevraagd, en zo ben ik tot mijn eindejaarslijstje gekomen. Het resultaat zal ik hier beknopt en in min of meer willekeurige volgorde bespreken.

MOOCs: de hype voorbij

Was 2014 het jaar van de MOOCs? Er werd in ieder geval weer heel veel over geschreven. Het aantal 'massive open online courses' groeit nog steeds maar gaandeweg lijkt de formule wat sleets te worden. En dat terwijl de revolutie in Nederland eigenlijk nog moet losbarsten, met universiteiten als die van Delft en Leiden als wegbereiders. Terwijl we in Nederland nog met de tenen het water bevoelen lijkt het zwembad intussen langzaam leeg te lopen. Welbeschouwd blijft inmiddels alleen de O van 'online' nog overeind staan. Zo massief en open zijn MOOCs niet. Een onderzoek van Anoush Margaryan en collega's ging in op de C, specifiek de instructiekwaliteiten van MOOCs. Een uitgebreide analyse van 76 verschillende MOOCs toonde: vorm wint het van functie. Alle MOOCs scoorden buitengewoon laag als het gaat om didactische uitgangspunten, zoals activeren van voorkennis en leerlingdifferentiatie. Slechts de presentatie van onderwijsmateriaal scoorde goed. Uit dit onderzoek komt duidelijk naar voren: het massieve open karakter hangt online onderwijs als een molensteen om de nek. Het is afwachten in welke richting deze op zichzelf heel interessante onderwijsvorm zal doorevolueren.

Speel je slim

2014 was het jaar waarin een flinke lijst vooraanstaande wetenschappers een open brief ondertekende die duidelijk maakte: zogenaamde 'brain games' zijn niet effectief. Er wordt goed verdiend aan spellen die erop gericht zijn je slimmer te maken (of 'mentaal fitter'). Ze werken niet2. Tegelijk wijzen de deskundigen op de noodzaak tot verder onderzoek hiernaar. Een mooi onderzoek hiernaar werd uitgevoerd door Valerie Shute en haar collega's. Shute deed qua onderzoeksmethode iets bijzonders, want ze vergeleek de populaire
brain game 'Lumosity' met het puzzelspel Portal 2. Proefpersonen speelden ruim 6 uur ofwel Lumosity ofwel Portal 2. Het onderzoeksartikel draagt de titel 'The power of play' en het waarom daarvan wordt snel duidelijk uit de resultaten. Het spelen van Lumosity had geen effect op cognitieve vaardigheden (zoals probleemoplossen) en niet-cognieve vaardigheden (zoals 'volharding'). Het spelen van Portal 2 had daarentegen flink positieve effecten op probleemoplossen, ruimtelijke vaardigheden, en volharding. Zet nu niet meteen leerlingen verplicht aan de puzzelspellen: de studie geeft een voorzichtig duwtje in een nieuwe richting. Verder onderzoek is nodig, maar duidelijk is: laat spellen die claimen je hersenen te trainen gerust links liggen en speel een extra potje Puzzle Quest.

Frusteren leidt tot leren

Moet je leerlingen geleidelijk met nieuwe leerstof in aanraking brengen, en dus alleen problemen geven die zij ook kunnen oplossen? Recent onderzoek laat zien dat het ook juist informatief voor leerlingen kan zijn om te werken met problemen die zij nog niét kunnen oplossen. Dat wordt 'productive failure' genoemd. In verschillende experimenten zijn varianten van 'de leerling op zichzelf aangewezen' versus ' de leerling wordt geholpen' met elkaar vergeleken. Telkens weer wordt gevonden dat het onder bepaalde omstandigheden nuttig kan zijn als leerlingen zich aan het begin van het leerproces bewust worden van de kennis en vaardigheden die zij nog missen. Hetzelfde geldt voor verwarring. In een onderzoek door Libl en Rummel ontvingen leerlingen expres tegenstrijdige informatie. In de gevallen waarin dat daadwerkelijk tot verwarring leidde bleek een positief leereffect op te treden.
Fouten maken en in de war raken zullen niet bij elke leerling het gewenste effect hebben, want ze kunnen tot veel frustratie leiden. Maar het dwingt wel om actief bezig te zijn met leermateriaal,  en geeft leerlingen inzicht in hun eigen tekortkomingen: een krachtig leermiddel. De vraag: “Wanneer wel, wanneer niet?” geeft daarbij veel ruimte voor verder onderzoek.

Weten wat de leerling weet 

Wat is nu echt een effectieve leermethode? Rijtjes stampen zeker niet, maar zogenaamde 'spaced repetion', het herhaald leren van hetzelfde materiaal over steeds langer wordende tijdsintervallen duidelijk wel (en dat weten we al jaren). Die methode wordt effecteif toegepast in verschillende opleidingen. Een recent onderzoek door Robert Lindsey en collega's liet zien dat de methode nog effectiever ingezet kan worden als wordt uitgegaan van de individuele leerling. De studie gebruikte geavanceerde technieken om via learning analytics om voor elke leerling afzonderlijk in te schatten welke herhalingsvragen voor die leerling effectief zouden zijn. De onderzoekers noemen dat een 'personalized review'. Het resultaat?  De
personalized review-methode leidde tot een stijging in de leerresultaten van maarliefst 16,5%  ten opzichte van standaardonderwijs, en een stijging van 10% ten opzichte van een spaced repetion-methode die gelijk was voor iedereen. De conclusie is dat het, ondanks mogelijke ethische bezwaren, de moeite loont om aandacht te besteden aan moderne analysemethodes die het mogelijk maken instructie aan te passen aan de individuele leerling. En dat is natuurlijk eigenlijk precies wat veel leerkrachten allang proberen te bewerkstelligen in hun eigen klas.

Eenentwintigste-eeuwse vaardigheden

Pablo Picasso
Leerling controle geven over hun eigen leerproces wordt tegenwoordig vaak gezien als essentieel om hen volwaardige eenentwintigste-eeuwse vaardigheden bij te brengen. Computers zijn uitermate geschikt om leerlingen die controle te geven. De vraag is dan: helpt dat hen ook om beter te leren? Matthew Burns en zijn collega's bekeken de resultaten van 18 studies die specifiek het effect van leerlingcontrole als onderwerp hadden. Hun antwoord is een eenduidig 'nee'. Of leerlingen controle wel of geen controle hebben over het tempo of de moeilijkheid van opdrachten blijkt helemaal geen effect op hun leren te hebben. In onderwijsland zien we maar al te vaak technologie als een panacee voor 'ouderwets' leren, maar de realiteit is weerbarstig. Zoals Picasso ooit zei over computers: “They are useless. They can only give you answers.”

Conclusie: de kracht van herhaling

Wat kunnen we verwachten in 2015? Reken er maar op dat onderzoekers zullen doorgaan met hun pogingen onze kennis over onderwijs uit te breiden. Het staat ook wel vast dat nieuwe hypes zullen opstaan en (waarschijnlijk) geruisloos weer uit het onderwijs verdwijnen. Nieuw is dat de in de psychologie ingezette trend van replicatieonderzoek – onderzoek waarbij een experiment wordt overgedaan om te checken of het gevonden resultaat nogmaals optreedt – ook onderwijsonderzoek zou kunnen bereiken. Een uitgebreide analyse door Matthew Makel en Jonathan Plucker van meer dan 160.000 artikelen afkomstig uit de 100 bekendste tijdschriften op het gebied van onderwijsonderzoek liet zien dat het percentage replicatieonderzoek een schamele 0,13 procent bedroeg. Tegenover elk replicatieonderzoek staan dus ruim 750 nieuwe onderzoeken: een wel erg scheve verhouding. Aangezien inmiddels wel duidelijk is dat  het effect van leerkracht, leermiddel en leermethode meestal bescheiden is kan het overdoen van onderzoek helemaal geen kwaad: kleine uitkomsten leiden soms al te makkelijk tot grote beweringen.
Al met al was 2014 een mooi jaar voor onderwijsonderzoek, en ook de vooruitzichten voor 2015 zijn uitstekend. Het belooft weer een interessant jaar te gaan worden. We houden u op de hoogte!

Verwijzingen


  • Braga, M., Paccagnella, M., & Pellizari, M. (2014). Evaluating students' evaluations of professors. Economics of Education Review, 41, 71-88. doi:10.1016/j.econedurev.2014.04.002
  • D'Mello, S. K., Lehman, B. Pekrun, R., & Graesser, A. C. (2014). Confusion Can be Beneficial For Learning. Learning & Instruction, 29(1), 153-170. doi:10.1016/j.learninstruc.2012.05.003
  • Karich, A. C., Burns, M. K., Maki, K. E. (2014). Updated meta-analysis of learner control within educational technology. Review of Educational Research, 84, 392-410. doi:10.3102/0034654314526064
  • Libl, K., & Rummel, N. (2014). Knowing what you don’t know makes failure productive. Learning and Instruction, 34, 74-85. doi:10.1016/j.learninstruc.2014.08.004
  • Lindsey, R.V., Shroyer, J.D., Pashler, H., & Mozer, M.C. (2014). Improving students' long-term knowledge retention through personalized review. Psychological Science, 25(3), 639-647. doi: 10.1177/0956797613504302 – zie ook http://xyofeinstein.wordpress.com/2014/01/22/woord-van-de-dag-leren-via-personalised-review-om-beter-te-onthouden/
  • Makel, M.C., & Plucker, J.A. (2014). Facts are more important than novelty: Replication in the educational sciences. Educational Researcher, 43(6), 304-316. doi:10.3102/0013189X1545513
  • Margaryan, A., Bianco, M., & Littlejohn, A. (2015). Instructional quality of Massive Open Online Courses (MOOCs). Computers & Education, 80, 77-83. doi:10.106/j.compedu.2014.08.005
  • Shute, V. J., Ventura, M., & Ke, F. (2015). The power of play: The effects of Portal 2 and Lumosity on cognitive and noncognitive skills. Computers & Education, 80, 58-67. doi:10.1016/j.compedu.2014.08.013





maandag 8 april 2013

Het dazzle effect: De gevaren van neuromarketing

Neuromarketing is een bloeiende industrie. Neuromarketing verwijst naar de aantrekkelijkheid van het associëren van producten met termen uit de neurowetenschappen. Denk aan het gebruiken van het voorvoegsel "neuro-" of het voorvoegsel "brein-". Het blijkt dat het gebruik van zulke terminologie ertoe leidt dat het bredere publiek meer vertrouwen krijgt in deze producten. Dit geldt ook als zulke toevoegingen nonsens zijn zoals wel eens het geval is bij het gebruiken van het voorvoegsel "brain-based".

Ook in het onderwijs is er sprake van het zogenaamde "dazzle effect" van termen uit de neurowetenschap. Zo bleek uit een onderzoek van Dekker, Lee, Howard-Jones en Jolles dat docenten in veel neuromythes geloven (bv. dat de linker hersenhelft de rationele helft is en de rechter hersenhelft de creatieve).

In het maart nummer van het tijdschrift Mind, Brain, and Education schrijven Lindell en Kidd over een interessant experiment waarin ze het "dazzle effect" van termen uit de neuropsychologie aantonen.

Psychologiestudenten, studenten van andere studies en ouders kregen vier varianten van een advertentie voor een onderwijsproduct te zien. Het product werd in de advertentie ofwel "Right brain training" of "Right start training" genoemd. Aan deze advertentie werd in de helft van de gevallen vervolgens een afbeelding van een (irrelevante) MRI scan van het brein toegevoegd; aan de andere helft niet.

De deelnemers van het onderzoek beoordeelden de advertentie op (1) of ze erin geïnteresseerd zouden zijn, (2) of ze dachten dat het product effectief zou zijn en (3) of ze dachten dat de training wetenschappelijk onderbouwd was.

De resultaten van het onderzoek illustreren duidelijk het "dazzle effect". De deelnemers aan het onderzoek beoordeelden de training die "Right brain training" werd genoemd als interessanter, effectiever en wetenschappelijk beter onderbouwd dan de "Right start training". Het toevoegen van de MRI afbeelding had geen effect op de interesse en het effectiviteitsoordeel van de deelnemers. Wel leidde het toevoegen van een MRI afbeelding ertoe dat deelnemers meer vertrouwen hadden in de wetenschappelijke onderbouwing van het product.

Een interessante bevinding is daarnaast dat psychologiestudenten in alle gevallen minder overtuigd waren door de twee neuro-toevoegingen, hoewel ook zij beïnvloed werden. Mogelijk zijn psychologiestudenten door hun opleiding wat beter in staat om de relevantie van neuroclaims te beoordelen.

De resultaten van dit onderzoek laten zien het voor het brede publiek ingewikkeld is om neuro-claims goed op waarde te schatten.

Overigens presenteren we met deze post ook de nieuwe Onderwijskunde poster, waarmee we veel nieuwe scholieren hopen te interesseren voor onze opleiding! ;-)

Lindell, A. K., & Kidd, E. (2013). Consumers favor "Right Brain" training: The dangerous lure of neuromarketing. Mind, Brain, and Education, 7, 35-39. doi: 10.1111/mbe.12005

donderdag 7 maart 2013

Neurowetenschap en onderwijs: je lichaam centraal

Ook al is het ook in de uitgeverswereld crisis, er is gelukkig nog ruimte om zo nu en dan een nieuw wetenschappelijk tijdschrift te starten. Een relatief nieuwe ster aan het firmament is het journal Trends in Neuroscience in Education. De trotse hoofdredacteur Manfred Spitzer verdedigt in de inleiding van het eerste nummer zijn stelling 'To understand learning is to understand the brain'. Hij geeft toe dat neurowetenschap eigenlijk nog maar aan het begin staat. Maar net zoals gebrek aan kennis de gebroeders Wright er niet van weerhield om te proberen een provisorisch vliegtuig te bouwen, zo moet de wetenschapper vooral pogingen doen de grenzen van de kennis op te zoeken. Hij waarschuwt voor te grote stappen in één keer (een kwaliteit waar vooral beleidsmakers in uitblinken) maar betreurt het dat er vaak wat lacherig over het vertalen van fundamenteel onderzoek naar concrete toepassingen wordt gedaan. Oftewel: dit nieuwe journal is met een stevige ambitie opgezet.
Natalie Trumpp
De thema's van de artikelen in het eerste nummer lijken traditioneel: dyslexie, studiemotivatie, getallenkennis... maar de stukken hebben een andere insteek dan in andere journals. Dat komt duidelijk naar voren in een van de eerste artikelen, dat gaat over 'embodied cognition'. De titel is "Embodiment theory and education: The foundations of cognition in perception and action". De schrijvers, Markus Kiefer en Natalie Trummp, zijn verbonden aan de Universiteit van Ulm in Duitsland. Embodiment is het idee dat je cognitie niet los kunt zien van het lichaam waarin die cognitie plaatsvindt. Dat is anders dan de 'standaard'-psychologie, waarin geest en lichaam zorgvuldig van elkaar gescheiden zijn. Een korte uitleg.
Misschien ken je het 'brain in a vat'-gedachte-experiment wel (in het Nederlands 'Hersenen in een vat'). Het is het idee dat je hersenen los in een vat zou kunnen bewaren. Alle sensaties worden gesimuleerd. Het filosofische aspect zit hierin dat niemand van ons zeker weet dat hij geen stel hersenen in een vat is. Heel Descartiaans, allemaal. De cognitieve psychologie vormt in zekere zin een meer conceptuele variant van dit experiment: ons denken (cognitie) staat los van het medium waarin die cognitie plaatsvindt. De geest als software van het brein (de hardware) als het ware. Wij zijn ons brein, zegt Dick Swaab. Maar wij zijn niet alleen ons brein, wij zijn ons lichaam. Sommigen zeggen: je moet met het lichaam, en met name de zintuigen, rekening houden als je iets over de werking van onze hersenen wil weten. Dat zijn de aanhangers van 'embodied cognition'. Zij zeggen: onze zintuigen maar ook onze ledematen bepalen voor een deel onze cognitie, die daarmee dus 'embodied' is. Raar idee? Ja en nee. Als je 's nachts wakker wordt weet je zonder te bewegen waarschijnlijk feilloos waar je armen zich bevinden (probeer het eens!). Dat vermogen wordt proprioperceptie genoemd. Proprioperceptie is wat dat betreft een zesde zintuig. Daarnaast blijkt onze lichaamshouding invloed te hebben op onze mentale 'getallenlijn'. Consequentie: mensen die naar links leunen schatten de hoogte van de Eiffeltoren lager in dan mensen die naar rechts leunen (dat prachtige onderzoek werd bekroond met een Ignobel-prijs).
Het artikel van Kiefer en Trumpp gaat over de relevantie van embodied cognition voor onderwijs en leren. Het artikel gaat in op verschillende vormen van 'embodiment': bij lezen en schrijven, bij geheugen voor gebeurtenissen, en bij conceptueel geheugen van objecten en getallen. Met name lezen en schrijven zijn interessant. De auteurs beargumenteren dat leren schrijven met de hand een beter geheugen voor de vorm van letters oplevert dan typen. Dat wordt ondersteund door gegevens uit een artikel van James en Engelhardt, dat in hetzelfde tijdschrift staat. Nu weet ik dat schrijven met de hand als activiteit op scholen langzamerhand naar de achtergrond verdwijnt. Heel normaal, volgens sommige juffen (getuige dit journaalitem van 2 februari jl.), maar helemaal niet slim, dus. Met de hand leren schrijven levert meer letter- en tekstbegrip op dan typen. De andere onderwerpen in het artikel zijn ook interessant, maar meer zijdelings gerelateerd aan onderwijs. Het blijkt bijvoorbeeld zo te zijn dat het lezen van een woord dat met geluid geassocieerd is ('telefoon') tijdens het lezen ervan die sensorische hersengebieden activeert die met het daadwerkelijk horen van een telefoon te maken hebben. Voor het lezen over acties geldt hetzelfde: die brengen activatie in de motorische hersenschors teweeg. Tenslotte laat onderzoek naar ons conceptuele geheugen voor getallen zien hoe belangrijk het leren tellen met de vingers is voor een beter begrip van cijfers: hoe je als kind omgaat met het tellen op je vingers blijkt invloed te hebben op je gevoel voor getallen als volwassene! Het zijn fascinerende inkijkjes in een vakgebied dat nog een lange weg te gaan heeft, maar nu al tot toepassingen in het onderwijs kan leiden.
Al met al is Trends in Neuroscience and Education veelbelovend van start gegaan. We zullen zien hoe lang Manfred Spitzer dit vliegtuig in de lucht weet te houden. Ik zal de publicaties in volgende nummers met belangstelling blijven volgen en als dat relevant is er hier over rapporteren.

PS. Deze blog bestaat nu een jaar. Dank jullie wel voor de belangstelling!

Bronnen
James, K.H., & Engelhardt, L. (2013). The effects of handwriting experience on functional brain development in pre-literate children. Trends in Neuroscience and Education, 1, 32-42. http://dx.doi.org/10.1016/j.tine.2012.08.001

Kiefer, M., & Trummp, N.M. (2013). Embodiment theory and education: The foundations of cognition in perception and action. Trends in Neuroscience and Education, 1, 15-20. http://dx.doi.org/10.1016/j.tine.2012.07.002

zaterdag 23 februari 2013

De gouden standaard in onderwijsonderzoek: Het debat gaat verder

Eens in de zoveel tijd laait de discussie weer op over de eisen waaraan goed onderwijsonderzoek zou moeten voldoen. In 2006 brak in Nederland de Onderwijsraad een lans voor evidence based onderwijsonderzoek: Er moet gestreefd worden naar zo hard mogelijk bewijs over wat werkt in het onderwijs. Hoe men dat bereikt? Met zogenaamde randomized controlled trails. Oftewel: studies waarbij deelnemers willekeurig (random) worden toegewezen aan een experimentele conditie of een controle conditie. Door een dergelijke opzet kunnen causale uitspraken worden gedaan over de werking van een interventie. Men kan dan vaststellen of een interventie invloed heeft op bijvoorbeeld leerprestaties van leerlingen. Met "zachtere" onderzoeksopzetten, bijvoorbeeld correlationele studies waarbij gezocht wordt naar verbanden tussen variabelen, kunnen geen causale relaties vastgesteld worden.

Het advies van de Onderwijsraad lokte enkele stevige reacties, waaronder een discussie tussen Kirschner en Gravemeijer enerzijds en Bosker anderzijds in het tijdschrift Pedagogische Studiën.

De nieuwste uitgave van Journal of Educational Psychology bevat een artikel dat de discussie weer nieuw leven in kan blazen. Reinhart, Haring, Levin, Patall en Robinson (2013) analyseerden de onderzoeksartikelen die tussen 2000 en 2010 verschenen in vijf vooraanstaande wetenschappelijke tijdschriften. Ze zijn erg kritisch over de "hardheid" van de gehanteerde onderzoeksopzetten en zijn ook erg kritisch over de uitspraken die onderzoekers met "zachte" onderzoeksopzetten (lees: correlationele onderzoeken) zich permitteren. Volgens Reinhart et al. worden dan toch vaak uitspraken gedaan die suggereren dat er een causale relatie bestaat tussen de onderzochte variabelen:

"The present line of research continues to show that at the same time intervention studies are becoming less prevalent in the education research literature, researchers are more inclined to include causal statements in nonintervention, observational/correlational studies. Potentially related to this is the increasing use of statistical modeling techniques. As was reported in the present study, over the past 10 years, there has been almost a 40% increase in modeling use in such articles that also include implications for practice"
Uit het onderzoek van Reinhart et al. blijkt dus dat het aantal randomized controlled trials daalde in de periode van 2000-2010. Daarnaast  bleken onderzoekers steeds meer genegen om causale uitspraken te doen over hun bevindingen. De auteurs zijn stellig in hun mening hierover: Met een correlationele onderzoeksopzet kunnen geen causale uitspraken gedaan worden. Daarnaast moet men dan ook voorzichtig zijn met het geven van adviezen voor de onderwijspraktijk. In feite, betogen Reinhart et al., is het niet mogelijk om op basis van correlationeel onderzoek gefundeerde, waardevolle adviezen voor de onderwijspraktijk te formuleren.

De auteurs geven ook een voorbeeld van een onderzoek dat zulke misplaatste uitspraken doet:

"It included a survey in which teachers rated their current relationships with students (e.g., closeness and conflict), and parents rated their child's behavior problems at home. ... this is a nonintervention observational study (referred to here as an observational/correlational study), as opposed to an intervention study. The authors concluded that “high quality teacher-child relationships appeared to buffer children from the risks normally associated with early internalizing behavior problems.” According to that conclusion, there is an implied causal relationship between teacher–child relationship and child behavior problems: If teachers had better relationships with children, then the children demonstrated fewer behavior problems later."
Te strenge leerkracht, dus daardoor gedragsproblemen?
De uitspraak dat wanneer leerkrachten betere relaties met de kinderen in hun klas hebben, de kinderen minder gedragsproblemen zullen vertonen veronderstelt volgens Reinhart et al. ten onrechte een causale relatie tussen de leerkracht-leerling relatie en gedragsproblemen van leerlingen. Adviezen op basis van deze onterecht veronderstelde causale relatie ("docenten moeten investeren in de relatie met leerlingen om zo gedragsproblemen te voorkomen") zijn volgens Reinhart et al. misplaatst.

Reinhart et al. schrijven de toename van het aantal correlationele studies ten koste van het aantal randomized controlled trials toe aan het toenemend gebruik van geavanceerde statistische methoden zoals multilevel analyse en structural equation modelling. Hoewel deze methoden zeer bruikbaar zijn, waarschuwen Reinhart et al.: 
"Educational researchers need to keep in mind that despite their many advantages, advanced statistical models cannot magically manufacture causal conclusions from observational or correlational data."
Ze vragen zich af:
"Is there something “magical” about modeling that increases the likelihood of researchers making  silky smooth “if-then” statements out of a sour morass of correlations?"
Reinhart et al. geven ook een voorzichtige verklaring waarom onderzoekers zich laten verleiden tot het doen van causale uitspraken:

"Making the news “sexy” frequently means glossing over crucial distinctions, like the classic distinction between correlation and causation (correlation is never as sexy as causation even on its best day)"
Met andere woorden: causale uitspraken verkopen nou eenmaal beter. Een nogal cynische verklaring.

De discussie over welke onderzoeksmethode het meest waardevol is voor onderwijsonderzoek is dus nog steeds springlevend en met dit artikel wordt het vuurtje weer lekker opgestookt. Ik ben benieuwd wie zich geroepen voelt te reageren.


Referentie:
Reinhart, A. L., Haring, S. H., Levin, J. R., Patall, E. A., Robinson, D. H. (2013). Models of Not-So-Good Behavior: Yet Another Way to Squeeze Causality and Recommendations for Practice Out of Correlational Data. Journal of Educational Psychology, 105, 241-247. doi: 10.1037/a0030368

maandag 29 oktober 2012

Onderwijsmythes op leraar24.nl

Leraar24 is een online platform dat is gericht op het ondersteunen van leraren, en probeert hen te helpen professionaliseren. Elke leraar die zelf iets leuks heeft bedacht of die een goed idee heeft kan hierover een video aanleveren, die dan op de website komt te staan. In een disclaimer verklaart de redactie van de pagina niet zelf verantwoordelijk te zijn voor de video's: noch of er copyright zit op in de video getoond materiaal, noch of wat in de video gezegd wordt wel wordt ondersteund door (wetenschappelijke) feiten. Het leidt tot een bonte verzameling video's die zo goed en kwaad als dat kan gegroepeerd zijn in thema's.

Het lijkt me dat als het doel van de video's is dat leraren zich professionaliseren, dat de informatie die daarin wordt verkondigd de toets der kritiek kan doorstaan. De realiteit is echter anders. Een korte zoektocht door de website levert meerdere video's op over onderwerpen waarvan de wetenschappelijke onderbouwing op z'n minst discutabel is. We bespreken hier enkele daarvan.

Meervoudige intelligentie: De website staat er vol mee. Er is een heel 'thema' gewijd aan de meervoudige intelligentie theorie van Howard Gardner. Dit thema bevat allerlei video's die de verschillende intelligenties uitleggen en demonstreren hoe meervoudige intelligentie in het onderwijs toegepast kan worden. Zie bijvoorbeeld hier (Vier keer wijzer-methode) of hier (Naturalistische intelligentie).
Cognitief psycholoog Daniel Willingham schreef al eens een gedegen kritiek van de claims die Gardner maakt in zijn theorie.Willingham gaat daarnaast in op de toepassing van Meervoudige Intelligentie in het onderwijs. Hij merkt op dat zelfs Gardner in zijn eigen publicaties zijn twijfels heeft over het nut van het proberen gebruiken van alle intelligenties om onderwerpen te onderwijzen. Frappant is dat de filmpjes op leraar24 lijken te suggereren dat dit wel degelijk een goede aanpak is (zoals bijvoorbeeld in het filmpje over naturalistische intelligentie, waarbij verkleinwoorden geleerd worden door in de natuur op zoek te gaan naar dingen die verkleind kunnen worden). De theorie over meervoudige intelligenties is al omstreden, de vertaling van die theorie naar onderwijs des te meer.

Mindmappen en het idee van de twee hersenhelften: Van de leraar24-webpagina: "Mindmappen is een techniek, ontwikkeld door Tony Buzan, om ons brein beter te gebruiken. Het helpt om makkelijker informatie te verwerken, complexe informatie te structureren, een beter overzicht te houden en sneller te leren. Op school ligt de nadruk echter vaak op de linkerhelft. Het stimuleren van beide hersenhelften kan juist veel winst opleveren voor het onderwijs. Mindmappen zorgt ervoor dat de beide helften van de hersenen worden gestimuleerd. Dit gebeurt door een onderwerp te benaderen door middel van steekwoorden en gebruik te maken van bijvoorbeeld kleur, tekeningen, organische lijnen en symbolen."
Het is opvallend hoe er op verschillende plekken op de leraar24 website wordt verwezen naar de verschillen tussen de linker- en de rechter hersenhelft. Kijk maar eens naar onderstaande bekende internet-afbeelding. Welke kant draait de danseres op? Met de klok mee of tegen de klok in? Zie je de danseres met de klok mee dansen? Dan is jouw linker hersenhelft dominant. Deze hersenhelft staat voor het zakelijke, de logica. Danst ze tegen de klok in? Dan is je rechter hersenhelft dominant. De rechter hersenhelft staat voor creativiteit. De implicatie die hieraan vaak wordt toegedicht voor het onderwijs is dat we in het onderwijs meer gebruik zouden moeten maken van ook de rechter hersenhelft. Creativiteit is tenslotte ook belangrijk (zeker in deze tijd!). Onderzoek laat echter zien dat bij zo'n beetje alle taken die we uitvoeren, beide hersenhelften betrokken zijn. Het is dus niet zo dat onze rechter hersenhelften per definitie meer gestimuleerd dienen te worden.


Brain gym: Van de leraar24 website: "Door gebrek aan beweging wordt het ‘complete leren’ (leren met alle hersendelen) te weinig geactiveerd. Dat kan blokkades veroorzaken en daardoor het leerproces verstoren. Fysieke oefeningen waarbij de eigen middenlijn overgestoken wordt en eenvoudige (zelf)massages en stretchoefeningen helpen om blokkades op te heffen. Door deze bewegingen wordt de samenwerking tussen beide hersenhelften en van en naar de zintuigen weer hersteld." Ook hier weer de verwijzen naar de twee hersenhelften die we hier boven al bespraken.


Bovenstaand fragment komt uit het BBC-programma Newsnight waarin 'Brain gym' op nette wijze gefileerd wordt. Geniet ook van Jeremy Paxman's sarcastische aankondiging van dit item.

De 'Kernvisie'-methode: Citaat uit de video: "De kernvisiemethode laat kinderen informatie rechtstreeks in het langetermijngeheugen zetten." Deze methode is "vooral geschikt voor 'rechtsgeorienteerde kinderen'" Enzovoort, enzovoort. De eerste uitspraak gaat volledig in tegen wat we op dit moment weten over hoe het geheugen werkt, bijvoorbeeld dat nieuwe informatie eerst verwerkt moet worden in het werkgeheugen voordat het opgeslagen kan worden in het langetermijngeheugen. Het idee dat ons geheugen informatie, bijvoorbeeld datgene wat we zien of visualiseren perfect kan opslaan, lijkt behoorlijk op het idee van een fotografisch geheugen. Over het bestaan van een fotografisch geheugen wordt getwist, maar eigenlijk is er niets dat wijst op het bestaan ervan. Uiteraard bestaan er personen die over een uitzonderlijk goed geheugen beschikken, die bijvoorbeeld pi tot op duizenden decimalen achter de komma kunnen opnoemen, maar dat is geen fotografisch geheugen: dat is gewoon knap. Ons geheugen is helaas allerminst perfect.

Bovenstaande voorbeelden illustreren het feit dat er op leraar24 een flink aantal bronnen en informatie te vinden is waar je vraagtekens bij kunt zetten. Eén van de zorgwekkende zaken is ook dat leraar24 door sommigen gebruikt lijkt te worden als een plek om reclame te maken voor eigen onderwijsconcepten. Kijk bijvoorbeeld eens naar de reacties bij de Kernvisie-methode. De ontwikkelaar van deze methode geeft hier aanvullende uitleg en verwijst naar zijn eigen website. Uiteraard is er niets mis mee als hiermee aandacht wordt gevestigd op onderwijsmethoden waar we vertrouwen in kunnen hebben, zoals samenwerkend leren (wel dan weer jammer van de link die dan gelegd wordt met meervoudige intelligentie!) of het geven van feedback. Gelukkig biedt leraar24 ook die informatie aan de geïnteresseerde bezoeker.