maandag 17 februari 2020

Het Robbert Dijkgraaf-effect

Met het stoppen van van De Wereld Draait Door komt er wellicht ook een einde aan DWDD University. In DWDD University geven bekende wetenschappers zoals Robbert Dijkgraaf en Freek Vonk interessante colleges in een fraai decor, ondersteund met relevante artefacten en mooie beelden. Het zijn meestal super gepolijste hoorcolleges: de sprekers maken contact met het publiek en de camera, hun verhaal is heel strak en wordt verteld zonder horten en stoten en het gebruikte materiaal is een visuele ondersteuning van het college. Kortom: de hoorcollegedocenten van DWDD university hebben een grote spreekvaardigheid. Daarom zijn hun colleges ook aangenaam om naar te kijken op tv.

Als we naar colleges van docenten met een grote spreekvaardigheid kijken, hebben we waak de impressie dat we veel aan het opsteken zijn van hetgeen we zien en horen. Maar is dat echt zo? Zulke impressies dat we aan het leren zijn, worden judgments of learning genoemd.

Carpenter, Northern, Tauber en Toftness (2020) deden onderzoek naar instructor fluency. Ze voerden twee experimenten uit waarbij ze het effect van twee variabelen onderzochtten: instructor fluency en ervaring van de docent

Deelnemers aan het onderzoek keken naar naar twee varianten van een hoorcollege gegeven door dezelfde docent. In fluent-conditie gaf de docent een gelikte presentatie: hij keek in de camera, sprak vloeiend, gebruikte ondersteunende gebaren, etc. In de disfluent-conditie gaf dezelfde docent een inhoudelijk identiek college. De tekst die hij uitsprak was hetzelfde als in de fluent-conditie, maar de manier waarop de inhoud was gebracht was anders: de docent keek niet in de camera, las veel aantekeningen op van papier, gebruikte een monotone stem, etc. 

Robbert Dijkgraaf geeft een hoorcollege voor DWDD University.
Daarbij werd de helft van de deelnemers voor het kijken geïnformeerd dat ze keken naar een ervaren docent en de andere helft werd geïnformeerd dat ze keken naar een onervaren docent. Dit bekent dat bij sommige deelnemers de presentatie die ze bekeken niet in overeenstemming was met de informatie die ze ontvingen over de ervaring van de docent: ze keken bijvoorbeeld naar een spreker met een lage spreekvaardigheid terwijl hen verteld was dat ze naar een ervaren docent keken.

Boven de hoorcollegedocent in de fluent-conditie, beneden in de disfluent-conditie.
Nadat de deelnemers het opgenomen hoorcollege hadden bekeken, werden hun judgments of learning bevraagd door hen de vraag te stellen: Over ongeveer twee minuten krijg je een meerkeuzetoets over de informatie in de video. Hoe goed denk je dat je hierop zult scoren? Daarna vulden de deelnemers een evaluatielijst in waarin zij hun mening de hoorcollegedocent die ze gezien hadden, hoe interessant de lesstof was, etc. Tenslotte maakten ze ook daadwerkelijk de meerkeuzetoets. 

De resultaten van het onderzoek laten zien instructor fluency een duidelijke impact heeft op judgments of learning. De groep deelnemers die naar de gelikte presentatie keek verwachtte beter te scoren op de meerkeuzetoets dan de groep deelnemers die naar de stamelende hoorcollegedocent keek. Ook bleken deze deelnemers veel positiever te zijn over de docent en het hoorcollege dat ze bekeken hadden: ze vonden het hoorcollege bijvoorbeeld interessanter, leerzamer en meer motiverend. Daarnaast vonden de deelnemers in de fluent-conditie de docent meer georganiseerd, beter voorbereid en effectiever.

Dus de deelnemers in de fluent-conditie schatten hun aanstaande presentatie op de meerkeuzetoets hoger in dan de deelnemers in de disfluent-conditie. Klopt die inschatting ook? De resultaten van het onderzoek van Carpenter et al. laten duidelijk zien van niet. Er was geen verschil tussen de beide condities op de meerkeuzetoets: beide groepen presteerden even goed. Dus hoewel de deelnemers in de fluent conditie verwachtten beter te presteren op de meerkeuzetoets, bleek dit voordeel er voor hen niet te zijn.

Opvallend genoeg bleek de ervaring van de docent in dit onderzoek er niet toe te doen. De deelnemers die gehoord hadden naar een ervaren docent te kijken hadden geen hogere judgments of learning, evalueerden de docent en het hoorcollege niet beter en presteerden niet beter op de meerkeuzetoets. Ook was er geen interactie tussen instructor fluency en ervaring van de docent. Het was bijvoorbeeld niet zo dat het extra negatief uitpakt om een gebrekkig hoorcollege te bekijken en te maken te hebben met een onervaren docent (de auteurs speculeerden op een zogenaamde double course van een onervaren docent met een gebrekkige presentatie).

De auteurs concluderen naar aanleiding van deze studie dat studenten zich voornamelijk baseren op lecture fluency bij het inschatten van hun eigen leerprestaties en de kwaliteit van docenten en hun onderwijs. Ze baseren zich minder op de ervaring van de docent bij het maken van deze inschattingen. Toch kan lecture fluency volgens de auteurs in een invloed hebben op het leerproces van studenten omdat het belangrijke affectieve processen als motivatie en interesse lijkt te stimuleren. Ook stellen de auteurs dat studentevaluaties over de effectiviteit van docenten met enig voorbehoud geïnterpreteerd moeten worden, omdat de impressies van studenten hierover niet noodzakelijk met de werkelijkheid corresponderen.



Carpenter, S. K., Northern, P. E., Tauber, S. “U.”, & Toftness, A. R. (2020). Effects of Lecture Fluency and Instructor Experience on Students’ Judgments of Learning, Test Scores, and Evaluations of Instructors. Journal of Experimental Psychology: Applied, 26, 26-39. doi:10.1037/xap0000234 

dinsdag 4 februari 2020

researchED 2020; Wat zijn onze ervaringen?

Deze blogpost werd geschreven door:
Katie van Cauter (eerstejaars deeltijdstudent bachelor Onderwijswetenschappen), 

Eline Pothoven (tweedejaars student bachelor Onderwijswetenschappen)

Toen wij tijdens het hoorcollege van de cursus ‘Inleiding Onderwijswetenschappen’ de mogelijkheid kregen om naar researchED te gaan, aarzelden wij beiden geen moment. Ondanks dat we allebei nog nooit gehoord hadden van dit evenement, leek dit ons de ultieme mogelijkheid om een inkijk te krijgen in onderwijsonderzoek in de praktijk.

researchED is een evenement waarbij onderzoekers en docenten samenkomen en hun ideeën over onderwijs delen in de vorm van interactieve sessies. De kloof tussen onderwijsonderzoek en de onderwijspraktijk is nog erg groot en dit evenement vormt een mooi platform voor onderzoekers en docenten om een begin te maken met het dichten van dit gat. Het motto van researchED is dan ook “where research meets education”.

Zaterdagochtend 11 januari 09:00 uur druppelden de eerste docenten, onderzoekers, sprekers en een paar studenten de kerk ‘De Fontein’ te Nijkerk binnen. Toen wij daar gingen zitten dachten we, dit raakt nooit vol! Het tegendeel werd bewezen want om 09:30 uur zaten er ruim 700 belanghebbenden in de kerk: vol energie in afwachting wanneer het zou beginnen. In het welkomstwoord van deze dag, dat gegeven werd door Jan Tishauser, werd de kern van deze dag mooi samengevat. Alle aanwezigen werden opgeroepen om met elkaar in gesprek te gaan en om informatie en ervaring uit te wisselen. Daarnaast werd researchED in België op 28 maart in Mechelen aangekondigd, dus mocht je na het lezen van onze ervaringen ook een researchED willen meemaken, hoef je helemaal niet lang te wachten!



Hierna volgde de keynote van de dag, een presentatie over gelijke kansen in het onderwijs door Monique Volman en Linda van den Bergh. In deze presentatie werd uitgelegd dat de inrichting van het Nederlandse onderwijs soms kansenongelijkheid in de hand kan werken. Zo werden er verschillende onderzoeken aangehaald, bijvoorbeeld die van Jussim, Harber en Badad, waarin er duidelijk werd dat kinderen lage- of hoge verwachtingen direct oppikken in een conversatie met de docent. De boodschap van deze keynote was dan ook om je bewust te worden van de manier waarop je omgaat met leerlingen in je verbale, maar ook non-verbale, gedragingen. De keynote was ook bedoeld om het nieuwe boek ‘Werk maken van gelijke kansen’ te introduceren. In dit boek wordt nog veel verder ingegaan op de kansenongelijkheid binnen het onderwijs. Bijvoorbeeld met onderzoeken waaruit blijkt dat kinderen van middel- tot hoogopgeleide ouders veel verder komen in het vervolgonderwijs dan kinderen van laagopgeleide ouders. Wil je hier meer over lezen?

De rest van de dag was gevuld met interactieve sessies die gegeven werden door verschillende mensen uit het onderwijswerkveld. Deze sessies waren ingedeeld in verschillende categorieën; algemene didactiek, cognitieve psychologie, differentiëren, formatieve evaluatie en toetsing, gedrag en leerstoornissen, pedagogiek en filosofie, professionaliseren en onderzoek, taal en leesonderwijs en tot slot rekenen, wiskunde en ICT. Bij deze presentaties werden onderwerpen besproken waar docenten in de onderwijspraktijk mee te maken kunnen hebben. Deze onderwerpen werden dan belicht vanuit onderwijswetenschappelijk onderzoek. Bij veel van de presentaties kwamen ook besprekingen van theorie aan bod die aansloten bij de dingen die wij leren bij de bachelor Onderwijswetenschappen. Hieronder een kort overzicht van welke sessies wij hebben bijgewoond. Sommige sessies hebben we tegelijkertijd gevolgd, anderen juist afzonderlijk van elkaar om aan het einde van de dag een zo compleet mogelijk beeld te hebben van alle sprekers van researchED 2020.

Rondes

Onderwerp

Spreker(s)

Bijgewoond door

Ronde 2
Inleiding ‘Wijze lessen’: Cognitieve Psychologie en Goed Onderwijs
Paul Kirschner
Eline
Op naar succeservaringen voor ALLE leerlingen: Het inzetten van toetsing als leer- en oefenstrategie
Martin Ringenaldus & Dominique Sluijsmans
Katie
Ronde 3
Onderwijskwaliteit
Inge de Wolf
Katie & Eline
Ronde 4
Het Lerarencollectief: hoe verder?
Jan van de Ven & Thijs Roovers
Eline
Functioneel toetsen en het langetermijnleren
René Kneyber
Katie
Ronde 5
The dark side van evalueren
Pedro De Bruyckere
Eline
What teachers need to know about classroom culture and social norms
David Didau
Katie
Ronde 6
Dyslexie een stoornis! Waar is het bewijs?
Anna M.T. Bosman
Eline
Onderzoek gaat om houding, niet om resultaat
Jan Bransen
Katie
Ronde 7
De expert-leraar
Eva Naaijkens
Katie & Eline

Eigenlijk waren alle sessies ontzettend leuk en interessant om bij te wonen. Het sprak ons allebei erg aan dat iedere spreker echt stond voor een bepaalde visie en daar met overtuiging over ging vertellen. Wat mij (Eline) erg opviel was dat alle sprekers ook heel graag de dialoog aan wilden gaan over de onderwerpen en juist de ervaringen in de klas wilden achterhalen. Dit zorgde voor een hele fijne sfeer op de dag zelf vond ik. De sessies die ik heb bijgewoond waren allemaal erg verschillend, maar dat maakte de dag juist zo leuk!

De eerste sessie die ik (Eline) bijwoonde was die van Paul Kirschner. Hij is Emeritus hoogleraar Onderwijspsychologie aan de Open Universiteit in Nederland, eredoctor aan Oulu University in Finland en Gastprofessor aan de Thomas More Hogeschool in België. Ik was van tevoren heel enthousiast dat hij zou spreken op researchED omdat wij in de opleiding een aantal artikelen en sommige boeken van hem lezen. In deze sessie herkende ik dan ook het meeste terug van de inhoud van de bachelor Onderwijswetenschappen. Eigenlijk was zijn sessie een grappige en verhelderende samenvatting van het vak ‘Educational Psychology’. Hij had het onder andere over de cognitive load theory, het werkgeheugen (en de beperkte capaciteit ervan) en assimilatie en accommodatie van Piaget. Hij vertelde dit alles aan de hand van voorbeelden. Zo liet hij bijvoorbeeld een eerdere slide opnieuw zien als hij hiernaar refereerde, om op deze manier onze cognitieve belasting te verminderen. Wat ik heel grappig vond is dat hij zijn verhaal gelijk koppelde aan hoe hij zijn PowerPoint had vormgegeven zodat wij het zouden onthouden. Zo had hij bijvoorbeeld meerdere schematische weergaven van de werking van het werkgeheugen om zo de informatie te herhalen, maar ondertussen ook de bestaande schema’s in je werkgeheugen uit te breiden met nieuwe informatie (de andere manier van aanbieden). Door deze koppeling merkte ik gelijk dat het effect had op de manier waarop ik de presentatie verwerkte. Echt super fascinerend én misschien een leuke toevoeging voor de hoorcolleges van EP! Als afsluiter een grappige uitspraak die Paul Kirschner deed tijdens zijn sessie “Dit is geen ‘rocketscience’, onze hersenen werken heel simpel!”.

De sessie van Pedro De Bruyckere, pedagoog en postdoctoraal onderzoeker aan de Arteveldehogeschool in Gent en aan de Universiteit van Leiden, in ronde 5 was echt geweldig! Ik (Eline) had nog niet eerder iets bijgewoond van Pedro maar wow, wat een energieke, humoristische welbespraakte man! Hij had zijn sessie, met als titel “the dark side van evalueren”, opgedeeld in drie delen; tales of the unexpected, dark mirror & the twilight zone. Als een horrorfilm ging hij door zijn sessie heen, met schrikmomenten en een dramatisch einde. Tegelijkertijd probeerde hij ook een duidelijke boodschap over te brengen, namelijk dat alles wat we doen consequenties heeft en dat bijvoorbeeld transparantie in het onderwijs komt met een bepaalde prijs. De huidige situatie is dat we hiervan wegkijken, maar we moeten juist hierover de conversatie aangaan. THE END.

De sessie die mij (Eline) het meest is bijgebleven is degene van Anna M.T. Bosman in ronde 6. Ik werd erg getriggerd door haar manier van vertellen. Met vele argumenten toonde ze aan dat de manier waarop we vandaag de dag dyslexie diagnosticeren niet de manier is waarop het zou moeten. Ze presenteerde drie stellingen van Stichting Dyslexie Nederland (SDN) die ze in haar presentatie ontkrachtte. Eén daarvan vind ik het delen waard, namelijk dat er sprake moet zijn van exclusie, dus dat er factoren uitgesloten moeten worden als verklaring van hardnekkige problemen in lezen en/of spellen. Anna verwoorde dit als dat een ander probleem (een verstandelijke beperking, doof- of slechthorendheid, blind- of slechtziendheid, neurologische stoornissen, onvoldoende beheersing van de instructietaal en/of algemene omgevingsfactoren zoals inadequaat onderwijs) de kans op een dyslexieverklaring dus blijkbaar verkleint. Haar (in mijn ogen begrijpelijke) frustratie kwam naar voren in de pakkende slotzin “Als jij met hoofdpijn bij de dokter komt en een week later breek je je been, dan ga je er toch vanuit dat de dokter je alsnog helpt? Hoezo is dit bij dyslexie dan niet het geval?”.

Eén van de sessies die mij (Katie) het meest is bijgebleven was de sessie van Dominique Sluijsmans en Martin Ringenaldus in ronde 2. Dominique is een onderzoeker en lector op de Zuyd Hogeschool en Martin werkt als docent Duits op het RGO Middelharnis. Martin kreeg van zijn school te horen dat ze het eindexamen Duits voor VMBO BBL/KBL gingen schrappen. Hij heeft toen zelf het initiatief genomen om helemaal zonder cijfers te gaan werken, omdat hij vond dat cijfers niet veel zeggen over hoe goed zijn leerlingen de stof beheersen. Om te zorgen dat hij dit succesvol in zijn klas kon, heeft hij Dominique ingeschakeld. Tijdens de presentatie vertelde Martin over de dingen waar hij tegenaan liep in de klas bij het implementeren van dit idee en hoe hij dit heeft opgelost. Dominique vertelde vervolgens wat de theorie achter deze oplossingen was vanuit het oogpunt van onderwijsonderzoek. Deze presentatie was voor mij een prachtig voorbeeld van hoe onderwijsonderzoek direct van invloed kan zijn op de onderwijspraktijk, als mensen de dialoog met elkaar aangaan en open staan voor elkaars ideeën.

Beiden hebben we de sessies van Inge de Wolf (ronde 3) en Eva Naaijkens (ronde 7) gevolgd. Bij Inge ging het vooral over de functies van het onderwijs en de ontwikkeling hiervan in de afgelopen jaren. Wat we beiden opvallend vonden bij deze sessie is dat er veel discussie vanuit het publiek kwam. Dit presenteerde eigenlijk prachtig het knelpunt waar Jan van de Ven en Thijs Roovers in ronde 3 op in gingen, namelijk dat leerkrachten helemaal niet betrokken worden in het proces van wetsvoorstellen met betrekking tot het onderwijs (en dat er daarom een lerarencollectief nodig is!). Bij Eva lag de nadruk vooral over het hebben van expert-leerkrachten in het onderwijs en dat dit de toekomst is: zelfvoorzienende scholen met een hoge werktevredenheid en veel (persoonlijke) groei. Zelf vond ik (Eline) dit een wat minder interessante sessie, maar ik kan me wel voorstellen dat leerkrachten hier veel aan hebben gehad omdat het een hele praktische toepassing gaf. Echter weet ik niet wat ik hier als onderwijskundige in spé van vind, het geeft in ieder geval stof tot nadenken!

Jan Tishauser sloot de dag op passende wijze af door ons nog even bewust te maken dat we toch wel echt vakidioten moeten zijn om op onze vrije zaterdag de hele dag naar een congres te gaan. Toen beseften we wel even dat we een stapje hebben gezet in de richting van vakidioot, wat moet dat worden?! Toch hadden we deze enerverende dag voor geen goud willen missen. We hebben veel geleerd over inhoudelijk onderzoek en we begrijpen de wrijving tussen onderwijsonderzoek en de onderwijspraktijk ook beter. We weten dat er nog werk aan de winkel is om de eerdergenoemde kloof te dichten en hopen dat wij hierin op onze eigen manier een rol (kunnen gaan) spelen.

donderdag 9 januari 2020

Nieuwe studie toont effect van leerstijlen?

Dankzij collega Vincent Hoogerheide kwam ik op het spoor van een studie van Lehmann en Seufert naar leerstijlen in Frontiers in Psychology. Hieronder het abstract:

This study investigates the aptitude–treatment interaction between text modality and learners’ modality preference on learning outcomes and cognitive load, which is currently a point of controversy. The Meshing Hypothesis postulates there are better learning outcomes when the modality of a learning environment matches the learner’s preference. However, previous research supporting the Meshing Hypothesis shows methodological issues. Therefore, clear empirical support is needed. We tested 42 learners in a between-subject design: Their preferences were either auditive–ambiguous or visual, and half of each preference group randomly learned either with an auditive or a visual text. As expected, we did not find any main effects, but a significant interaction between the text modality and the learner’s preference for comprehension outcomes, extraneous cognitive load, and germane cognitive load. Specifically, learners with a preference for visual texts benefit from learning with their preferred modality, they showed higher comprehension scores and less extraneous load when learning from a visual text. Auditive–ambiguous learners showed almost equal results with both text modalities. This might be explained by the fact that most texts in everyday life are presented visually, and therefore learners with an auditive preference needed to develop appropriate reading strategies. Thus, our results partly support the Meshing Hypothesis.

Interessant is dat hier wordt verwezen naar de meshing-hypothesis die eerder al op dit blog besproken werd. Deze hypothese stelt dat wanneer de manier waarop studenten leren aansluit bij hun leerstijl, zij dan beter zullen presteren. In eerder onderzoek (zie Rogowsky et al., 2015) werd er geen bewijs gevonden voor deze hypothese in een populatie van 121 Amerikaanse studenten. Nu lijkt de studie van Lehmann en Seufert toch ten dele bewijs te vinden voor deze hypothese, in ieder geval voor studenten met een visuele leerstijl. Het is overigens opvallend dat Lehmann en Seufert het in hun artikel afwisselend hebben over leerstijlen (visueel versus auditief) en voorkeuren voor auditief of visueel studeren.

Hoe moeten we deze studie zien in het licht van de veel gehoorde opvatting dat het nutteloos zou zijn om het onderwijs aan te passen aan de leerstijl van studenten?

Een sterk punt van de studie is dat de richtlijnen van Pashler et al. (2008) gevolgd zijn. Deze richtlijnen stellen dat om overtuigend bewijs voor de meshing hypothesis te leveren een studie:

  1. Van de deelnemers aan het onderzoek wordt vastgesteld wat hun leerstijl is.
  2. Deelnemers van elke groep moeten random worden ingedeeld groepen zodanig dat de helft van deelnemers onderwijs krijgt dat past bij zijn of haar leerstijl en de andere helft onderwijs krijgt dat niet past bij zijn of haar leerstijl.
  3. Alle deelnemers maken afsluitend dezelfde toets over de leerstof.


Toch vallen er ook enkele kanttekeningen te plaatsen bij deze studie.

  • De onderzoekspopulatie is met slechts 42 deelnemers erg klein. Een replicatie met een grotere groep studenten is dus zeker nodig om zekerheid te krijgen over de robuustheid van bevindingen.
  • De vragenlijst waarmee voorkeur/leerstijl werd gemeten, de PAVS (preferences for auditive versus visual stimuli) was mij niet bekend. De auteurs laten zien dat de betrouwbaarheid van de vragenlijst goed is en leveren ook bewijs voor de predictieve validiteit van de vragenlijst. Aan de andere kant: ik was deze vragenlijst nog niet eerder tegengekomen en ander onderzoek gebruikt dan ook vaak andere vragenlijsten om leerstijlen in kaart te brengen.
  • De items van de vragenlijst (bv. “I find it less exhausting to listen to someone compared to reading”) roepen de vraag op wat hiermee nu echt gemeten wordt: voorkeur/leerstijl of vaardigheid? Zijn degenen die negatief antwoorden op deze vraag, wellicht ook degenen die beter zijn in lezen en daarom ook beter presteren in een tekstconditie?
  • In de steekproef zaten, zoals de auteurs zelf al aangaven, niet echt deelnemers met een duidelijke auditieve leerstijl. De auteurs spreken van auditive–ambiguous learners. Wellicht kan de meshing hypothese beter onderzocht worden met een steekproef waarin beide groepen beter te onderscheiden zijn. En wellicht is het ook zo dat bij een populatie hoogopgeleide deelnemers er weinig studenten met een voorkeur voor auditief leren zijn.

Al met al een interessante studie die iets te veel vragen oproept om volledig te overtuigen.



Lehmann, J., & Seufert, T. (2019). The Interaction Between Text Modality and the Learner’s Modality Preference Influences Comprehension and Cognitive Load. Frontiers in Psychology. https://doi.org/10.3389/fpsyg.2019.02820



vrijdag 13 december 2019

Kan interactie en samenwerking tussen leerlingen het leerproces bevorderen?

In het Journal of Educational Psychology verschijnt binnenkort een interessante meta-analyse over de waarde van peer interaction (vormen van interactie of samenwerking tussen leerlingen) voor het leerproces. De meta-analyse belooft in het bijzonder relevant te zijn omdat zij niet alleen inzicht geeft in de effectiviteit van peer interaction, maar ook in de precieze processen die daarbij een rol spelen.

Hieronder alvast het abstract. Bij het verschijnen van het volledige artikel op de site van Journal of Educational Psychology zal ik een uitgebreidere post schrijven.

Decades of research indicate that peer interaction, where individuals discuss or work on a task collaboratively, may be beneficial for children’s and adolescents’ learning. Yet, we do not know which features of interaction may be related to learning from peer interaction. This meta-analysis examined results from 62 articles with 71 studies into peer interaction, involving a total of 7,103 participants aged 4 to 18 years. Peer interaction was effective in promoting learning in comparison with other types of learning conditions, Hedges’ g = 0.40, 95% confidence interval [CI: 0.27, 0.54], p < .0001, across different gender and age groups. In contrast, however, peer interaction was not more effective than child–adult dyadic interaction. Moderator analyses also indicated that peer interaction is more effective when children are specifically instructed to reach consensus than when they are not. Findings extend theoretical considerations by teasing apart the processes through which children learn from peer interactions and offer practical implications for the effective use of peer interaction techniques in the classroom.

Tenenbaum, H. R., Winstone, N. E., Leman, P. J., & Avery, R. E. (2019). How effective is peer interaction in facilitating learning? A meta-analysis. Journal of Educational Psychology. Advance online publication. https://doi.org/10.1037/edu0000436

maandag 2 december 2019

Op zoek naar een prijswinnend onderwijsidee? De Buzzword-onderwijsprojecten-generator helpt!

Minister van Engelshoven maakte bekend een onderwijsprijs uit te gaan reiken voor excellente onderwijsteams in het hbo en wo. Deze prijs (waarde €2,5 miljoen) moet een tegenhanger vormen van bijvoorbeeld de prestigieuze Spinozapremie (de hoogste Nederlandse onderscheiding voor wetenschappelijk onderzoek).

De minister ziet de prijs als een steun in de rug voor alle docenten in het hoger onderwijs en wil hiermee haar waarderen voor de onderwijsprofessionals in het hoger onderwijs laten blijken.

Omdat we allemaal wel een steuntje in de rug kunnen gebruiken en allemaal wel waardering willen, verwacht ik dat er veel animo voor deze prijs zal zijn.

Toch zal het niet gemakkelijk zijn om deze prijs in de wacht te slepen. Wat als je bijvoorbeeld net als ik een volstrekt middelmatige docent bent? Dan ben je misschien al bij voorbaat kansloos.

Of misschien heb je wel een heel erg afgezaagd onderwijsidee voor die €2,5 miljoen. Misschien wil je wel flink wat extra docenten aan nemen om werkgroepen te verkleinen, meer tijd hebben om stages en scripties te begeleid, etc. Volstrekt onorigineel en dus kansloos!

Maar niet getreurd: Om de jury te overtuigen van jouw eigentijdse en excellente onderwijsidee, heb ik een handig hulpmiddel ontwikkeld: de buzzword-onderwijsprojecten-generator!

Hoe werkt het? Gebruik de onderstaande tabel om de naam van jouw onderwijsproject te genereren, et voilá! Promoot vervolgens je onderwijsproject met verve en wie weet ben jij wel de eerste ontvanger van deze vooralsnog naamloze prijs!

Veel succes!




maandag 16 september 2019

Nieuwe overzichtsstudie naar relatie tussen interventies, zelfregulerend gedrag en leerprestaties

Er wordt veel onderzoek verricht naar de effectiviteit van interventies die zich richten op het ondersteunen van studenten tijdens self-regulated learning (SRL). Deze interventies hebben vaak een positief effect op leerprestaties van studenten. De aanname is daarbij meestal dat deze positieve effecten komen doordat de gebruikte SLR-interventies zorgen in een verbetering in de zelfregulatie van studenten en dat deze verbetering op zijn beurt zorgt voor betere leerprestaties. In onderzoekstermen: de verwachting is dan dat zelfregulatie van studenten het effect van SRL-interventies op leerprestaties medieert. Deze verwachting is echter nog nooit onderzocht. Dit is precies wat mijn collega Renée Jansen, Anouschka van Leeuwen, Liesbeth Kester, Suzanne Jak en ikzelf onderzochten in een meta-analyse die onlangs is geaccepteerd in het tijdschrift Educational Research Review.

In dit onderzoek hebben we gepoogd studies waarin één de volgende vragen centraal stonden samen te vatten:

  1. Studies naar de effecten van SRL-interventies op leerprestaties van studenten.
  2. Studies naar de effecten van SRL-interventies op zelfregulerend gedrag van studenten.
  3. Studies naar de relatie tussen zelfregulerend gedrag en leerprestaties.


Figuur 1: Wordt het effect van SRL-interventies of leerprestaties gemedieerd door zelfregulerend gedrag?

In totaal konden we 142 studies (gepubliceerd in 126 artikelen) includeren in onze meta-analyse. Daarbij hebben we gebruik gemaakt van meta-analytic structural equation modelling (MASEM) om de veronderstelde mediatie te onderzoeken.


Figuur 2: Resultaten MASEM-analyse.

Hier zie je onze belangrijkste resultaten. Hoewel SRL-interventies effectief zijn in het verbeteren van leerprestaties (β = .18) én het verbeteren van zelfregulerend gedrag (β = .22) en hoewel zelfregulerend gedrag positief samenhangt met leerprestaties (β = .22), is het indirecte effect (van SRL-interventies op leerprestaties via zelfregulerend gedrag) klein (β = .05). Dit betekent dat de effecten van SRL-interventies op leerprestaties door andere factoren wordt veroorzaakt dan door zelfregulerend gedrag. 

We speculeren in het artikel dat dit bijvoorbeeld kan worden veroorzaakt door tijd die wordt besteed aan de leertaak: door de SRL-interventies gaan studenten mogelijk meer tijd besteden aan de leertaak waardoor zij beter gaan presteren zonder veranderingen in hun zelfregulerend gedrag. Een andere mogelijke verklaring is dat SRL-interventies niet alleen ingrijpen op het zelfregulerend gedrag van studenten maar ook op hun cognitieve activiteiten. Door in een SRL-interventie bijvoorbeeld studenten te stimuleren hun leerproces te monitoren, krijgen studenten mogelijk een beter inzicht in welke cognitieve strategieën hun leerproces stimuleren dan wel hinderen. Mogelijk gaan deze studenten zich dan concentreren op het inzetten op effectieve cognitieve strategieën.

Na het uitvoeren van de MASEM analyse hebben we drie afzonderlijke meta-analyses uitgevoerd. De resultaten daarvan zie je hieronder. We vonden een significant effect van SRL-interventies op leerprestaties, van SRL-interventies op zelfregulerend gedrag en een significante samenhang tussen zelfregulerend gedrag en leerprestaties. Als je deze effect groottes vergelijkt met de effect groottes in de overzichtsstudie van Schneider en Preckel, dan zijn deze effect groottes gemiddeld te noemen. Op basis van onze resultaten concluderen we dat het aanbieden van interventies die studenten ondersteunen in het ontwikkelen in hun zelfregulatievaardigheden zinvol is.



Figuur 3: Resultaten van afzonderlijke meta-analyses.


Referentie
Jansen, R. S., Van Leeuwen, A., Janssen, J., Jak, S. & Kester, L. (in press). Self-Regulated Learning Partially Mediates the Effect of Self-Regulated Learning Interventions on Achievement in Higher Education: a Meta-Analysis. Educational Research Review. doi:10.1016/j.edurev.2019.100292

Abstract

It is often assumed that interventions aimed at supporting students’ self-regulated learning (SRL) are effective for improving achievement because these interventions support SRL activity. In this study, meta-analytic structural equation modeling (MASEM) was used to test whether SRL activity indeed mediates the effect of SRL interventions on achievement in higher education. Contrary to popular belief, the results only provide evidence for partial mediation. Furthermore, three separate meta-analyses were performed to investigate the role of possible moderators of the relations between: (1) SRL interventions and achievement, (2) SRL interventions and SRL activity, and (3) SRL activity and achievement. Although SRL interventions were effective in improving SRL activity and achievement, most of the study, measurement, and intervention moderators did not explain significant variance of the investigated effect sizes. Other factors, such as task motivation and time on task, potentially influence the effectiveness of SRL interventions. Practical, theoretical and methodological implications are provided.

zaterdag 7 september 2019

Waarom hebben studenten een hekel aan activerende didactiek?

Hoe komt het dat docenten in het hoger onderwijs relatief weinig gebruik maken van vormen van actief leren? Een mogelijke verklaring ligt in de weerstand die studenten mogelijk hebben tegen activerende didactiek. Vaak zijn cursusevaluaties in cursussen waarin activerende didactiek wordt ingezet negatiever. In een recent artikel in PNAS onderzochten Deslauriers, McCarty, Miller, Callaghan en Kestin (2019) de paradox dat in activerende cursussen studenten vaak wel meer leren, maar studenten ook vaak negatief zijn over dergelijke cursussen. Het blijkt dat deze negatieve percepties van studenten samenhangen de verhoogde cognitieve inspanning die van hen gevraagd wordt tijdens dergelijke cursussen. 

SignificanceDespite active learning being recognized as a superior method of instruction in the classroom, a major recent survey found that most college STEM instructors still choose traditional teaching methods. This article addresses the long-standing question of why students and faculty remain resistant to active learning. Comparing passive lectures with active learning using a randomized experimental approach and identical course materials, we find that students in the active classroom learn more, but they feel like they learn less. We show that this negative correlation is caused in part by the increased cognitive effort required during active learning. Faculty who adopt active learning are encouraged to intervene and address this misperception, and we describe a successful example of such an intervention.
Abstract:We compared students’ self-reported perception of learning with their actual learning under controlled conditions in large-enrollment introductory college physics courses taught using 1) active instruction (following best practices in the discipline) and 2) passive instruction (lectures by experienced and highly rated instructors). Both groups received identical class content and handouts, students were randomly assigned, and the instructor made no effort to persuade students of the benefit of either method. Students in active classrooms learned more (as would be expected based on prior research), but their perception of learning, while positive, was lower than that of their peers in passive environments. This suggests that attempts to evaluate instruction based on students’ perceptions of learning could inadvertently promote inferior (passive) pedagogical methods. For instance, a superstar lecturer could create such a positive feeling of learning that students would choose those lectures over active learning. Most importantly, these results suggest that when students experience the increased cognitive effort associated with active learning, they initially take that effort to signify poorer learning. That disconnect may have a detrimental effect on students’ motivation, engagement, and ability to self-regulate their own learning. Although students can, on their own, discover the increased value of being actively engaged during a semester-long course, their learning may be impaired during the initial part of the course. We discuss strategies that instructors can use, early in the semester, to improve students’ response to being actively engaged in the classroom.

De auteurs geven ook enkele aanbevelingen die studenten kunnen overtuigen van de meerwaarde van activerende didactiek:

  1. Besteed aandacht aan het uitleggen waarom activerende didactiek in het belang van de student is. En leg daarbij ook uit dat de extra inspanning die van hen gevraagd wordt belangrijk is voor hun leerproces.
  2. Wacht niet te lang met het afnemen van een tussentijdse (formatieve of summatieve) toets, zodat studenten hun eigen voortgang kunnen inschatten.
  3. Vraag studenten regelmatig om feedback over de cursus en bespreek de zorgen van studenten met hen.


Deslauriers, McCarty, Miller, Callaghan, & Kestin (2019). Measuring actual learning versus feeling of learning in response to being actively engaged in the classroom. PNAS. https://www.pnas.org/content/early/2019/09/03/1821936116



maandag 1 juli 2019

Directe instructie: game, set and match


Reactie op Rob Martens, De mythe van directe instructie

De Open Universiteit geeft een eigen tijdschrift uit, getiteld Onderwijsinnovatie. Een recent opiniestuk daarin, geschreven door professor Rob Martens (wetenschappelijk directeur van stichting NIVOZ en hoogleraar bij het Welten-instituut van de Open Universiteit), leidde tot enige reuring. De titel van het stuk is De mythe van directe instructie. Aangezien ik wel houd van een beetje leven in de onderwijsbrouwerij en mythes bovendien echt mijn ding zijn, las ik het stuk van Martens met belangstelling. Helaas: ik vond het een nogal zwak betoog. Hieronder neem ik het stuk en de erin voorkomende argumenten met u door, en voorzie die van een weerwoord of van een instemmende opmerking.
Wie de titel leest denk misschien: ‘directe instructie’, wat is dat en zou het echt een mythe zijn? Wat houdt het überhaupt in als iets een mythe is? Gelukkig is het niet nodig om te weten wat directe instructie is om dit stuk te begrijpen, want het gaat er helemaal niet over. Het stuk gaat minder over de methode en meer over de personen die het gebruik van directe instructie binnen het onderwijs propageren, of in de woorden van Martens, de herauten van de directe instructie. Deze wat archaïsch overkomende term, die in het stuk maarliefst 15 keer gebruikt wordt, staat voor een ongewapende boodschapper. Martens lijkt de term pejoratief te willen gebruiken en er een agressieve verdediger (van directe instructie) mee aan te willen duiden, maar dat klopt dus niet helemaal. Het is onderdeel van de ietwat gemakzuchtige retoriek waarvan het stuk bol staat.

De herauten van directe instructie: ‘ze weten het zeker: het enige dat werkt in het onderwijs is directe instructie.’ Wie ‘ze’ zijn wordt niet verhelderd. Dat ‘ze’ dit weten of beweren is dan ook lastig te checken. Het is een stropopargument. Ik duid deze aan als stropop 1, omdat er nog meer volgen.
Martens toont om twee redenen sympathie met de herauten. Ten eerste bereiken zij met hun claims het publieke domein, en blijft het niet bij een discussie onder ‘studeerkamergeleerden’. Dat is mooi, maar ik had niet het idee dat discussies over (goed) onderwijs zich alleen binnen de Ivoren Toren afspeelden; het lijkt me in ieder geval niet voorbehouden aan discussies over het nut van directe instructie. Een tweede reden is dat de herauten heel uitgesproken in hun mening zijn: hun overtuiging is ‘absoluut’ en zij claimen een ‘onwrikbare waarheid’ te bezitten. Het zou kunnen, maar het was prettig geweest als Martens concreet had kunnen maken wat zijn bron voor die bewering is. Het is ook enigszins wel ironisch als je met een dergelijke stelligheid anderen van al te grote stelligheid beschuldigt. Maar: het voordeel van stellige beweringen is dat ze gemakkelijk te ontkrachten zijn.
Martens is minder sympathiek over de toon van de herauten. Die wordt namelijk bepaald door hyperbolen waar de media al te graag graag op inspringen. Het debat krijgt daardoor ‘barbaarse trekken’, met name op Twitter, het ‘afvoerputje van de sociale media’. Martens schiet met scherp, maar onduidelijk is op wie. Daarbij negeert hij gemakshalve de andere kant van het debat, van waaruit personen zich ook niet altijd even eloquent uiten. Ik duid dit punt aan als stropop 2, ook omdat Martens impliceert dat de herauten van de directe instructie tegen onderwijsvernieuwing zouden zijn, een toegevoegde claim die verder niet wordt onderbouwd.

Aangezien volgens Martens voorstanders van directe instructie zich vaak baseren op cognitive load theory (CLT) richt hij zijn pijlen daarop. Aangezien directe instructie een vrij brede methode omvat lijkt die keuze nogal specifiek. Dat maakt het Martens wel makkelijker om CLT te bekritiseren. De theorie houdt bijvoorbeeld geen rekening met motivatie van leerlingen. Martens zet de theorie neer alsof het om een voetbalclub met ‘aanhangers’ gaat. Die aanhangers maken hun tegenstanders graag zwart en ‘vergelijken hen met zombies’. Ook zetten zij voorstanders van onderwijsvernieuwingen als ontdekkend leren en iPadscholen (kent u ze nog?) weg als ‘charlatans’ en ‘kwakzalvers’. Daarmee is stropop 3 inmiddels flink opgetuigd. Martens herkent in al deze zwartmakerij een handige publicatiestrategie: negatieve publiciteit is tenslotte ook publiciteit. Waar het zojuist nog over Twitter ging, gaat het nu ineens over wetenschappelijke citatiescores. Het is nogal een sprong.
Martens noemt in zijn betoog een aantal zwakke punten van CLT. CLT ziet de mens als een soort computer (dat is het klassieke cognitivistische perspectief), en daarom doet ‘net als bij een computer’ motivatie er niet toe. Het is waar dat motivatie binnen CLT geen rol van betekenis speelt, maar dat wil niet zeggen dat motivatie er niet toe doet. Het is simpelweg geen onderdeel van deze theorie. Intelligentie is dat bijvoorbeeld ook niet. Motivatie kan in de toekomst best een onderdeel worden van de theorie (zoals dat ook voor intelligentie opgaat).
Een ander verwijt is dat CLT als theorie niet falsifieerbaar is. Dat is terechte kritiek, maar het voert te ver om de theorie daarmee ‘niet wetenschappelijk’ te noemen. Dat zeggen toont eerder een nogal beperkte visie op wetenschappelijkheid. CLT is wat dat betreft ook nog een theorie in wording, waarbij niets vastligt en aanpassingen te allen tijde mogelijk zijn. Dát is een kernmerk van wetenschap. Bij de door Martens gelauwerde alternatieve zelfdeterminatietheorie verzuimt hij overigens te vermelden of deze dan wél falsifieerbaar is (feitelijk niet).

Volgens Martens laat onderzoek naar probleemgestuurd leren (PBL) zien dat ontdekkend leren wel degelijk effectief kan zijn. Journaliste Kaya Bouma (geen hij, Rob) had beter Rotterdam of Utrecht kunnen bellen dan concluderen dat dat niet het geval is (welke hoogleraar zij in Utrecht hierover had moeten bellen weet ik niet). Martens had in het artikel waarnaar hij verwijst (het in de onderwijskunde beroemde artikel van Kirschner, Sweller, en Clark uit 2006 waarin ‘minimal guidance’ tijdens leren wordt afgeserveerd) kunnen lezen dat PBL daarin wordt gezien als een vorm van ‘guided discovery’, een leervorm waartegen zij zich niet afzetten. In feite kan CLT prima omgaan met PBL, want een van bij-effecten van de theorie is het ‘expertise reversal effect’, dat zegt dat beginners anders leren dan experts. Directe instructie voor de beginners, PBL voor de experts, om het maar een beetje kort door de bocht uit te leggen.

Het is tijd voor de laatste stropop (nummer 4): de herauten van directe instructie dragen uit dat ‘motivatie niet zo belangrijk is.’  Voor oppervlakkig leren kan dat misschien zo zijn, maar voor ‘diepgaand’ leren niet, dat vereist intrinsieke motivatie. Die uitspraak sluit aan bij de zelfdeterminatietheorie (SDT) van Ryan en Deci. Zelfdeterminatietheorie biedt een humanistisch perspectief op motivatie die ontstaan is als reactie op een meer behavioristische benadering van motivatie die vooral op extrinsieke motivatie (belonen van gewenst gedrag) gericht is. Martens stelt dat de richtlijnen van SDT ‘bijna haaks’ staan op die van CLT. Dat deed hij ook al in zijn oratie uit 2007, maar daarin gaf hij ook aan dat motivatie en cognitieve belasting best met elkaar te combineren zijn. Dat doet hij hier niet. Terwijl hij anderen van cherry picking beschuldigt als het om (gebrek aan) aandacht voor SDT gaat zou je dat ook van zijn eigen benadering kunnen zeggen.

Martens bewaart zijn meest bevreemdende argument voor SDT voor het laatst. Hij stelt de vraag wie er aan de ‘winnende hand’ is, CLT of SDT, in lijn met zijn eerdere voorstelling van wetenschap als een (voetbal)wedstrijd, inclusief aanhangers, tegenstanders, winnaars en verliezers. Het staat volgens Martens op dit moment 2-0 voor SDT. Het wordt 1-0 door de falsifieerbaarheidseis waaraan CLT niet voldoet. Zoals ik hiervoor al zei: of SDT daaraan voldoet is maar zeer de vraag, een vraag die in dit stuk helaas niet gesteld wordt. Het wordt 2-0 omdat er meer wetenschappelijke artikelen over SDT dan CLT te vinden zijn in wetenschappelijke zoekmachines. Het is mij volstrekt onduidelijk waarom dit als argument ten faveure van SDT zou moeten gelden. Inderdaad, zoeken in de door Martens genoemde EBSCO-database levert voor ‘cognitive load theory’ 482 hits op, en ‘self determination theory’ 2843 hits (SDT wint!), maar wie zoekt op iets als ‘learning styles’ krijgt als resultaat 6068 hits. Winnen leerstijlen het daarmee van beide andere theorieën? Natuurlijk niet.
Martens zegt zich op ronde 3 te verheugen, maar volgens mij gaat hij al knock-out in de eerste ronde.