maandag 17 februari 2020

Het Robbert Dijkgraaf-effect

Met het stoppen van van De Wereld Draait Door komt er wellicht ook een einde aan DWDD University. In DWDD University geven bekende wetenschappers zoals Robbert Dijkgraaf en Freek Vonk interessante colleges in een fraai decor, ondersteund met relevante artefacten en mooie beelden. Het zijn meestal supergepolijste hoorcolleges: de sprekers maken contact met het publiek en de camera, hun verhaal is heel strak en wordt verteld zonder horten en stoten, en het gebruikte materiaal is een visuele ondersteuning van het college. Kortom: de hoorcollegedocenten van DWDD university hebben een grote spreekvaardigheid. Daarom zijn hun colleges ook aangenaam om naar te kijken op tv.

Als we naar colleges van docenten met een grote spreekvaardigheid kijken, hebben we vaak de indruk dat we veel aan het opsteken zijn van hetgeen we zien en horen. Maar is dat echt zo? De indruk in hoeverre we iets geleerd hebben wordt judgments of learning genoemd.

Carpenter, Northern, Tauber en Toftness (2020) deden onderzoek naar instructor fluency. Ze voerden twee experimenten uit waarbij ze het effect van twee variabelen onderzochtten: instructor fluency en ervaring van de docent

Deelnemers aan het onderzoek keken naar naar twee varianten van een hoorcollege gegeven door dezelfde docent. In fluent-conditie gaf de docent een gelikte presentatie: hij keek in de camera, sprak vloeiend, gebruikte ondersteunende gebaren, etc. In de disfluent-conditie gaf dezelfde docent een inhoudelijk identiek college. De tekst die hij uitsprak was hetzelfde als in de fluent-conditie, maar de manier waarop de inhoud was gebracht was anders: de docent keek niet in de camera, las veel aantekeningen op van papier, gebruikte een monotone stem, etc. 

Robbert Dijkgraaf geeft een hoorcollege voor DWDD University.
Daarbij werd de helft van de deelnemers voor het kijken geïnformeerd dat ze keken naar een ervaren docent en de andere helft werd geïnformeerd dat ze keken naar een onervaren docent. Dit betekent dat bij sommige deelnemers de presentatie niet in overeenstemming was met de informatie die ze ontvingen over de ervaring van de docent: ze keken bijvoorbeeld naar een spreker met een lage spreekvaardigheid, terwijl hen verteld was dat ze naar een ervaren docent keken.

Boven de hoorcollegedocent in de fluent-conditie, beneden in de disfluent-conditie.
Nadat de deelnemers het opgenomen hoorcollege hadden bekeken, werden hun judgments of learning bevraagd door hen de vraag te stellen: Over ongeveer twee minuten krijg je een meerkeuzetoets over de informatie in de video. Hoe goed denk je dat je hierop zult scoren? Daarna vulden de deelnemers een evaluatielijst in waarin zij hun mening gaven over de hoorcollegedocent die ze gezien hadden, hoe interessant de lesstof was, etc. Tenslotte maakten ze ook daadwerkelijk de meerkeuzetoets.

De resultaten van het onderzoek laten zien instructor fluency een duidelijke impact heeft op judgments of learning. De groep deelnemers die naar de gelikte presentatie keek verwachtte beter te scoren op de meerkeuzetoets dan de groep deelnemers die naar de stamelende hoorcollegedocent keek. Ook bleken deze deelnemers veel positiever te zijn over de docent en het hoorcollege dat ze bekeken hadden: ze vonden het hoorcollege bijvoorbeeld interessanter, leerzamer en meer motiverend. Daarnaast vonden de deelnemers in de fluent-conditie de docent meer georganiseerd, beter voorbereid en effectiever.

Dus: de deelnemers in de fluent-conditie schatten hun aanstaande presentatie op de meerkeuzetoets hoger in dan de deelnemers in de disfluent-conditie. Klopt die inschatting ook? De resultaten van het onderzoek van Carpenter et al. laten duidelijk zien van niet. Er was geen verschil tussen de beide condities op de meerkeuzetoets: beide groepen presteerden even goed. Dus hoewel de deelnemers in de fluent conditie verwachtten beter te presteren op de meerkeuzetoets, bleek dit voordeel er voor hen niet te zijn.

Opvallend is dat de ervaring van de docent er in dit onderzoek niet toe bleek te doen. De deelnemers die gehoord hadden naar een ervaren docent te kijken hadden geen hogere judgments of learning, evalueerden de docent en het hoorcollege niet beter en presteerden niet beter op de meerkeuzetoets. Ook was er geen interactie tussen instructor fluency en ervaring van de docent. Het was bijvoorbeeld niet zo dat het extra negatief uitpakt om een gebrekkig hoorcollege te bekijken en te maken te hebben met een onervaren docent (de auteurs speculeerden op een zogenaamde double course van een onervaren docent met een gebrekkige presentatie).

De auteurs concluderen naar aanleiding van deze studie dat studenten zich voornamelijk baseren op lecture fluency bij het inschatten van hun eigen leerprestaties en de kwaliteit van docenten en hun onderwijs. Ze baseren zich minder op de ervaring van de docent bij het maken van deze inschattingen. Toch kan lecture fluency volgens de auteurs in een invloed hebben op het leerproces van studenten omdat het belangrijke affectieve processen als motivatie en interesse lijkt te stimuleren. Ook stellen de auteurs dat studentevaluaties over de effectiviteit van docenten met enig voorbehoud geïnterpreteerd moeten worden, omdat de impressies van studenten hierover niet noodzakelijk met de werkelijkheid corresponderen.


Artikel:
Carpenter, S. K., Northern, P. E., Tauber, S. “U.”, & Toftness, A. R. (2020). Effects of Lecture Fluency and Instructor Experience on Students’ Judgments of Learning, Test Scores, and Evaluations of Instructors. Journal of Experimental Psychology: Applied, 26, 26-39. doi:10.1037/xap0000234