Het Robbert Dijkgraaf-effect

Met het stoppen van van De Wereld Draait Door komt er wellicht ook een einde aan DWDD University. In DWDD University geven bekende wetenschappers zoals Robbert Dijkgraaf en Freek Vonk interessante colleges in een fraai decor, ondersteund met relevante artefacten en mooie beelden. Het zijn meestal supergepolijste hoorcolleges: de sprekers maken contact met het publiek en de camera, hun verhaal is heel strak en wordt verteld zonder horten en stoten, en het gebruikte materiaal is een visuele ondersteuning van het college. Kortom: de hoorcollegedocenten van DWDD university hebben een grote spreekvaardigheid. Daarom zijn hun colleges ook aangenaam om naar te kijken op tv.

Als we naar colleges van docenten met een grote spreekvaardigheid kijken, hebben we vaak de indruk dat we veel aan het opsteken zijn van hetgeen we zien en horen. Maar is dat echt zo? De indruk in hoeverre we iets geleerd hebben wordt judgments of learning genoemd.

Carpenter, Northern, Tauber en Toftness (2020) deden onderzoek naar instructor fluency. Ze voerden twee experimenten uit waarbij ze het effect van twee variabelen onderzochtten: instructor fluency en ervaring van de docent. 

Deelnemers aan het onderzoek keken naar naar twee varianten van een hoorcollege gegeven door dezelfde docent. In fluent-conditie gaf de docent een gelikte presentatie: hij keek in de camera, sprak vloeiend, gebruikte ondersteunende gebaren, etc. In de disfluent-conditie gaf dezelfde docent een inhoudelijk identiek college. De tekst die hij uitsprak was hetzelfde als in de fluent-conditie, maar de manier waarop de inhoud was gebracht was anders: de docent keek niet in de camera, las veel aantekeningen op van papier, gebruikte een monotone stem, etc. 

Robbert Dijkgraaf geeft een hoorcollege voor DWDD University.

Daarbij werd de helft van de deelnemers voor het kijken geïnformeerd dat ze keken naar een ervaren docent en de andere helft werd geïnformeerd dat ze keken naar een onervaren docent. Dit betekent dat bij sommige deelnemers de presentatie niet in overeenstemming was met de informatie die ze ontvingen over de ervaring van de docent: ze keken bijvoorbeeld naar een spreker met een lage spreekvaardigheid, terwijl hen verteld was dat ze naar een ervaren docent keken.

Boven de hoorcollegedocent in de fluent-conditie, beneden in de disfluent-conditie.

Nadat de deelnemers het opgenomen hoorcollege hadden bekeken, werden hun judgments of learning bevraagd door hen de vraag te stellen: Over ongeveer twee minuten krijg je een meerkeuzetoets over de informatie in de video. Hoe goed denk je dat je hierop zult scoren? Daarna vulden de deelnemers een evaluatielijst in waarin zij hun mening gaven over de hoorcollegedocent die ze gezien hadden, hoe interessant de lesstof was, etc. Tenslotte maakten ze ook daadwerkelijk de meerkeuzetoets.

De resultaten van het onderzoek laten zien instructor fluency een duidelijke impact heeft op judgments of learning. De groep deelnemers die naar de gelikte presentatie keek verwachtte beter te scoren op de meerkeuzetoets dan de groep deelnemers die naar de stamelende hoorcollegedocent keek. Ook bleken deze deelnemers veel positiever te zijn over de docent en het hoorcollege dat ze bekeken hadden: ze vonden het hoorcollege bijvoorbeeld interessanter, leerzamer en meer motiverend. Daarnaast vonden de deelnemers in de fluent-conditie de docent meer georganiseerd, beter voorbereid en effectiever.

Dus: de deelnemers in de fluent-conditie schatten hun aanstaande presentatie op de meerkeuzetoets hoger in dan de deelnemers in de disfluent-conditie. Klopt die inschatting ook? De resultaten van het onderzoek van Carpenter et al. laten duidelijk zien van niet. Er was geen verschil tussen de beide condities op de meerkeuzetoets: beide groepen presteerden even goed. Dus hoewel de deelnemers in de fluent conditie verwachtten beter te presteren op de meerkeuzetoets, bleek dit voordeel er voor hen niet te zijn.

Opvallend is dat de ervaring van de docent er in dit onderzoek niet toe bleek te doen. De deelnemers die gehoord hadden naar een ervaren docent te kijken hadden geen hogere judgments of learning, evalueerden de docent en het hoorcollege niet beter en presteerden niet beter op de meerkeuzetoets. Ook was er geen interactie tussen instructor fluency en ervaring van de docent. Het was bijvoorbeeld niet zo dat het extra negatief uitpakt om een gebrekkig hoorcollege te bekijken en te maken te hebben met een onervaren docent (de auteurs speculeerden op een zogenaamde double course van een onervaren docent met een gebrekkige presentatie).

De auteurs concluderen naar aanleiding van deze studie dat studenten zich voornamelijk baseren op lecture fluency bij het inschatten van hun eigen leerprestaties en de kwaliteit van docenten en hun onderwijs. Ze baseren zich minder op de ervaring van de docent bij het maken van deze inschattingen. Toch kan lecture fluency volgens de auteurs in een invloed hebben op het leerproces van studenten omdat het belangrijke affectieve processen als motivatie en interesse lijkt te stimuleren. Ook stellen de auteurs dat studentevaluaties over de effectiviteit van docenten met enig voorbehoud geïnterpreteerd moeten worden, omdat de impressies van studenten hierover niet noodzakelijk met de werkelijkheid corresponderen.

Artikel:

Carpenter, S. K., Northern, P. E., Tauber, S. “U.”, & Toftness, A. R. (2020). Effects of Lecture Fluency and Instructor Experience on Students’ Judgments of Learning, Test Scores, and Evaluations of Instructors. Journal of Experimental Psychology: Applied, 26, 26-39. doi:10.1037/xap0000234 

researchED 2020; Wat zijn onze ervaringen?

Deze blogpost werd geschreven door:
Katie van Cauter (eerstejaars deeltijdstudent bachelor Onderwijswetenschappen), 
Eline Pothoven (tweedejaars student bachelor Onderwijswetenschappen)

Toen wij tijdens het hoorcollege van de cursus ‘Inleiding Onderwijswetenschappen’ de mogelijkheid kregen om naar researchED te gaan, aarzelden wij beiden geen moment. Ondanks dat we allebei nog nooit gehoord hadden van dit evenement, leek dit ons de ultieme mogelijkheid om een inkijk te krijgen in onderwijsonderzoek in de praktijk.

researchED is een evenement waarbij onderzoekers en docenten samenkomen en hun ideeën over onderwijs delen in de vorm van interactieve sessies. De kloof tussen onderwijsonderzoek en de onderwijspraktijk is nog erg groot en dit evenement vormt een mooi platform voor onderzoekers en docenten om een begin te maken met het dichten van dit gat. Het motto van researchED is dan ook “where research meets education”.

Zaterdagochtend 11 januari 09:00 uur druppelden de eerste docenten, onderzoekers, sprekers en een paar studenten de kerk ‘De Fontein’ te Nijkerk binnen. Toen wij daar gingen zitten dachten we, dit raakt nooit vol! Het tegendeel werd bewezen want om 09:30 uur zaten er ruim 700 belanghebbenden in de kerk: vol energie in afwachting wanneer het zou beginnen. In het welkomstwoord van deze dag, dat gegeven werd door Jan Tishauser, werd de kern van deze dag mooi samengevat. Alle aanwezigen werden opgeroepen om met elkaar in gesprek te gaan en om informatie en ervaring uit te wisselen. Daarnaast werd researchED in België op 28 maart in Mechelen aangekondigd, dus mocht je na het lezen van onze ervaringen ook een researchED willen meemaken, hoef je helemaal niet lang te wachten!

Hierna volgde de keynote van de dag, een presentatie over gelijke kansen in het onderwijs door Monique Volman en Linda van den Bergh. In deze presentatie werd uitgelegd dat de inrichting van het Nederlandse onderwijs soms kansenongelijkheid in de hand kan werken. Zo werden er verschillende onderzoeken aangehaald, bijvoorbeeld die van Jussim, Harber en Badad, waarin er duidelijk werd dat kinderen lage- of hoge verwachtingen direct oppikken in een conversatie met de docent. De boodschap van deze keynote was dan ook om je bewust te worden van de manier waarop je omgaat met leerlingen in je verbale, maar ook non-verbale, gedragingen. De keynote was ook bedoeld om het nieuwe boek ‘Werk maken van gelijke kansen’ te introduceren. In dit boek wordt nog veel verder ingegaan op de kansenongelijkheid binnen het onderwijs. Bijvoorbeeld met onderzoeken waaruit blijkt dat kinderen van middel- tot hoogopgeleide ouders veel verder komen in het vervolgonderwijs dan kinderen van laagopgeleide ouders. Wil je hier meer over lezen?

De rest van de dag was gevuld met interactieve sessies die gegeven werden door verschillende mensen uit het onderwijswerkveld. Deze sessies waren ingedeeld in verschillende categorieën; algemene didactiek, cognitieve psychologie, differentiëren, formatieve evaluatie en toetsing, gedrag en leerstoornissen, pedagogiek en filosofie, professionaliseren en onderzoek, taal en leesonderwijs en tot slot rekenen, wiskunde en ICT. Bij deze presentaties werden onderwerpen besproken waar docenten in de onderwijspraktijk mee te maken kunnen hebben. Deze onderwerpen werden dan belicht vanuit onderwijswetenschappelijk onderzoek. Bij veel van de presentaties kwamen ook besprekingen van theorie aan bod die aansloten bij de dingen die wij leren bij de bachelor Onderwijswetenschappen. Hieronder een kort overzicht van welke sessies wij hebben bijgewoond. Sommige sessies hebben we tegelijkertijd gevolgd, anderen juist afzonderlijk van elkaar om aan het einde van de dag een zo compleet mogelijk beeld te hebben van alle sprekers van researchED 2020.

Rondes	Onderwerp	Spreker(s)	Bijgewoond door
Ronde 2	Inleiding ‘Wijze lessen’: Cognitieve Psychologie en Goed Onderwijs	Paul Kirschner	Eline
	Op naar succeservaringen voor ALLE leerlingen: Het inzetten van toetsing als leer- en oefenstrategie	Martin Ringenaldus & Dominique Sluijsmans	Katie
Ronde 3	Onderwijskwaliteit	Inge de Wolf	Katie & Eline
Ronde 4	Het Lerarencollectief: hoe verder?	Jan van de Ven & Thijs Roovers	Eline
	Functioneel toetsen en het langetermijnleren	René Kneyber	Katie
Ronde 5	The dark side van evalueren	Pedro De Bruyckere	Eline
	What teachers need to know about classroom culture and social norms	David Didau	Katie
Ronde 6	Dyslexie een stoornis! Waar is het bewijs?	Anna M.T. Bosman	Eline
	Onderzoek gaat om houding, niet om resultaat	Jan Bransen	Katie
Ronde 7	De expert-leraar	Eva Naaijkens	Katie & Eline

Eigenlijk waren alle sessies ontzettend leuk en interessant om bij te wonen. Het sprak ons allebei erg aan dat iedere spreker echt stond voor een bepaalde visie en daar met overtuiging over ging vertellen. Wat mij (Eline) erg opviel was dat alle sprekers ook heel graag de dialoog aan wilden gaan over de onderwerpen en juist de ervaringen in de klas wilden achterhalen. Dit zorgde voor een hele fijne sfeer op de dag zelf vond ik. De sessies die ik heb bijgewoond waren allemaal erg verschillend, maar dat maakte de dag juist zo leuk!

De eerste sessie die ik (Eline) bijwoonde was die van Paul Kirschner. Hij is Emeritus hoogleraar Onderwijspsychologie aan de Open Universiteit in Nederland, eredoctor aan Oulu University in Finland en Gastprofessor aan de Thomas More Hogeschool in België. Ik was van tevoren heel enthousiast dat hij zou spreken op researchED omdat wij in de opleiding een aantal artikelen en sommige boeken van hem lezen. In deze sessie herkende ik dan ook het meeste terug van de inhoud van de bachelor Onderwijswetenschappen. Eigenlijk was zijn sessie een grappige en verhelderende samenvatting van het vak ‘Educational Psychology’. Hij had het onder andere over de cognitive load theory, het werkgeheugen (en de beperkte capaciteit ervan) en assimilatie en accommodatie van Piaget. Hij vertelde dit alles aan de hand van voorbeelden. Zo liet hij bijvoorbeeld een eerdere slide opnieuw zien als hij hiernaar refereerde, om op deze manier onze cognitieve belasting te verminderen. Wat ik heel grappig vond is dat hij zijn verhaal gelijk koppelde aan hoe hij zijn PowerPoint had vormgegeven zodat wij het zouden onthouden. Zo had hij bijvoorbeeld meerdere schematische weergaven van de werking van het werkgeheugen om zo de informatie te herhalen, maar ondertussen ook de bestaande schema’s in je werkgeheugen uit te breiden met nieuwe informatie (de andere manier van aanbieden). Door deze koppeling merkte ik gelijk dat het effect had op de manier waarop ik de presentatie verwerkte. Echt super fascinerend én misschien een leuke toevoeging voor de hoorcolleges van EP! Als afsluiter een grappige uitspraak die Paul Kirschner deed tijdens zijn sessie “Dit is geen ‘rocketscience’, onze hersenen werken heel simpel!”.

De sessie van Pedro De Bruyckere, pedagoog en postdoctoraal onderzoeker aan de Arteveldehogeschool in Gent en aan de Universiteit van Leiden, in ronde 5 was echt geweldig! Ik (Eline) had nog niet eerder iets bijgewoond van Pedro maar wow, wat een energieke, humoristische welbespraakte man! Hij had zijn sessie, met als titel “the dark side van evalueren”, opgedeeld in drie delen; tales of the unexpected, dark mirror & the twilight zone. Als een horrorfilm ging hij door zijn sessie heen, met schrikmomenten en een dramatisch einde. Tegelijkertijd probeerde hij ook een duidelijke boodschap over te brengen, namelijk dat alles wat we doen consequenties heeft en dat bijvoorbeeld transparantie in het onderwijs komt met een bepaalde prijs. De huidige situatie is dat we hiervan wegkijken, maar we moeten juist hierover de conversatie aangaan. THE END.

De sessie die mij (Eline) het meest is bijgebleven is degene van Anna M.T. Bosman in ronde 6. Ik werd erg getriggerd door haar manier van vertellen. Met vele argumenten toonde ze aan dat de manier waarop we vandaag de dag dyslexie diagnosticeren niet de manier is waarop het zou moeten. Ze presenteerde drie stellingen van Stichting Dyslexie Nederland (SDN) die ze in haar presentatie ontkrachtte. Eén daarvan vind ik het delen waard, namelijk dat er sprake moet zijn van exclusie, dus dat er factoren uitgesloten moeten worden als verklaring van hardnekkige problemen in lezen en/of spellen. Anna verwoorde dit als dat een ander probleem (een verstandelijke beperking, doof- of slechthorendheid, blind- of slechtziendheid, neurologische stoornissen, onvoldoende beheersing van de instructietaal en/of algemene omgevingsfactoren zoals inadequaat onderwijs) de kans op een dyslexieverklaring dus blijkbaar verkleint. Haar (in mijn ogen begrijpelijke) frustratie kwam naar voren in de pakkende slotzin “Als jij met hoofdpijn bij de dokter komt en een week later breek je je been, dan ga je er toch vanuit dat de dokter je alsnog helpt? Hoezo is dit bij dyslexie dan niet het geval?”.

Eén van de sessies die mij (Katie) het meest is bijgebleven was de sessie van Dominique Sluijsmans en Martin Ringenaldus in ronde 2. Dominique is een onderzoeker en lector op de Zuyd Hogeschool en Martin werkt als docent Duits op het RGO Middelharnis. Martin kreeg van zijn school te horen dat ze het eindexamen Duits voor VMBO BBL/KBL gingen schrappen. Hij heeft toen zelf het initiatief genomen om helemaal zonder cijfers te gaan werken, omdat hij vond dat cijfers niet veel zeggen over hoe goed zijn leerlingen de stof beheersen. Om te zorgen dat hij dit succesvol in zijn klas kon, heeft hij Dominique ingeschakeld. Tijdens de presentatie vertelde Martin over de dingen waar hij tegenaan liep in de klas bij het implementeren van dit idee en hoe hij dit heeft opgelost. Dominique vertelde vervolgens wat de theorie achter deze oplossingen was vanuit het oogpunt van onderwijsonderzoek. Deze presentatie was voor mij een prachtig voorbeeld van hoe onderwijsonderzoek direct van invloed kan zijn op de onderwijspraktijk, als mensen de dialoog met elkaar aangaan en open staan voor elkaars ideeën.

Beiden hebben we de sessies van Inge de Wolf (ronde 3) en Eva Naaijkens (ronde 7) gevolgd. Bij Inge ging het vooral over de functies van het onderwijs en de ontwikkeling hiervan in de afgelopen jaren. Wat we beiden opvallend vonden bij deze sessie is dat er veel discussie vanuit het publiek kwam. Dit presenteerde eigenlijk prachtig het knelpunt waar Jan van de Ven en Thijs Roovers in ronde 3 op in gingen, namelijk dat leerkrachten helemaal niet betrokken worden in het proces van wetsvoorstellen met betrekking tot het onderwijs (en dat er daarom een lerarencollectief nodig is!). Bij Eva lag de nadruk vooral over het hebben van expert-leerkrachten in het onderwijs en dat dit de toekomst is: zelfvoorzienende scholen met een hoge werktevredenheid en veel (persoonlijke) groei. Zelf vond ik (Eline) dit een wat minder interessante sessie, maar ik kan me wel voorstellen dat leerkrachten hier veel aan hebben gehad omdat het een hele praktische toepassing gaf. Echter weet ik niet wat ik hier als onderwijskundige in spé van vind, het geeft in ieder geval stof tot nadenken!

Jan Tishauser sloot de dag op passende wijze af door ons nog even bewust te maken dat we toch wel echt vakidioten moeten zijn om op onze vrije zaterdag de hele dag naar een congres te gaan. Toen beseften we wel even dat we een stapje hebben gezet in de richting van vakidioot, wat moet dat worden?! Toch hadden we deze enerverende dag voor geen goud willen missen. We hebben veel geleerd over inhoudelijk onderzoek en we begrijpen de wrijving tussen onderwijsonderzoek en de onderwijspraktijk ook beter. We weten dat er nog werk aan de winkel is om de eerdergenoemde kloof te dichten en hopen dat wij hierin op onze eigen manier een rol (kunnen gaan) spelen.