Schriftelijke aantekeningen maken tijdens colleges werkt beter dan slides fotograferen

Dat het tijdens het volgen van een hoorcollege verleidelijk is om te dagdromen is bekend. Een nieuwe studie in Journal of Educational Psychology laat zien dat het maken van schriftelijke aantekeningen ervoor kan zorgen dat studenten minder dagdromen dan wanneer ze met hun mobiel foto’s maken van de collegeslides. Het maken van aantekeningen door foto’s te maken van collegeslides bleek in deze studie een minder effectieve strategie dan schriftelijk aantekeningen maken. 

In two experiments (N = 200), we compared the effects of longhand note-taking, photographing lecture materials with a smartphone camera, and not taking any notes on video-recorded lecture learning. Experiment 1 revealed a longhand-superiority effect: Longhand note-takers outperformed photo-takers and control learners on a recall test, notwithstanding an equal opportunity to review their learning material right before being tested, and even when photo-takers and control participants reviewed an exact transcript of the lecture slides via their photos or printouts, whereas longhand note-takers accessed only a fraction of the content as captured in their handwritten notes. Photo-takers performed comparably to learners who had not taken any notes at all. Experiment 2 further showed that mind-wandering mediates the mnemonic benefits of longhand note-taking: Relative to learners who took photos or did not take any notes, longhand note-takers mind-wandered less and, in turn, demonstrated superior retention of the lecture content. Yet, across both experiments, learners were not cognizant of the advantages of longhand note-taking, but misjudged all three techniques to be equally effective. These findings point to key attentional differences between longhand note-taking and photo-taking that impact learning-knowledge that is easily and conveniently acquired in a snap may not be better remembered.

Dagdromen tijdens colleges: Hoe vaak komt het voor en welk effect heeft het?

 

Na één van de eerste hoorcolleges die ik gaf liep ik na afloop door de zaal om te zien of er spullen waren achtergebleven en toen viel me op dat de bankjes op de achterste rijen bezaaid waren met kranten (dit was dus nog voordat iedereen een laptop of smartphone meenam de collegezaal in): deze studenten hadden blijkbaar tijdens het college wat anders gedaan dan meedoen en aantekeningen maken. En als er studenten de krant lezen tijdens het college, dan zijn er vast ook studenten die op andere manieren niet betrokken waren bij het college, bijvoorbeeld doordat ze aan het dagdromen waren. 

Onderwijsonderzoekers hebben meermaals onderzoek gedaan naar de frequentie van deze task-unrelated thoughts tijdens onderwijsactiviteiten in het hoger onderwijs. Ook is er meermaals onderzocht wat de impact hiervan is op leerprestaties. Dit onderzoek is recentelijk samengevat door Wong en collega's (2022): zij publiceerden in Contemporary Educational Psychology een meta-analyse waarin ze de vraag stellen hoe vaak dit dagdromen of deze task-unrelated thoughts voorkomt en wat de impact hiervan is op leerprestaties. 

De uitkomsten van dit onderzoek zijn dat studenten ongeveer 30% van de tijd task-unrelated thoughts hebben tijdens onderwijsactiviteiten. Het maakt daarbij niet uit om welke activiteiten het gaat: dit percentage ligt ongeveer even hoog voor het bekijken van een videocollege, het bijwonen van een hoorcollege of het lezen van een onderwijstekst. Helaas zijn er weinig studies die het dagdromen en de impact daarvan onderzoek tijdens andere onderwijsvormen zoals practica of interactieve werkgroepen. Wat het onderzoek wel duidelijk laat zien is dat deze task-unrelated thoughts negatief samenhangen met leerprestaties. De gemiddelde correlatie tussen task-unrelated thoughts en leerprestaties is -0.27.Het artikel bevat geen praktische implicaties (Wat kun je doen om te zorgen dat studenten minder dagdromen?), maar de auteurs geven wel aan dat het percentage van 30% als een benchmark zou kunnen dienen: als dit zo'n beetje het gemiddelde is, dan is het interessant om voor andere onderwijsvormen te onderzoeken of het percentage task-unrelated thought lager of hoger is dan 30% of om te onderzoeken of specifieke didactische ingrepen leiden tot lagere percentages.

Het abstract

The “costs” of task-unrelated thought (often referred to as mind-wandering) on performance in educational contexts have received growing theoretical and empirical attention in the last decade. Published articles on task-unrelated thought in educational contexts usually point out two important claims: 1) that task-unrelated thought occurs often during learning and 2) that task-unrelated thought shares a negative relationship with learning outcomes. However, the corresponding rates and effect sizes reported in the literature have been quite variable to date. We thus adopted a multi-level meta-analytic approach in order to provide baseline metrics for the frequency of task-unrelated thought in educational contexts and its relationship with learning outcomes across different learning tasks and assessments. Our analysis suggests that students are off-task about 30% of the time during educationally relevant activities, and the average relationship between task-unrelated thought and learning outcomes was in line with a small-to-medium practical effect, −0.27. No differences were observed between learning tasks and various moderators. The average rates and correlation values reported in this meta-analysis can be used as a benchmark for future research aiming to assess task-unrelated thought in education.

Het Robbert Dijkgraaf-effect

Met het stoppen van van De Wereld Draait Door komt er wellicht ook een einde aan DWDD University. In DWDD University geven bekende wetenschappers zoals Robbert Dijkgraaf en Freek Vonk interessante colleges in een fraai decor, ondersteund met relevante artefacten en mooie beelden. Het zijn meestal supergepolijste hoorcolleges: de sprekers maken contact met het publiek en de camera, hun verhaal is heel strak en wordt verteld zonder horten en stoten, en het gebruikte materiaal is een visuele ondersteuning van het college. Kortom: de hoorcollegedocenten van DWDD university hebben een grote spreekvaardigheid. Daarom zijn hun colleges ook aangenaam om naar te kijken op tv.

Als we naar colleges van docenten met een grote spreekvaardigheid kijken, hebben we vaak de indruk dat we veel aan het opsteken zijn van hetgeen we zien en horen. Maar is dat echt zo? De indruk in hoeverre we iets geleerd hebben wordt judgments of learning genoemd.

Carpenter, Northern, Tauber en Toftness (2020) deden onderzoek naar instructor fluency. Ze voerden twee experimenten uit waarbij ze het effect van twee variabelen onderzochtten: instructor fluency en ervaring van de docent. 

Deelnemers aan het onderzoek keken naar naar twee varianten van een hoorcollege gegeven door dezelfde docent. In fluent-conditie gaf de docent een gelikte presentatie: hij keek in de camera, sprak vloeiend, gebruikte ondersteunende gebaren, etc. In de disfluent-conditie gaf dezelfde docent een inhoudelijk identiek college. De tekst die hij uitsprak was hetzelfde als in de fluent-conditie, maar de manier waarop de inhoud was gebracht was anders: de docent keek niet in de camera, las veel aantekeningen op van papier, gebruikte een monotone stem, etc. 

Robbert Dijkgraaf geeft een hoorcollege voor DWDD University.

Daarbij werd de helft van de deelnemers voor het kijken geïnformeerd dat ze keken naar een ervaren docent en de andere helft werd geïnformeerd dat ze keken naar een onervaren docent. Dit betekent dat bij sommige deelnemers de presentatie niet in overeenstemming was met de informatie die ze ontvingen over de ervaring van de docent: ze keken bijvoorbeeld naar een spreker met een lage spreekvaardigheid, terwijl hen verteld was dat ze naar een ervaren docent keken.

Boven de hoorcollegedocent in de fluent-conditie, beneden in de disfluent-conditie.

Nadat de deelnemers het opgenomen hoorcollege hadden bekeken, werden hun judgments of learning bevraagd door hen de vraag te stellen: Over ongeveer twee minuten krijg je een meerkeuzetoets over de informatie in de video. Hoe goed denk je dat je hierop zult scoren? Daarna vulden de deelnemers een evaluatielijst in waarin zij hun mening gaven over de hoorcollegedocent die ze gezien hadden, hoe interessant de lesstof was, etc. Tenslotte maakten ze ook daadwerkelijk de meerkeuzetoets.

De resultaten van het onderzoek laten zien instructor fluency een duidelijke impact heeft op judgments of learning. De groep deelnemers die naar de gelikte presentatie keek verwachtte beter te scoren op de meerkeuzetoets dan de groep deelnemers die naar de stamelende hoorcollegedocent keek. Ook bleken deze deelnemers veel positiever te zijn over de docent en het hoorcollege dat ze bekeken hadden: ze vonden het hoorcollege bijvoorbeeld interessanter, leerzamer en meer motiverend. Daarnaast vonden de deelnemers in de fluent-conditie de docent meer georganiseerd, beter voorbereid en effectiever.

Dus: de deelnemers in de fluent-conditie schatten hun aanstaande presentatie op de meerkeuzetoets hoger in dan de deelnemers in de disfluent-conditie. Klopt die inschatting ook? De resultaten van het onderzoek van Carpenter et al. laten duidelijk zien van niet. Er was geen verschil tussen de beide condities op de meerkeuzetoets: beide groepen presteerden even goed. Dus hoewel de deelnemers in de fluent conditie verwachtten beter te presteren op de meerkeuzetoets, bleek dit voordeel er voor hen niet te zijn.

Opvallend is dat de ervaring van de docent er in dit onderzoek niet toe bleek te doen. De deelnemers die gehoord hadden naar een ervaren docent te kijken hadden geen hogere judgments of learning, evalueerden de docent en het hoorcollege niet beter en presteerden niet beter op de meerkeuzetoets. Ook was er geen interactie tussen instructor fluency en ervaring van de docent. Het was bijvoorbeeld niet zo dat het extra negatief uitpakt om een gebrekkig hoorcollege te bekijken en te maken te hebben met een onervaren docent (de auteurs speculeerden op een zogenaamde double course van een onervaren docent met een gebrekkige presentatie).

De auteurs concluderen naar aanleiding van deze studie dat studenten zich voornamelijk baseren op lecture fluency bij het inschatten van hun eigen leerprestaties en de kwaliteit van docenten en hun onderwijs. Ze baseren zich minder op de ervaring van de docent bij het maken van deze inschattingen. Toch kan lecture fluency volgens de auteurs in een invloed hebben op het leerproces van studenten omdat het belangrijke affectieve processen als motivatie en interesse lijkt te stimuleren. Ook stellen de auteurs dat studentevaluaties over de effectiviteit van docenten met enig voorbehoud geïnterpreteerd moeten worden, omdat de impressies van studenten hierover niet noodzakelijk met de werkelijkheid corresponderen.

Artikel:

Carpenter, S. K., Northern, P. E., Tauber, S. “U.”, & Toftness, A. R. (2020). Effects of Lecture Fluency and Instructor Experience on Students’ Judgments of Learning, Test Scores, and Evaluations of Instructors. Journal of Experimental Psychology: Applied, 26, 26-39. doi:10.1037/xap0000234