Deze simpele truc maakt meerkeuzevragen effectiever voor retrieval practice

Onlangs verscheen in het tijdschrift Journal of Educational Psychology een studie van collega Gesa van den Broek. Deze studie laat zien hoe meerkeuzevragen effectiever gemaakt kunnen worden voor retrieval practice. In een reeks experimenten werd onderzocht of meerkeuzevragen effectiever worden voor retrieval practice als er een pauze van vier seconden zit tussen tussen het moment dat de meerkeuzevraag in beeld verschijnt en het moment dat de antwoordopties in beeld verschijnen. De auteurs onderzochten de effecten van deze stapsgewijze meerkeuzevragen bij het leren van de vocabulaire van een vreemde taal. De experimenten in deze studie laten zien dat deze stapsgewijze meerkeuzevragen leerlingen helpen effectiever vocabulaire te leren dan “gewone” meerkeuzevragen. De verklaring hiervoor is dat leerlingen de pauze tussen het verschijnen van de vraag en de antwoordopties kunnen gebruiken om actief het antwoord uit hun geheugen op te halen. De auteurs suggereren dat het gebruiken van stapsgewijze meerkeuzevragen een gemakkelijk in te zetten verbetering zijn voor bijvoorbeeld online oefenprogramma’s. Extra tof aan deze studie is dat studenten van onze opleidingen mee hebben gewerkt aan de dataverzameling en de publicatie.

Multiple-choice questions (MCQs) are popular in vocabulary software because they can be scored automatically and are compatible with many input devices (e.g., touchscreens). Answering MCQs is beneficial for learning, especially when learners retrieve knowledge from memory to evaluate plausible answer alternatives. However, such retrieval may not always occur (e.g., with easy-to-guess answers). Therefore, we tested whether we could optimize MCQs for retrieval practice with a stepwise display, which presents the question before the answer options. This creates an opportunity for cued recall. In an experimental classroom study (N = 75) and three online experiments with adult participants (N = 45, N = 77, and N = 79), participants practiced vocabulary with either standard MCQs or stepwise MCQs: In standard MCQs, a word was presented with three possible translations; in stepwise MCQs, it was shown for 4 s before the translations appeared. In three of the four experiments (Experiments 1, 3a, and 3b), stepwise MCQs enhanced retention significantly compared to standard MCQs, measured by a posttest several days after practice. Benefits of stepwise MCQs were found for different translation directions (Experiments 1 and 3) and both with easy-to-guess answers (noncompetitive answer options, Experiment 1) and hard-to-guess answers (competitive answer options, Experiment 3). However, the effect was most robust for questions with noncompetitive answer options (Experiments 1, 3a, and 3b) and for learners who reported trying to retrieve the answer from memory during the stepwise display (Experiments 1 and 3). Moreover, retention was generally enhanced by competitive, hard-to-guess answer options (Experiments 3a and 3b). Overall, a stepwise display is a promising and easy-to-implement manipulation to optimize MCQs for retrieval practice. (PsycInfo Database Record (c) 2023 APA, all rights reserved)

Impact Statement

Educational Impact and Implications Statement: We aimed to optimize multiple-choice exercises for vocabulary learning, and tested stepwise multiple-choice questions (MCQs), in which the question was presented for four seconds before the answer options became visible. With such a stepwise display, learners can try to recall the answer from memory before being prompted by answer options. In both children and adults, stepwise MCQs led to better vocabulary learning than standard questions, which immediately showed the answer options. Stepwise MCQs are an easy-to-implement improvement of computerized vocabulary exercises and might also improve learning of other materials and in other settings (e.g., classroom quizzes, mobile apps). Vocabulary learning was also better when answer options prevented learners from guessing the correct response and for those learners who tried to recall the answer from memory before seeing the answer options. Multiple-choice exercises should be carefully designed to optimize learning. 

Activerend onderwijs 2: Acht manieren om actief leren te stimuleren

Fiorella, L., & Mayer, R. E. (2016). Eight ways to promote generative learning. Educational Psychology Review, 28, 717-741. https://doi.org/10.1007/s10648-015-9348-9

Introductie

Tijdens de UU onderwijs 24-uurse in 2023 sprak keynote speaker Dominique Sluijsmans over “zweet op de juiste rug”. Hiermee bedoelde zij dat het de student is die moet zweten tijdens het leerproces en niet de docent. Door studenten op de juiste manier te activeren, verwerken zij stof beter en diepgravender. Overigens maak je je je met activerende didactiek niet altijd populair onder studenten. Deslauriers et al. (2019) vonden in hun studie dat in cursussen waarin activerende didactiek wordt toegepast, studenten negatiever zijn over het onderwijs. Zij schrijven dit toe aan de verhoogde inspanning die van studenten in deze cursus wordt gevraagd. Hoewel het bijdraagt aan hun leerproces, weten studenten dat zweet op hun rug dus niet altijd te waarderen.

Het idee

In hun artikel maken Fiorella en Mayer gebruik van Merlin Wittrocks generative model of learning. In de opvatting van Wittrock is leren een generatieve activiteit. Leren is volgens Wittrock niet het passief consumeren van informatie; tijdens het leren construeren studenten eigen interpretaties van nieuwe informatie en trekken daaruit conclusies. Betekenisvol leren is volgens Wittrock het transformeren van nieuwe informatie uit bijvoorbeeld een college of een studietekst in bruikbare kennis voor het oplossen van problemen, het schrijven van een tekst, enzovoorts. Zowel Wittrock als Fiorella en Mayer benadrukken dat het bij onderwijzen en leren dus niet alleen gaat om hoe informatie wordt gepresenteerd aan studenten (bijvoorbeeld in een boek of een kennisclip), maar zeker ook om welke pogingen studenten doen deze informatie te begrijpen en doorgronden. Met andere woorden: naast de didactische werkvorm die je als docent kiest (hoorcollege, kennisclip, oefening) om informatie over te brengen aan studenten, gaat het ook om de leerstrategieën die studenten hanteren tijdens het verwerken van deze informatie. In hun artikel beschrijven Fiorella en Mayer acht generatieve leerstrategieën die studenten kunnen inzetten tijdens het studeren en die hen ondersteunen bij het betekenisvol leren: samenvatten, concept maps of graphic organizers maken, tekenen, inbeelden, jezelf testen, aan jezelf uitleggen, onderwijzen en leren door te doen of objecten te manipuleren (zie de onderstaande tabel voor een overzicht).

De inzichten

Generatieve leerstrategieën zijn effectief

In hun artikel beschrijven Fiorella en Mayer niet alleen de acht generatieve leerstrategieën maar presenteren ze ook onderwijsonderzoek dat toont dat deze strategieën effectief zijn. De bovenstaande tabel is overgenomen uit hun artikel. De effect sizes (kolom “Median d”) laten zien dat het onderzoek naar deze leerstrategieën aantoont dat het inzetten ervan een duidelijke bijdrage levert aan het leerproces van studenten.

Als docent heb je invloed op de leerstrategieën die je studenten gebruiken

Bij het zorgen dat studenten betekenisvolle strategieën inzetten, heb je als docent een belangrijke rol: je kunt hen inzicht geven in de waarde van bepaalde strategieën, je kunt ze leren hoe ze bepaalde strategieën het beste in kunnen zetten en door het gericht kiezen van opdrachten en werkvormen kun je studenten stimuleren om deze strategieën daadwerkelijk in te zetten. Onderzoek laat zien dat we de rol van docenten hierbij niet moeten onderschatten. Een deel van de studenten is namelijk niet bekend met deze leerstrategieën. Wanneer studenten wel bekend zijn met een strategie zoals jezelf testen en weten dat het een waardevolle strategie is, dan blijken ze deze toch vaak niet te gebruiken. Een recent onderzoek van Duany Rea et al. (2022) liet bijvoorbeeld zien dat studenten vaak wel bekend zijn met generatieve leerstrategieën, maar dat zij ze niet gebruiken omdat ze denken effectieve leerstrategieën tijdrovender zijn en meer moeite kosten. Bovendien twijfelen sommige studenten of ze deze leerstrategieën op de juiste manier toepassen. Wil je de kans vergroten dat je studenten deze generatieve leerstrategieën toepassen, dan is dus belangrijk om aandacht te besteden aan hoe je studenten deze leerstrategieën het beste toe kunnen passen en om je studenten te overtuigen van de waarde van deze strategieën. Bovendien kun je hen helpen door hen te wijzen op informatie en hulpmiddelen die ze kunnen gebruiken om bijvoorbeeld concept maps te maken.

Verder lezen

• Op de website van The Learning Scientists vind je posters waarin effectieve leerstrategieën worden samengevat en uitgelegd. Deze posters kun je delen met je studenten. De poster “Retrieval practice” past bijvoorbeeld bij de leerstrategie jezelf testen en de poster “Elaboration” bij aan jezelf uitleggen. https://www.learningscientists.org/posters
• Op de website van het Experise Centrum voor Effectief Leren (EXCEL) van de Thomas More Hogeschool legt Kristel Vanhoyweghen de Cornellmethode uit. Dit is een methode die studenten kunnen gebruiken om te leren hoe ze het beste effectieve samenvattingen kunnen maken. https://excel.thomasmore.be/2020/04/samenvatten-met-de-cornellmethode-zorgt-voor-extra-leerwinst/
•  Ook het maken van outlines kan een generatieve leerstrategie zijn. Op het blog van onderwijswetenschappen vind je een samenvatting van een recente meta-analyse hierover. http://onderwijskunde.blogspot.com/2023/05/hoe-het-maken-met-outlines-je.html

Retrieval practice effectief voor zowel leerlingen met veel als weinig voorkennis

Retrieval practice, het jezelf overhoren met bijvoorbeeld flashcards, is een effectieve manier om te studeren. De vraag is echter of dit voor alle leerlingen zo is. Sommige theorieën, zoals de cognitive load theory, voorspellen dat - in het bijzonder bij complex leermateriaal - leerlingen met weinig voorkennis minder baat hebben bij retrieval practice dan leerlingen met veel voorkennis. Een nieuwe studie in Journal Educational Psychology vergeleek twee condities, retrieval practice versus herstuderen, en onderzocht daarbij de invloed van mate van voorkennis van de deelnemende studenten. De resultaten laten zien dat retrieval practice een effectievere strategie is dan herstuderen. Het goede nieuws is dat retrieval practice zowel voor studenten met veel als met weinig voorkennis effectief bleek te zijn. Dit is een aanwijzing dat retrieval practice een effectieve leerstrategie is die voor veel verschillende studenten behulpzaam kan zijn.

Het abstract

Retrieval practice typically benefits later memory more than restudy (i.e., the testing effect). The benefits of retrieval-based learning generalize across a range of materials and contexts, leading many cognitive scientists to advocate for broad educational implementation. However, educators and practitioners call for more research on factors critical to education (e.g., individual differences between learners). One key understudied factor is the amount of relevant prior knowledge held by the learner, which can moderate the effectiveness of other learning strategies (i.e., expertise-reversal effects). The current study investigated the potential moderating influence of prior knowledge on the learning benefits of retrieval. To assess the causal effects of prior knowledge on later learning strategy effectiveness, we randomly assigned online participants to be trained in multiple topics within one of two academic domains over 3 days. Participants then engaged in a more typical testing effect paradigm—they studied new scientific text passages related to their trained or untrained domain and completed two rounds of focused restudy or retrieval with elaborative feedback (repeated for the other domain). Two days later, participants took a final test on the previously learned information from both domains. Despite being rated as more effortful than restudy, retrieval practice led to greater overall test performance (with larger relative benefits on retention than transfer questions). Critically, despite a substantial benefit from training-induced knowledge, testing effects were nearly identical for high and low prior knowledge information. This suggests that prior knowledge is not a critical boundary condition of retrieval-based learning. 

Waarom studenten (niet) kiezen voor retrieval practice

Retrieval practice is een effectieve leerstrategie. Toch maken studenten geregeld liever gebruik van andere, minder effectieve strategieën zoals herlezen of onderstrepen. De vraag waarom dat zo is stond centraal in een recente studie van Luotong Hui, Anique de Bruin, Jeroen Donkers en Jeroen van Merriënboer. Zij onderzochten waarom studenten minder geneigd zijn om retrieval practice  te gebruiken dan restudy. Ze vonden dat studenten vaak eerder voor restudy kiezen omdat ze denken dat de extra inspanning die nodig is voor retrieval practice niet leidt tot hogere leergroei. De studie onderzocht ook de rol van strategy-based perceived mental effort (waargenomen inspanningseffect van specifieke leerstrategieën) en strategy-based perceived learning (de waargenomen leergroei als gevolg van het gebruik van een specifieke leerstrategie) bij het maken van leerstrategiebeslissingen. De resultaten lieten zien dat retrieval practice gepaard ging met hogere niveaus van waargenomen mentale inspanning ten opzichte van restudy, en dat deze verhoogde inspanning leidde tot waarnemingen van afnemende leergroei. 

Het abstract

Although retrieval practice is a more effective learning strategy than restudy, students oftentimes prefer the latter. Previous studies have investigated this suboptimal decision at strategy level. The present study, however, focused on the learning task level: How perceived mental effort and perceived learning during task performance influence learning strategy decisions. Participants rated their mental effort and learning when memorizing anatomical image-name tasks, choosing either retrieval practice or restudy for each task. Moreover, the actual learning after each strategy was measured and presented as feedback. The results suggested that higher task-based perceived mental effort was directly related to reduced retrieval practice choice. Task-based perceived learning partially mediated the effect of task-based perceived mental effort on retrieval practice choice after feedback. Students chose retrieval practice more often after feedback. These findings underscore the importance of task-based perceived mental effort to learning strategy decisions and the potential of feedback to optimize these decisions.

Leerlingen onderschatten de effectiviteit van retrieval practice, of toch niet?

Onderzoek naar retrieval practice (studeren met behulp van bijvoorbeeld flashcard) heeft met grote regelmaat laten zien dat deze leerstrategie erg effectief is. Toch kiezen leerlingen tijdens het studeren vaak voor mindere effectieve leerstrategieën, zoals herlezen. Een mogelijke verklaring is dat leerlingen de effectiviteit van leerstrategieën als herlezen overschatten en de effectiviteit van retrieval practice onderschatten. Leerlingen lijken een voorkeur te hebben voor minder effectieve leerstrategieën. Dit soort studies maakt gebruik van judgments of learning (JOLs). Dit zijn metacognitieve oordelen over het leren die worden gemaakt door leerlingen. Ze geven aan hoe zeker de leerling is van de informatie die ze hebben geleerd en hoe effectief ze denken dat hun leerstrategieën zijn. JOLs zijn belangrijk omdat ze kunnen voorspellen hoe goed leerlingen zullen presteren op toekomstige toetsen en omdat ze kunnen helpen om leerlingen te leren welke leerstrategieën het meest effectief zijn. 

In een recente studie in Learning and Instruction plaatsen Weissgerber en Rummer vraagtekens bij de opvatting dat lagere metacognitieve oordelen over testen ten opzichte van herlezen betekenen dat leerlingen een voorkeur hebben voor een ineffectieve activiteit. Ze beargumenteren dat deze oordelen over retrieval practice beïnvloed worden door de negatieve feedback die leerlingen krijgen tijdens het zelftesten bij retrieval practice. In drie gepreregistreerde experimenten bleek dat de feedback van testen de metacognitieve oordelen over het leren beïnvloedt. Door de feedback te elimineren en de studenten te vragen om na te denken over leren met herlezen/testen na het lezen van een tekst, bleek dat er geen verschil was tussen herlezen en testen. Dit laat zien dat metacognitieve oordelen over het leren door te herlezen en door te testen beter overeenkomen met de werkelijke leerresultaten dan eerder onderzoek suggereerde.

Het abstract

We doubt the prevailing interpretation of lower Judgments of Learning (JOLs) for testing over rereading to reflect learners' favoritism of an ineffective activity. We argue that JOLs for testing are biased due to a negative feedback effect. In three preregistered experiments (Nfinal = 306), we eliminated the feedback effect by asking students to only imagine learning with the described activities (rereading/testing) after reading a text and by capturing offline-JOLs (off-JOLs = being decoupled from the current learning experience) as a function of an imaginary final test delay (5 min/1 week/2 weeks). In 5-min conditions, off-JOLs consistently reflected no differences between rereading and testing; in 1-week and 2-week conditions, two (of three) experiments demonstrated an advantage of testing over rereading. These results are consistent with actual learning outcomes in an experiment using the same text and activities (Rummer et al., 2017, Exp. 1). Learners’ metacognitive judgments resembled actual learning outcomes more accurately than suggested by previous research.

Retrieval practice: deze medaille heeft ook een keerzijde?

Retrieval practice wordt gezien als een effectieve manier van studeren. Retrieval is het ophalen van informatie uit het geheugen. En dit ophalen van informatie uit het geheugen verstevigt in veel gevallen deze informatie in het geheugen. Toch zijn er ook situaties waarin retrieval ook negatieve effecten kan hebben. In het tijdschrift Nature Reviews Psychology verscheen onlangs een review van Roediger en Abel waarin de positieve en negatieve effecten van retrieval in verschillende situaties worden samengevat.

Het abstract

 Accurately retrieving information from memory boosts later retrieval. However, retrieving memories can also open a window to errors when erroneous information is retrieved or when new information is encoded during retrieval. Similarly, the process of retrieval can influence recall of related information, either inhibiting or facilitating it depending upon the situation. In addition, retrieving or attempting to retrieve information can facilitate encoding of new information, regardless of whether the new information is correct or incorrect. In this Review, we provide selective coverage of the influences of memory retrieval in three distinct arenas: effects on the retrieved information itself, effects on retrieval of related information, and effects on information encoded just after an event is retrieved. Consideration of both positive and negative effects of retrieval in these three domains is critically important to understanding the complexity of retrieval processes and their effects. We discuss episodic context as a conceptual umbrella relevant to all these retrieval effects and note key directions for future research.