Hoe kan stilleestijd effectiever worden?

Op veel scholen is meerdere keren per week stilleestijd. Hierbij krijgen leerlingen de tijd om een boek dat ze zelf gekozen hebben. Maar verbetert het echt hun leesvaardigheid, motivatie en leesgedrag? En kan zelfleestijd effectiever worden gemaakt door een aantal extra elementen toe te voegen, zoals ondersteuning door de leerkracht, verantwoording (accountability) of sociale interactie?

Een recente meta-analyse probeerde deze vragen te beantwoorden door 51 studies te bekijken die verschillende varianten van stilleesprogramma's vergeleken. Zij vonden dat:

• Het toevoegen van extra elementen aan stilleestijd een klein positief effect had op de algehele leesvaardigheid. Dit betekent dat leerlingen die deelnamen aan verbeterde stilleesprogramma's iets beter presteerden op leestoetsen dan leerlingen die alleen gewone stilleestijd kregen.
• Het effect was groter voor leerlingen met een risico op leesproblemen. Leerlingen met bijvoorbeeld een lage sociaaleconomische status of een lage leesvaardigheid hadden meer baat bij de extra elementen die kunnen worden toegevoegd aan stilleestijd dan sterkere lezers.
• De auteurs vonden een negatief effect van hulp of instructie door de leerkracht tijdens leestijd, wat mogelijk betekent dat dergelijke activiteiten de betrokkenheid van leerlingen bij teksten kunnen verstoren. 
• Aan de andere kant vonden ze positieve effecten van het beperken en ondersteunen van de boekkeuze, verantwoording en sociale interactie.

De auteurs concluderen dat stilleestijd een waardevol onderdeel van het leescurriculum kan zijn, maar dat het gecombineerd moet worden met elementen die leerlingen helpen bij het kiezen van geschikte boeken, het monitoren van hun leesactiviteiten en het bevorderen van de sociale interactie.

Het abstract

One often used approach to increase students' reading frequency is investing in independent silent reading (ISR) at schools: regularly scheduling time during which students read silently in books of their own choice. However, evidence for the impact of ISR is inconclusive and there appear to be important barriers to its effects on students' reading frequency, motivation, and proficiency: particularly struggling readers have difficulties choosing appropriate books, simply allotting time for reading does not guarantee that students read, ISR lacks accountability, and students are not always given the opportunity to interact about what they read. The aim of the current meta-analysis was to test whether additions to ISR that aim to overcome these barriers contribute to the effects of ISR on students' reading. Using outcomes of 51 effect studies covering 56 samples of students in primary and secondary education, we established a small but significant positive short-term intervention effect on overall reading proficiency (Cohen's d = 0.27). We additionally found that additions to ISR were particularly effective for students at risk of reading failure; for stronger readers, effects were absent. Finally, we found a negative effect of help or instruction by the teacher, which suggests that activities during reading might interfere with students' engagement with texts.

Pakjesavond? PISA-dag!

Vijf december komt niet alleen de Sint langs, maar ook OESO-topman Andreas Schleicher met nieuwe PISA-resultaten, oftewel: het ‘Programme for International Student Assessment’. Een jaartje later dan gepland, omdat een zekere pandemie roet in het eten gooide. Terwijl PIRLS (‘Progress in International Reading Literacy Study’) zich hier niets van aantrok, werd besloten PISA een jaar uit te stellen.

Dit keer is het extra moeilijk om te voorspellen wat de PISA-resultaten zullen uitwijzen voor Nederland en Vlaanderen. Wat we wel durven te stellen: de kans dat de uitkomsten goed zijn, is klein. Dat is zo om verschillende redenen:       

• De gevolgen van COVID-19 zal een belangrijk thema zijn. We weten dat de schoolsluitingen als gevolg van COVID-19 in veel landen een negatieve invloed gehad hebben op het leren van de kinderen en jongeren. Dit was in ons taalgebied niet anders. Het lijkt er zelfs op dat de coronapandemie duidelijke sporen heeft nagelaten in het welzijn van Nederlandse jongeren. Ook dit geeft reden om te verwachten dat dit de resultaten van PISA negatief zal beïnvloeden.
• We weten dat de uitkomsten van PIRLS bij tienjarigen niet goed waren. Waarom zou dan PISA bij vijftienjarigen nu wel goed zijn? Zowel in Vlaanderen als in Nederland is een beweging op gang gekomen om meer aandacht te besteden aan basisvaardigheden, maar het is nog veel te vroeg om dit in de PISA-resultaten terug te zien.
• De leesmotivatie van Nederlandse kinderen is in vergelijking met andere landen laag. En ook al zijn er initiatieven om de leesmotivatie van leerlingen te vergroten, het is mogelijk nog te vroeg om hier duidelijke effecten van te zien in PISA.
• Eerder berekende Kristof De Witte van de KULeuven al het negatieve effect op leeruitkomsten van het lerarentekort, een fenomeen dat hard toeslaat in zowel Vlaanderen als Nederland.

De trend voor Nederlandse PISA-scores is al een flinke tijd dalend.

Het kan zijn dat we het in de internationale ranking beter doen dan verwacht, omdat misschien andere landen of regio’s nog slechter uit de pandemie zijn gekomen, maar dit is ondergeschikt aan de eigen evolutie. Deze ronde staat wiskunde centraal, maar toch zullen we ook zien of het aantal laaggeletterde jongeren is toegenomen. Andere vragen die interessant zijn om in de gaten te houden:

• Is er in Nederland nog steeds een zeer kleine groep van hoogpresterende leerlingen?
• Wordt in Vlaanderen de best presterende groep nog altijd kleiner?
• Hoe verhoudt de manier van lesgeven zich ten opzichte van leereffecten?

PISA komt niet enkel uit op 5 december, dat is nog maar het begin. In 2024 volgen nog extra delen, waarbij onder andere stilgestaan wordt bij de creatieve vermogens van vijftienjarigen in de deelnemende OESO-landen. Misschien is daar dan wel goed nieuws te vinden?

Deze blogpost is geschreven door: Pedro De Bruyckere, Casper Hulshof en Jeroen Janssen. Pedro, Casper en Jeroen zijn allen onderzoeker bij de Afdeling Educatie van de Universiteit Utrecht en als docenten betrokken bij de opleidingen Onderwijswetenschappen.

Wat gebeurt er als je docent vertelt eerstegeneratiestudent te zijn geweest?

Hoe voel je je als je docent tijdens de les iets persoonlijks of kwetsbaars over zichzelf vertelt? Voel je je dan meer verbonden met je docent? En maakt het uit je of docent een eerstegeneratiestudent is en dit aan je laat weten? Wat doen zulke zelfonthullingen van docenten met hoe studenten hun docenten ervaren?

Onderzoekers van de Universiteit van Californië in Los Angeles en de Universiteit van Texas in Austin voerden vier onderzoeken uit met verschillende soorten zelfonthulling door een hypothetische docent. Ze onderzochten hierbij de indrukken van studenten over deze docent en de klas.

De belangrijkste bevinding van dit onderzoek was dat zelfonthulling van persoonlijke of kwetsbare informatie (zoals worstelen op de universiteit of eerstegeneratiestudent zijn) door een docent over het algemeen de waardering, het respect, de warmte, het zoeken van hulp en het gevoel erbij te horen van studenten verbeterde in vergelijking met geen zelfonthulling. Dit suggereert dat zelfonthulling een nuttige strategie kan zijn voor docenten om een band op te bouwen met studenten en een positief klasklimaat te creëren.

De auteurs vonden echter geen bewijs dat wanneer docenten delen dat ze eerstegeneratiestudent zijn dit geen specifiek voordeel opleverde voor huidige eerstegeneratiestudenten dan voor studenten waarvan de ouders wel hebben gestudeerd. De onderzoekers verwachtten dat eerstegeneratiestudenten zich meer geïnspireerd, gemotiveerd en zelfverzekerd zouden voelen als ze zouden horen dat hun professor ook een eerstegeneratiestudent was, maar dit was niet het geval.

Het abstract

First-generation college students, who are the first in their family to attend a four-year college, often face barriers while attending college. In a series of studies, we tested whether a professor self-disclosing their own status as a first-generation student would positively impact current students (particularly first-generation students). In each study, college students read a hypothetical professor’s introduction on the first day of class, in which the intervention was embedded, and then answered questions about their perceptions of the professor and expectations for the class. Across several studies with several versions of the professor’s introduction, the results generally showed that multiple variations of disclosure resulted in positive perceptions of the professor from both first-generation and continuing-generation college students, though our findings were somewhat inconsistent between studies. This research provides new insight into the power of self-disclosure and avenues for future research to continue testing interventions which may benefit first-generation college students.

Deze simpele truc maakt meerkeuzevragen effectiever voor retrieval practice

Onlangs verscheen in het tijdschrift Journal of Educational Psychology een studie van collega Gesa van den Broek. Deze studie laat zien hoe meerkeuzevragen effectiever gemaakt kunnen worden voor retrieval practice. In een reeks experimenten werd onderzocht of meerkeuzevragen effectiever worden voor retrieval practice als er een pauze van vier seconden zit tussen tussen het moment dat de meerkeuzevraag in beeld verschijnt en het moment dat de antwoordopties in beeld verschijnen. De auteurs onderzochten de effecten van deze stapsgewijze meerkeuzevragen bij het leren van de vocabulaire van een vreemde taal. De experimenten in deze studie laten zien dat deze stapsgewijze meerkeuzevragen leerlingen helpen effectiever vocabulaire te leren dan “gewone” meerkeuzevragen. De verklaring hiervoor is dat leerlingen de pauze tussen het verschijnen van de vraag en de antwoordopties kunnen gebruiken om actief het antwoord uit hun geheugen op te halen. De auteurs suggereren dat het gebruiken van stapsgewijze meerkeuzevragen een gemakkelijk in te zetten verbetering zijn voor bijvoorbeeld online oefenprogramma’s. Extra tof aan deze studie is dat studenten van onze opleidingen mee hebben gewerkt aan de dataverzameling en de publicatie.

Multiple-choice questions (MCQs) are popular in vocabulary software because they can be scored automatically and are compatible with many input devices (e.g., touchscreens). Answering MCQs is beneficial for learning, especially when learners retrieve knowledge from memory to evaluate plausible answer alternatives. However, such retrieval may not always occur (e.g., with easy-to-guess answers). Therefore, we tested whether we could optimize MCQs for retrieval practice with a stepwise display, which presents the question before the answer options. This creates an opportunity for cued recall. In an experimental classroom study (N = 75) and three online experiments with adult participants (N = 45, N = 77, and N = 79), participants practiced vocabulary with either standard MCQs or stepwise MCQs: In standard MCQs, a word was presented with three possible translations; in stepwise MCQs, it was shown for 4 s before the translations appeared. In three of the four experiments (Experiments 1, 3a, and 3b), stepwise MCQs enhanced retention significantly compared to standard MCQs, measured by a posttest several days after practice. Benefits of stepwise MCQs were found for different translation directions (Experiments 1 and 3) and both with easy-to-guess answers (noncompetitive answer options, Experiment 1) and hard-to-guess answers (competitive answer options, Experiment 3). However, the effect was most robust for questions with noncompetitive answer options (Experiments 1, 3a, and 3b) and for learners who reported trying to retrieve the answer from memory during the stepwise display (Experiments 1 and 3). Moreover, retention was generally enhanced by competitive, hard-to-guess answer options (Experiments 3a and 3b). Overall, a stepwise display is a promising and easy-to-implement manipulation to optimize MCQs for retrieval practice. (PsycInfo Database Record (c) 2023 APA, all rights reserved)

Impact Statement

Educational Impact and Implications Statement: We aimed to optimize multiple-choice exercises for vocabulary learning, and tested stepwise multiple-choice questions (MCQs), in which the question was presented for four seconds before the answer options became visible. With such a stepwise display, learners can try to recall the answer from memory before being prompted by answer options. In both children and adults, stepwise MCQs led to better vocabulary learning than standard questions, which immediately showed the answer options. Stepwise MCQs are an easy-to-implement improvement of computerized vocabulary exercises and might also improve learning of other materials and in other settings (e.g., classroom quizzes, mobile apps). Vocabulary learning was also better when answer options prevented learners from guessing the correct response and for those learners who tried to recall the answer from memory before seeing the answer options. Multiple-choice exercises should be carefully designed to optimize learning. 

Is samenwerking noodzakelijk voor productive failure?

Productive failure (productief falen, PF) is een instructiestrategie waarbij leerlingen worden uitgedaagd om een nieuw probleem op te lossen voordat ze hierover directe instructie hebben ontvangen. Het idee is dat leerlingen in zulke situaties, doordat ze foutieve oplossingen genereren en worstelen met het nieuwe concept, hun voorkennis activeren, erachter komen wat de grenzen van hun kennis zijn en een beter begrip krijgen van de kenmerken van het concept dat ze bestuderen. In eerdere studies is onderzocht dat PF een bijdrage kan leveren aan bijvoorbeeld het conceptuele begrip van leerlingen. Een nieuwe studie in Instructional Science van Brand et al. (2023) onderzocht of samenwerking een essentieel onderdeel van PF is.

In deze studie werd productive failure tijdens individueel probleemoplossen vergeleken met productive failure tijdens probleemoplossen in een groep. Deze studie maakte gebruik van dezelfde instructie en problemen als in eerdere studies naar PF. De onderzoekers verwachtten dat PF tijdens samenwerkend probleemoplossen leerlingen beter zou voorbereiden op het leren van directe instructie. De onderzoekers verwachtten dit omdat tijdens samenwerken voorkennis beter geactiveerd wordt en hiaten in kennis beter zichtbaar worden.

Deze verwachtingen werden echter niet bevestigd. In het onderzoek werden geen verschillen gevonden tussen de individuele conditie en de groepsconditie. De auteurs concluderen op basis van deze resultaten daarom dat samenwerking geen toegevoegde waarde heeft in het voorbereiden van leerlingen op het leren van PF.

Het abstract

Productive Failure (PF) is an instructional design that implements a problem-solving phase which aims at preparing students for learning from a subsequent instruction. PF has been shown to facilitate students’ conceptual knowledge acquisition in the mathematical domain. Collaboration has been described as a vital design component of PF, but studies that have investigated the role of collaboration in PF empirically so far, were not able to confirm the necessity of collaboration in PF. However, these studies have diverged significantly from prior traditional PF studies and design criteria. Therefore, the role of collaboration in PF remains unclear. In an experimental study that is based on the traditional design of PF, we compared a collaborative and an individual problem-solving setting. It was hypothesized that collaboration facilitates the beneficial preparatory mechanisms of the PF problem-solving phase: prior knowledge activation, awareness of knowledge gaps, and recognition of deep features. In a mediation analysis, the effects of collaborative and individual problem solving on conceptual knowledge acquisition as mediated through the preparatory mechanisms were tested. In contrast to the hypotheses, no mediations or differences between conditions were found. Thus, collaboration does not hold a major preparatory function in itself for the design of PF.

Het screen inferiority effect: Lezen van een scherm is nadelig voor begrijpend lezen

Hoewel digitale schermen niet meer weg te denken zijn uit het dagelijks leven en studenten steeds vaker hun teksten en artikelen lezen van hun laptop of tablet, hebben onderzoekers meermaals laten zien dat er mogelijk sprake is van een screen inferiority effect: lezers die van een scherm lezen lijken teksten wat minder goed te begrijpen dan lezers die teksten van papier lezen. Een nieuwe meta-analyse in Journal of Educational Psychology vatte de resultaten van 49 studies samen. Deze studies onderzochten allen het effect van het lezen van het scherm versus het lezen van papier. De resultaten van deze meta-analyse laten zien dat er inderdaad sprake is van een licht screen inferiority effect. Afhankelijk van het onderzoeksdesign dat gehanteerd werd, vonden de auteurs een effect size van g = -0.113 of een effect size van g = -0.103. Uit aanvullende analyses blijkt dat het screen inferiority effect groter is bij studenten in het hoger onderwijs dan bij leerlingen uit het basis- en voortgezet onderwijs.

Het abstract

As handheld devices, such as tablets, become a common tool in schools, a critical and urgent question for the research community is to assess their potential impact on educational outcomes. Previous meta-analytic research has evidenced the “screen inferiority effect”: Readers tend to understand texts slightly worse when reading on-screen than when reading the same text in print. Most primary studies from those meta-analyses used computers as on-screen reading devices. Accordingly, the extent to which handheld devices, which provide a reading experience closer to books than computers, are affected by the screen inferiority effect remains an open question. To address this issue, we reviewed relevant literature regarding potential moderating factors for the screen inferiority effect through the lenses of the reading for understanding framework. We then performed two meta-analyses aimed at examining the differences in reading comprehension when reading on handheld devices, as compared to print. Results from the two multilevel random-effect meta-analyses, which included primary studies that used either between-participant (k = 38, g = −0.113) or within-participant (k = 21, g = −0.103) designs, consistently showed a significant small size effect favoring print text comprehension. Moderator analyses helped to partially clarify the results, indicating in some cases a higher screen inferiority effect for undergraduate students (as compared to primary and secondary school students) and for participants who were assessed individually (as opposed to in groups). We discuss the need to continue fostering print reading in schools while developing effective ways to incorporate handheld devices for reading purposes. 

Een docent in beeld beïnvloedt het leren van instructievideo’s

Instructievideo’s zijn niet meer weg te denken uit het onderwijs. Denk maar aan de video’s die gebruikt worden in MOOCs of de video’s die diverse docenten maken op hun Youtubekanaal waarin zij eindexamenstof uitleggen. In dit soort video’s is geregeld de docent in beeld, maar dat is niet altijd het geval. Theorieën zoals de Cognitive Theory of Multimedia Learning voorspellen dat de zichtbaarheid van een docent in instructievideo’s bijvoorbeeld motivatie en social presence kan verhogen, maar dat deze zichtbaarheid geen effect zal hebben op de leeruitkomsten. Andere theorieën voorspellen daarentegen dat zichtbaarheid van de docent door het verhogen van motivatie en social presence wel een effect kan hebben op leeruitkomsten. Een recente meta-analyse in Educational Research Review onderzocht de effecten van de zichtbaarheid van de docent in instructievideo’s. De resultaten laten zien dat zichtbaarheid van de docent in instructievideo’s een klein positief effect heeft op leeruitkomsten (g = +0.22). Bovendien heeft zichtbaarheid positieve effecten op social presence (g = +0.35) en motivatie (g = +0.41). Deze meta-analyse toont daarnaast aan dat zichtbaarheid van de docent kijkers ook kan afleiden (g = +0.31). Dit verklaart mogelijk het relatief kleine effect van zichtbaarheid van de docent op leeruitkomsten.

Het abstract

Researchers disagree on the extent to which social cues in instructional videos influence learning and learning-relevant outcomes and processes. The instructor presence effect states that visible instructors in instructional videos lead to increased social presence and higher scores in subjective ratings like motivation, social presence, or affect, but do not improve learning outcomes. In contrast, the Cognitive-Affective-Social Theory of Learning in digital Environments outlines how social cues not only enhance social, emotional, and motivational processes, but they also potentially promote learning outcomes. We conducted a series of meta-analyses to explore the effects of instructor presence in instructional videos on retention, transfer, social presence, motivation, cognitive load, affect, and visual dwell time. The meta-analyses include 35 studies, which contained 46 pair-wise comparisons and 6339 participants. Results revealed a small, statistically significant positive effect of including a visual instructor on retention outcomes, but no significant effect on transfer performance. A visible instructor also significantly enhanced social presence, affective, and motivational ratings. Furthermore, we found that a visible instructor significantly reduced dwell time on relevant visual material but also reduced subjective perception of extraneous cognitive load. Significant moderator effects could be found regarding prior knowledge, the instructional domain as well as the size of the instructor.

Meta-analyse: Hoe accuraat zijn self-assessments van leerlingen?

Self-assessment is een belangrijke vaardigheid voor leerlingen. Bij zelfregulatie is self-assessment bijvoorbeeld belangrijk: het is een noodzakelijke, maar niet voldoende voorwaarde om het eigen leerproces goed te kunnen reguleren. Als je niet in staat bent om goed in te schatten of je wat je bestudeert goed begrijpt, dan is het onwaarschijnlijk dat je verstandige keuzes maakt in het vervolg van het studeren. Oftewel, het is van belang dat de self-assessments van leerlingen en studenten accuraat zijn. In een onlangs verschenen meta-analyse analyseren León, Panadero en García‐Martínez het beschikbare onderzoek naar de accuraatheid van self-assessments. Bovendien onderzochten zij of de self-assessments samenhangen met de beoordelingen van experts. De resultaten van de meta-analyse laten zien dat overall leerlingen zichzelf overschatten bij het uitvoeren van self-assessments: ze zijn positiever over hun prestaties dan is gerechtvaardigd. Wel is het zo dat de self-assessments van leerlingen redelijk correleren met de beoordelingen van experts. Interessant aan de meta-analyse is dat deze ook inzicht geeft in welke factoren zorgen voor hogere accuraatheid van self-assessment. Dat is het geval wanneer leerlingen feedback ontvangen, meer domeinkennis hebben, meer ervaring hebben met self-assessment, wanneer de self-assessment een formatief doel heeft en wanneer leerlingen jonger zijn.

Het abstract

Developing the ability to self-assess is a crucial skill for students, as it impacts their academic performance and learning strategies, amongst other areas. Most existing research in this field has concentrated on the exploration of the students’ capacity to accurately assign a score to their work that closely mirrors an expert’s evaluation, typically a teacher’s. Though this process is commonly referred to as self-assessment, a more precise term would be self-assessment scoring accuracy. Our aim is to review what is the average accuracy and what moderators might influence this accuracy. Following PRISMA recommendations, we reviewed 160 articles, including data from 29,352 participants. We analysed 9 factors as possible moderators: (1) assessment criteria; (2) use of rubric; (3) self-assessment experience; (4) feedback; (5) content knowledge; (6) incentive; (7) formative assessment; (8) field of knowledge; and (9) educational level. The results showed an overall effect of students’ overestimation (g = 0.206) with an average relationship of z = 0.472 between students’ estimation and the expert’s measure. The overestimation diminishes when students receive feedback, possess greater self-assessment experience and content knowledge, when the assessment does not have formative purposes, and in younger students (primary and secondary education). Importantly, the studies analysed exhibited significant heterogeneity and lacked crucial methodological information.