Is samenwerking noodzakelijk voor productive failure?

Productive failure (productief falen, PF) is een instructiestrategie waarbij leerlingen worden uitgedaagd om een nieuw probleem op te lossen voordat ze hierover directe instructie hebben ontvangen. Het idee is dat leerlingen in zulke situaties, doordat ze foutieve oplossingen genereren en worstelen met het nieuwe concept, hun voorkennis activeren, erachter komen wat de grenzen van hun kennis zijn en een beter begrip krijgen van de kenmerken van het concept dat ze bestuderen. In eerdere studies is onderzocht dat PF een bijdrage kan leveren aan bijvoorbeeld het conceptuele begrip van leerlingen. Een nieuwe studie in Instructional Science van Brand et al. (2023) onderzocht of samenwerking een essentieel onderdeel van PF is.

In deze studie werd productive failure tijdens individueel probleemoplossen vergeleken met productive failure tijdens probleemoplossen in een groep. Deze studie maakte gebruik van dezelfde instructie en problemen als in eerdere studies naar PF. De onderzoekers verwachtten dat PF tijdens samenwerkend probleemoplossen leerlingen beter zou voorbereiden op het leren van directe instructie. De onderzoekers verwachtten dit omdat tijdens samenwerken voorkennis beter geactiveerd wordt en hiaten in kennis beter zichtbaar worden.

Deze verwachtingen werden echter niet bevestigd. In het onderzoek werden geen verschillen gevonden tussen de individuele conditie en de groepsconditie. De auteurs concluderen op basis van deze resultaten daarom dat samenwerking geen toegevoegde waarde heeft in het voorbereiden van leerlingen op het leren van PF.

Het abstract

Productive Failure (PF) is an instructional design that implements a problem-solving phase which aims at preparing students for learning from a subsequent instruction. PF has been shown to facilitate students’ conceptual knowledge acquisition in the mathematical domain. Collaboration has been described as a vital design component of PF, but studies that have investigated the role of collaboration in PF empirically so far, were not able to confirm the necessity of collaboration in PF. However, these studies have diverged significantly from prior traditional PF studies and design criteria. Therefore, the role of collaboration in PF remains unclear. In an experimental study that is based on the traditional design of PF, we compared a collaborative and an individual problem-solving setting. It was hypothesized that collaboration facilitates the beneficial preparatory mechanisms of the PF problem-solving phase: prior knowledge activation, awareness of knowledge gaps, and recognition of deep features. In a mediation analysis, the effects of collaborative and individual problem solving on conceptual knowledge acquisition as mediated through the preparatory mechanisms were tested. In contrast to the hypotheses, no mediations or differences between conditions were found. Thus, collaboration does not hold a major preparatory function in itself for the design of PF.

Het screen inferiority effect: Lezen van een scherm is nadelig voor begrijpend lezen

Hoewel digitale schermen niet meer weg te denken zijn uit het dagelijks leven en studenten steeds vaker hun teksten en artikelen lezen van hun laptop of tablet, hebben onderzoekers meermaals laten zien dat er mogelijk sprake is van een screen inferiority effect: lezers die van een scherm lezen lijken teksten wat minder goed te begrijpen dan lezers die teksten van papier lezen. Een nieuwe meta-analyse in Journal of Educational Psychology vatte de resultaten van 49 studies samen. Deze studies onderzochten allen het effect van het lezen van het scherm versus het lezen van papier. De resultaten van deze meta-analyse laten zien dat er inderdaad sprake is van een licht screen inferiority effect. Afhankelijk van het onderzoeksdesign dat gehanteerd werd, vonden de auteurs een effect size van g = -0.113 of een effect size van g = -0.103. Uit aanvullende analyses blijkt dat het screen inferiority effect groter is bij studenten in het hoger onderwijs dan bij leerlingen uit het basis- en voortgezet onderwijs.

Het abstract

As handheld devices, such as tablets, become a common tool in schools, a critical and urgent question for the research community is to assess their potential impact on educational outcomes. Previous meta-analytic research has evidenced the “screen inferiority effect”: Readers tend to understand texts slightly worse when reading on-screen than when reading the same text in print. Most primary studies from those meta-analyses used computers as on-screen reading devices. Accordingly, the extent to which handheld devices, which provide a reading experience closer to books than computers, are affected by the screen inferiority effect remains an open question. To address this issue, we reviewed relevant literature regarding potential moderating factors for the screen inferiority effect through the lenses of the reading for understanding framework. We then performed two meta-analyses aimed at examining the differences in reading comprehension when reading on handheld devices, as compared to print. Results from the two multilevel random-effect meta-analyses, which included primary studies that used either between-participant (k = 38, g = −0.113) or within-participant (k = 21, g = −0.103) designs, consistently showed a significant small size effect favoring print text comprehension. Moderator analyses helped to partially clarify the results, indicating in some cases a higher screen inferiority effect for undergraduate students (as compared to primary and secondary school students) and for participants who were assessed individually (as opposed to in groups). We discuss the need to continue fostering print reading in schools while developing effective ways to incorporate handheld devices for reading purposes. 

Een docent in beeld beïnvloedt het leren van instructievideo’s

Instructievideo’s zijn niet meer weg te denken uit het onderwijs. Denk maar aan de video’s die gebruikt worden in MOOCs of de video’s die diverse docenten maken op hun Youtubekanaal waarin zij eindexamenstof uitleggen. In dit soort video’s is geregeld de docent in beeld, maar dat is niet altijd het geval. Theorieën zoals de Cognitive Theory of Multimedia Learning voorspellen dat de zichtbaarheid van een docent in instructievideo’s bijvoorbeeld motivatie en social presence kan verhogen, maar dat deze zichtbaarheid geen effect zal hebben op de leeruitkomsten. Andere theorieën voorspellen daarentegen dat zichtbaarheid van de docent door het verhogen van motivatie en social presence wel een effect kan hebben op leeruitkomsten. Een recente meta-analyse in Educational Research Review onderzocht de effecten van de zichtbaarheid van de docent in instructievideo’s. De resultaten laten zien dat zichtbaarheid van de docent in instructievideo’s een klein positief effect heeft op leeruitkomsten (g = +0.22). Bovendien heeft zichtbaarheid positieve effecten op social presence (g = +0.35) en motivatie (g = +0.41). Deze meta-analyse toont daarnaast aan dat zichtbaarheid van de docent kijkers ook kan afleiden (g = +0.31). Dit verklaart mogelijk het relatief kleine effect van zichtbaarheid van de docent op leeruitkomsten.

Het abstract

Researchers disagree on the extent to which social cues in instructional videos influence learning and learning-relevant outcomes and processes. The instructor presence effect states that visible instructors in instructional videos lead to increased social presence and higher scores in subjective ratings like motivation, social presence, or affect, but do not improve learning outcomes. In contrast, the Cognitive-Affective-Social Theory of Learning in digital Environments outlines how social cues not only enhance social, emotional, and motivational processes, but they also potentially promote learning outcomes. We conducted a series of meta-analyses to explore the effects of instructor presence in instructional videos on retention, transfer, social presence, motivation, cognitive load, affect, and visual dwell time. The meta-analyses include 35 studies, which contained 46 pair-wise comparisons and 6339 participants. Results revealed a small, statistically significant positive effect of including a visual instructor on retention outcomes, but no significant effect on transfer performance. A visible instructor also significantly enhanced social presence, affective, and motivational ratings. Furthermore, we found that a visible instructor significantly reduced dwell time on relevant visual material but also reduced subjective perception of extraneous cognitive load. Significant moderator effects could be found regarding prior knowledge, the instructional domain as well as the size of the instructor.

Meta-analyse: Hoe accuraat zijn self-assessments van leerlingen?

Self-assessment is een belangrijke vaardigheid voor leerlingen. Bij zelfregulatie is self-assessment bijvoorbeeld belangrijk: het is een noodzakelijke, maar niet voldoende voorwaarde om het eigen leerproces goed te kunnen reguleren. Als je niet in staat bent om goed in te schatten of je wat je bestudeert goed begrijpt, dan is het onwaarschijnlijk dat je verstandige keuzes maakt in het vervolg van het studeren. Oftewel, het is van belang dat de self-assessments van leerlingen en studenten accuraat zijn. In een onlangs verschenen meta-analyse analyseren León, Panadero en García‐Martínez het beschikbare onderzoek naar de accuraatheid van self-assessments. Bovendien onderzochten zij of de self-assessments samenhangen met de beoordelingen van experts. De resultaten van de meta-analyse laten zien dat overall leerlingen zichzelf overschatten bij het uitvoeren van self-assessments: ze zijn positiever over hun prestaties dan is gerechtvaardigd. Wel is het zo dat de self-assessments van leerlingen redelijk correleren met de beoordelingen van experts. Interessant aan de meta-analyse is dat deze ook inzicht geeft in welke factoren zorgen voor hogere accuraatheid van self-assessment. Dat is het geval wanneer leerlingen feedback ontvangen, meer domeinkennis hebben, meer ervaring hebben met self-assessment, wanneer de self-assessment een formatief doel heeft en wanneer leerlingen jonger zijn.

Het abstract

Developing the ability to self-assess is a crucial skill for students, as it impacts their academic performance and learning strategies, amongst other areas. Most existing research in this field has concentrated on the exploration of the students’ capacity to accurately assign a score to their work that closely mirrors an expert’s evaluation, typically a teacher’s. Though this process is commonly referred to as self-assessment, a more precise term would be self-assessment scoring accuracy. Our aim is to review what is the average accuracy and what moderators might influence this accuracy. Following PRISMA recommendations, we reviewed 160 articles, including data from 29,352 participants. We analysed 9 factors as possible moderators: (1) assessment criteria; (2) use of rubric; (3) self-assessment experience; (4) feedback; (5) content knowledge; (6) incentive; (7) formative assessment; (8) field of knowledge; and (9) educational level. The results showed an overall effect of students’ overestimation (g = 0.206) with an average relationship of z = 0.472 between students’ estimation and the expert’s measure. The overestimation diminishes when students receive feedback, possess greater self-assessment experience and content knowledge, when the assessment does not have formative purposes, and in younger students (primary and secondary education). Importantly, the studies analysed exhibited significant heterogeneity and lacked crucial methodological information.

Meta-analyse: Negatieve effecten van ongelijke behandeling en discriminatie door leerkrachten

Een recente meta-analyse onderzocht de samenhang tussen ongelijke behandeling en discriminatie door leerkrachten en het welbevinden en de leeruitkomsten van leerlingen. Ongelijke behandeling en discriminatie door leerkrachten kan verschillende vormen aannemen, maar in deze meta-analyse werd gekeken naar gevallen waarin leerlingen waarnemen dat hun leerkracht leerlingen ongelijk behandeld vanwege hun etnische achtergrond. Dit kan gaan om relatief onschuldig ogende gedragingen zoals microagressies maar ook om discriminerend gedrag. De auteurs konden aantonen dat ongelijke behandeling en discriminatie door leerkrachten negatief correleert met zowel het welbevinden als de leeruitkomsten van leerlingen. De resultaten lieten ook zien dat de etnische samenstelling van de leerlingpopulatie op school het effect van ongelijke behandeling en discriminatie modereert: bij scholen de populatie voor een groter gedeelte uit minderheidsleerlingen bestaat, is de samenhang tussen ongelijke behandeling en discriminatie en leerprestaties minder sterk. De auteurs suggereren dat dit betekent dat heterogene leerlingpopulaties een beschermende functie kunnen hebben tegen de negatieve effecten van ongelijke behandeling en discriminatie door leerkrachten.

Het abstract

Although research has overwhelmingly demonstrated the negative consequences of perceived racial–ethnic discrimination on children’s and youth’s well-being and academic outcomes, context- and perpetrator-specific discrimination experiences are rarely disaggregated. Racial–ethnic discrimination in the school environment is common, and the perpetrators are often teachers who may treat racial–ethnic minority students unfairly. This work used a three-level multilevel approach to meta-analytically synthesize existing evidence with the aim to (a) document the links between perceived teacher-based racial–ethnic discrimination (TBRED) and students’ psychological, behavioral, and physical well-being, substance use, grade point average and school motivation, and (b) to examine whether these associations differ by sample and study characteristics. Based on 68 studies and 259 effect size estimates, we found that perceived TBRED is linked to lower well-being (r = −.15, 95% confidence interval [CI] [−.18, −.12]), higher substance use (r = .13, 95% CI [.06, .20]), and lower academic performance (r = −.16, 95% CI [−.20, −.13]) with substantial heterogeneity across effect sizes. Similarly, TBRED had small-to-medium negative associations within each domain of well-being and academics. The results were partially moderated by school racial–ethnic composition, suggestive of a protective function of a higher concentration of racial–ethnic minority students. In addition, more reliable scales and a greater number of items measuring TBRED were associated with stronger negative correlations with well-being. These findings highlight the importance of increasing awareness around issues of racism and discrimination in initial teacher training and professional development. We encourage further exploration of effect size heterogeneity and call for research on TBRED outside the United States.

De kracht van de tomaat 🍅: Onderzoek naar de effecten van het nemen van systematische pauzes

Misschien heb je wel eens gehoord van de pomodorotechniek? Als je studeert of werkt aan een taak dan doe je dat volgens deze techniek in periodes van 25 minuten. Om de pomodorotechniek te gebruiken, heb je een timer, een to-do lijst en een manier om je voortgang bij te houden nodig. Dit zijn de stappen die je moet volgen:

1. Beslis aan welke taak je wilt werken. Het moet iets zijn dat je volledige aandacht vereist en kan worden opgedeeld in kleinere stappen.
2. Stel de timer in op 25 minuten en begin aan de taak te werken. Vermijd gedurende deze tijd onderbrekingen of afleidingen. Als er iets anders opkomt, schrijf het dan op en behandel het later.
3. Wanneer de timer gaat, stop dan met werken en markeer één pomodoro als voltooid. Noteer wat je hebt bereikt tijdens deze pauze.
4. Neem 5 minuten pauze en doe iets ontspannends, zoals stretchen, ademhalen of naar muziek luisteren. Kijk niet naar je e-mail of sociale media gedurende deze tijd.
5. Herhaal stap 2 tot 4 totdat je vier pomodoro’s op hebt. Neem dan een langere pauze van 15 tot 30 minuten en doe iets leukers, zoals lezen, een spelletje spelen of een wandeling maken.
6. Bekijk je werk en evalueer je prestaties. Hoeveel pomodoro’s heb je afgewerkt? Hoeveel vooruitgang boekte je met je taak? Hoe voelde je je tijdens het proces? Wat kan je de volgende keer verbeteren?

De pomodorotechniek is een systematische manier om je pauzes in te delen tijdens het studeren. In een recente studie uitgevoerd door onderzoekers van de Universiteit Maastricht werd onderzocht wat het effect is van het nemen van systematische pauzes versus het nemen zelfgereguleerde pauzes (je bepaalt zelf wanneer en hoe lang je pauze neemt) tijdens het studeren. In het onderzoek waren er twee manieren om systematische pauzes te nemen: lange periodes zoals in de pomodorotechniek en korte periodes (iedere zes minuten pauze). De resultaten laten zien dat in de zelfgereguleerde conditie studenten langere periodes studeren maar ook langere pauzes nemen. Het gevolg daarvan lijkt te zijn dat studenten in de zelfgereguleerde conditie meer vermoeid en afgeleid zijn en minder gemotiveerd en geconcentreerd zijn.

Het abstract

Background

During self-study, students need to monitor and regulate mental effort to replete working memory resources and optimize learning results. Taking breaks during self-study could be an effective effort regulation strategy. However, little is known about how breaktaking relates to self-regulated learning.

Aims

We investigated the effects of taking systematic or self-regulated breaks on mental effort, task experiences and task completion in real-life study sessions for 1 day.

Sample

Eighty-seven bachelor's and master's students from a Dutch University.

Methods

Students participated in an online intervention during their self-study. In the self-regulated-break condition (n = 35), students self-decided when to take a break; in the systematic break conditions, students took either a 6-min break after every 24-min study block (systematic-long or ‘Pomodoro technique’, n = 25) or a 3-min break after every 12-min study block (systematic-short, n = 27).

Results

Students had longer study sessions and breaks when self-regulating. This was associated with higher levels of fatigue and distractedness, and lower levels of concentration and motivation compared to those in the systematic conditions. We found no difference between groups in invested mental effort or task completion.

Conclusions

Taking pre-determined, systematic breaks during a study session had mood benefits and appeared to have efficiency benefits (i.e., similar task completion in shorter time) over taking self-regulated breaks. Measuring how mental effort dynamically fluctuates over time and how effort spent on the learning task differs from effort spent on regulating break-taking requires further research.

Meta-analyse bevestigt de relatie tussen autonomieondersteuning en leeruitkomsten

Een nieuwe meta-analyse onderzocht de relatie tussen autonomieondersteuning en leeruitkomsten. Wanneer er sprake is van autonomieondersteuning kunnen leerlingen keuzes maken in wat en hoe ze leren. De veronderstelling is dat wanneer leerlingen meer autonomieondersteuning ervaren dit een positief effect zal hebben op leeruitkomsten zoals motivatie en zelfregulatie. Een recente meta-analyse bekeek alle beschikbare onderzoek en concludeert op basis van 378 effect sizes in 153 studies dat er inderdaad een significante correlatie is tussen autonomieondersteuning en leeruitkomsten.

Het abstract

The current study provides a comprehensive meta-analysis of the relations between students’ perceived teacher and parent autonomy support and positive learning outcomes by synthesizing 378 effect sizes from 179 independent samples in 153 studies (N = 213,612). We identified six categories that broadly capture positive learning outcomes: autonomous motivation, student behavioral engagement, mastery goal, self-regulated learning, self-beliefs, and academic performance. The findings demonstrate the importance of autonomy support in education contexts. Using correlation coefficients as our effect size index, we found the estimated average effect size of .32, with wide between- and within-cluster heterogeneity. The effects of several moderators were examined. The type of learning outcomes and the agent of autonomy support were significant moderators. Gender distribution had a significant moderating effect for teacher autonomy support, when all other moderators were held constant. The higher the percentage of females in the sample, the lower the correlation between teacher autonomy support and learning outcomes. Autonomous motivation, student behavioral engagement, and self-beliefs yielded largest effect sizes in being predicted by autonomy support. Of all learning outcomes, academic performance had the weakest overall relationship with autonomy support. Meta-analytic path analyses suggested that this relationship was partially mediated by other learning outcomes such as autonomous motivation and student engagement. Taken together, these findings provide compelling evidence for the importance of teacher and parent autonomy support for promoting positive learning outcomes in diverse educational settings from elementary school through university.

Meta-analyse: Open Educational Resources (OER) hebben geen invloed op leerprestaties

Dankzij Marco Kalz kwam ik een nieuwe meta-analyse tegen over de impact van Open Educational Resources (OER) op leerprestaties. Dat zijn leermaterialen die gratis en vrij beschikbaar zijn voor (her)gebruik. OER kunnen verschillende vormen aannemen, zoals kennisclips, boeken, artikelen, weblectures, etc. Eén van de doel van OER is om de toegang tot kwaliteitsvol onderwijs te verbeteren en te bevorderen, en om de samenwerking en innovatie tussen docenten en leerlingen te stimuleren. De verwachting is daarnaast ook dat OER de leerprestaties zullen verbeteren. Deze nieuwe meta-analyse van Tlili et al. laat echter zien dat deze verwachting niet terecht is. De auteurs concluderen dat de impact van OER op leerprestaties verwaarloosbaar is.

Het abstract

While several studies have investigated the various effects of open educational resources (OER) and open educational practices (OEP), few have focused on its connection to learning achievement. The related scientific literature is divided about the effects of OER and OEP with regards to their contribution to learning achievement. To address this tension, a meta-analysis and research synthesis of 25 studies (N = 119,840 participants) was conducted to quantitatively investigate the effects of OER and OEP on students’ learning achievement. The analysis included course subject, level of education, intervention duration, sample size, geographical distribution, and research design as moderating variables of the obtained effects. The findings revealed that OER and OEP have a significant yet negligible (g = 0.07, p < 0.001) effect. Additionally, the analysis found that the obtained effect can be moderated by several variables, including course subject, level of education and geographical distribution. The study findings can help various stakeholders (e.g., educators, instructional designers or policy makers) in understanding what might hinder OER and OEP effect on learning achievement, hence accommodating better learning outcomes and more effective interventions.