Meta-analyse laat zien: wereldwijd substantiële leerachterstanden door schoolsluitingen

Dat de schoolsluitingen tijdens de coronacrisis een grote negatieve impact hebben gehad op leerlingen is al uitgebreid gedocumenteerd. Nu is er onlangs een meta-analyse verschenen in Nature Human Behavior die het wereldwijde onderzoek naar de effecten van de schoolsluitingen samenvat. Deze meta-analyse laat zien dat de effecten van de schoolsluitingen een forse negatieve impact hebben gehad op de leerprestaties (d = -0.14). Dat komt volgens de auteurs neer op een leerachterstand van gemiddeld 14 weken.

De auteurs concluderen ook dat de leerachterstanden al vroeg tijdens de pandemie zijn ontstaan en nog nauwelijks kleiner zijn geworden. Bovendien laten de resultaten zien dat de schoolsluitingen verschillen tussen leerlingen vergroot hebben: kinderen met een lage SES hebben grotere leerachterstanden. Tenslotte blijken de achterstand groter te zijn voor rekenen-wiskunde dan voor lezen en spelling. Als laatste kraken de auteurs ook enkele harde noten over de kwaliteit van sommige studies: een deel van de gevonden studies was van dusdanig lage kwaliteit dat deze niet meegenomen kon worden in de meta-analyse.

Het abstract

To what extent has the learning progress of school-aged children slowed down during the COVID-19 pandemic? A growing number of studies address this question, but findings vary depending on context. Here we conduct a pre-registered systematic review, quality appraisal and meta-analysis of 42 studies across 15 countries to assess the magnitude of learning deficits during the pandemic. We find a substantial overall learning deficit (Cohen’s d = −0.14, 95% confidence interval −0.17 to −0.10), which arose early in the pandemic and persists over time. Learning deficits are particularly large among children from low socio-economic backgrounds. They are also larger in maths than in reading and in middle-income countries relative to high-income countries. There is a lack of evidence on learning progress during the pandemic in low-income countries. Future research should address this evidence gap and avoid the common risks of bias that we identify.

Meta-analyse: De samenhang tussen persoonlijkheidskenmerken en leerprestaties verschilt per domein

De ijverige, nauwkeurig werkende leerling haalt goede cijfers; de drukke, gezellige leerling haalt minder goede cijfers. Dit soort ideeën lijken vooroordelen, maar onderzoek naar de relatie tussen persoonskenmerken en leerprestaties is voor een deel in lijn met deze ideeën. Een nieuwe meta-analyse in Educational Psychology Review onderzocht de relatie tussen persoonskenmerken (volgens de bekende Big Five) en leerprestaties en keek daarbij onder andere ook naar verschillen tussen domeinen (taal vs. STEM). Deze overzichtsstudie laat zien dat persoonlijkheidskenmerken inderdaad samenhangen met leerprestaties, maar dat de mate waarin en de richting van de samenhang per domein kan verschillen. Het kenmerk openheid blijkt bijvoorbeeld een sterkere voorspeller voor leerprestaties in het taal- dan in het STEM-domein. Hetzelfde geldt voor extraversie en vriendelijkheid. Neuroticisms blijkt dan weer een sterkere negatieve samenhang met leerprestaties in het STEM-domein dan in het taaldomein te hebben. Consciëntieusheid blijkt zowel voor het taal- en het STEM-domein leerprestaties te voorspellen.

Het abstract

Students’ academic achievement is a central predictor of a long list of important educational outcomes, such as access to higher education and socioeconomic success. Prior studies have extensively focused on identifying variables that are related to academic achievement and an important variable in this context appears to be students’ personality. Notably, although findings from more recent studies suggested that the association between student achievement and personality varies by the subject domain (language vs. STEM) and the type of achievement measure (grades vs. test scores), systematic meta-analytical evidence is still lacking. To address this gap in the educational research literature, we conducted a meta-analysis based on 78 studies, with 1491 effect sizes representing data from 500,218 students and 110 samples from elementary to high school. We used a random-effects model with robust variance estimation to calculate mean effect sizes and standard deviations. We found moderating effects of measure or domain for all five personality traits, with differences in the direction of the effects. Our results highlight the importance of the domain and measure when examining how personality traits relate to academic achievement in school. The combination of subject domain and achievement was also found to be relevant for some of the traits. These findings emphasize that subject domains and types of achievement measures should be explicitly considered when investigating the personality saturation of student achievement. We discuss implications for future research, highlighting that there is no “best” or “more objective” achievement measure but, instead, that achievement measures should be chosen based on the research question of interest.

Nieuwe meta-analyse toont de effectiviteit van worked examples

Een worked example is een beschrijving die je stap-voor-stap uitlegt hoe je een bepaald probleem oplost. In veel gevallen blijken worked examples effectiever te zijn voor bijvoorbeeld het ontwikkelen van reken- en wiskundevaardigheden dan probleem oplossen. In een nieuwe meta-analyse die gaat verschijnen in Educational Psychology Review wordt bekeken wat de effectiviteit is van worked examples in 55 studies. Interessant is dat veel van de geïncludeerde studies zijn uitgevoerd in het reguliere onderwijs en dus geen labstudies zijn. De resultaten van de meta-analyse laten zien dat worked examples effectief zijn (g = 0.48). Verdere analyses lieten zien dat het bestuderen van correcte worked examples effectiever is dan het bestuderen van incorrecte worked examples. Opvallend is dat in deze meta-analyse de effectiviteit van worked examples sterk terugloopt als leerlingen gevraagd wordt om zichzelf uitleg te geven bij het bestuderen van worked examples. De auteurs vermoeden dat dit misschien te maken heeft met de kwaliteit van de uitleg die leerlingen aan zichzelf geven: als de uitleg niet van voldoende kwaliteit is of incorrect is, heeft dit misschien een nadelig effect.

Het abstract

The current meta-analysis quantifies the average effect of worked examples on mathematics performance from elementary grades to postsecondary settings and to assess what moderates this effect. Though thousands of worked examples studies have been conducted to date, a corresponding meta-analysis has yet to be published. Exclusionary coding was conducted on 8033 abstracts from published and grey literature to yield a sample of high quality experimental and quasi-experimental work. This search yielded 43 articles reporting on 55 studies and 181 effect sizes. Using robust variance estimation (RVE) to account for clustered effect sizes, the average effect size of worked examples on mathematics performance outcomes was medium with g = 0.48 and p = 0.01. Moderators assessed included example type (correct vs. incorrect examples alone or in combination with correct examples), pairing with self-explanation prompts, and timing of administration (i.e., practice vs. skill acquisition). The inclusion of self-explanation prompts significantly moderated the effect of examples yielding a negative effect in comparison to worked examples conditions that did not include self-explanation prompts. Worked examples studies that used correct examples alone yielded larger effect sizes than those that used incorrect examples alone or correct examples in combination with incorrect examples. The worked examples effect yields a medium effect on mathematics outcomes whether used for practice or initial skill acquisition. Correct examples are particularly beneficial for learning overall, and pairing examples with self-explanation prompts may not be a fruitful design modification. Theoretical and practical implications are discussed.

Gelukkige leraren hebben goed presterende leerlingen?

Een paar dagen geleden concludeerde een studie dat tevreden leraren goede leraren zijn. Een nieuwe studie zou je kunnen samenvatten met de conclusie: gelukkige leraren hebben goed presterende leerlingen. Deze studie van Granziera, Martin en Collie onderzocht het welbevinden van bijna 500 Australische leerkrachten en hoe het welbevinden van leerkrachten samenhangt met leerprestaties van leerlingen. De resultaten laten zien dat de mate waarin leerkrachten uitputting ervaren negatief samenhangt met leerprestaties.

Het abstract

The present study examined the associations between school-average teacher well-being (emotional exhaustion and behavioral engagement) and school-average student achievement (literacy and numeracy) among a sample of 486 teachers in 39 elementary schools. Multilevel structural equation modelling was used to assess a two-level model, with teachers at level 1 (L1) and schools at level 2 (L2). Results revealed a significant negative association between school-level emotional exhaustion and school-level academic achievement, such that schools with higher levels of emotional exhaustion among teachers were also lower in school-average student achievement. School-level behavioral engagement among teachers was not significantly associated with school-level student achievement; however, the effect size was large highlighting the need for additional research with greater power at L2 (school-level) to examine this further. These findings hold important implications for the way in which emotional exhaustion is addressed among staff at a whole-school level and extends prior knowledge of the role teachers play in school-level academic achievement.

Effecten van grade skipping: positief maar niet robuust?

Sommige kinderen kunnen op school buitengewoon goed meekomen. Bij deze leerlingen wordt er soms voor gekozen om te versnellen: ze slaan dan een klas over. Toch roept het overslaan van een klas wel eens vragen op: Hoe presteren deze kinderen later in hun schoolcarrière? En wat is de impact van het overslaan van een klas (grade skipping) op de emotionele ontwikkeling van deze kinderen? Een recente studie in European Journal of Psychology of Education reviewt de meer recente onderzoeksliteratuur naar de effecten van grade skipping. Het vertrekpunt van deze review is gebaseerd op stevige kritiek op het oudere onderzoek naar de effecten van grade skipping: dit zou methodologisch zwak zijn. Hoewel in het oudere onderzoek de effecten van grade skipping op leerprestaties en emotionele ontwikkeling vaak positief of neutraal zijn, is de vraag wel hoe robuust deze resultaten zijn. Hoe is dat in de meer recente onderzoeksliteratuur? Deze studie van Miravete concludeert dat de bevindingen van recente studies naar de effecten van grade skipping robuuster zijn. Hoewel er geen gecontroleerde experimenten naar grade skipping zijn uitgevoerd, zijn de recente studies wel robuuster omdat er voor meer mogelijke beïnvloedende variabelen is gecontroleerd (bv. leeftijd van de leerlingen, prestatieniveau van de leerlingen). De resultaten zijn ook consistent: in de meeste studies wordt er een positief effect van grade skipping gevonden. Toch concludeert Miravete dat het verstandig is om niet altijd van een positief effect van grade skipping uit te gaan: hoewel de kwaliteit van het onderzoek naar grade skipping vooruit is gegaan, zijn er nog steeds wel methodologische kanttekingen bij het onderzoek te plaatsen. Er is bijvoorbeeld nog steeds geen randomized controlled trial naar de effecten van grade skipping uitgevoerd.

Het abstract

Since 2004, many researchers have considered that grade skipping has a positive impact on academic achievement and is not detrimental to psychosocial development. However, some recent works have called this evidence into question. Therefore, this literature review aims to verify the consistency and robustness of historical and recent results. This review concludes that: (a) on a global level, recent results are more robust (confounding factors are better controlled) and confirm previous results, but many other controls of confounding factors would need to be made; and (b) professionals may continue to recommend grade skipping, but they must remain cautious. Finally, it is still premature to argue that grade skipping has a definite positive impact, even if the results are encouraging and may at least invite teachers to consider grade skipping as a possible solution.

Hoe beïnvloeden etnische diversiteit en attitudes van leerlingen het sociaal klimaat in de klas?

In een recent onderzoek van Utrechtse collega’s Lian van Vemde, Jochem Thijs en Lisette Hornstra werd onderzocht hoe de ethnische samenstelling van de klas en de ethnische attitudes van de leerlingen zijn geassocieerd met de ervaringen van de leerlingen met de sociale omgeving van de klas (classroom social environment, CSE). Hun onderzoek was gericht op leerlingen in het voortgezet onderwijs en aan het onderzoek deden 25 klassen mee. De leerlingen vulden vragenlijsten in over hun ervaringen met hun klasgenoten en de sfeer in de klas, en de onderzoekers maten ook de ethnische attitudes van de leerlingen op twee manieren: expliciet (door middel van vragenlijsten) en impliciet (met behulp van de IAT, een test die onbewuste voorkeuren meet).  Dit onderzoek laat zien dat de ethnische samenstelling van de klas en de ethnische attitudes van de leerlingen van invloed zijn op de ervaringen van de leerlingen met de sociale omgeving van de klas. 

Het abstract

The ethnic classroom composition and classmates’ ethnic attitudes can affect how students experience their classroom social environment (CSE). Following the imbalance of power thesis and prior research on ethnic attitudes, this cross-sectional study examined if ethnic classroom composition (i.e., proportion of in-group and Herfindahl Index) and classmates’ explicitly and implicitly measured ethnic attitudes predicted secondary school students’ (Mage = 13.31 years; 58.1% female) classroom belonging, popularity and likability, classroom cohesion and conflict in mixed classes in the Netherlands. Differences between non-ethnic Dutch (n = 248) versus ethnic Dutch students (n = 141) were examined as well. Ethnic Dutch students report an overall more negative CSE than their non-ethnic Dutch classmates. Multilevel analyses indicated that a higher proportion of in-group peers affected non-ethnic Dutch students’ popularity and likability negatively. Moreover, classmates’ explicitly measured ethnic attitudes were predictive of student popularity while classmates’ implicitly measured ethnic attitudes were predictive of student likability. Finally, classmates implicitly measured ethnic attitudes moderated the effect of proportion in-group peers on students’ shared experience of classroom belonging. These results show that promoting classroom diversity is not enough to create a positive CSE for all students. Classmates’ ethnic attitudes are also important to consider.

Tevreden leraren zijn goede leraren

Een nieuwe studie in British Educational Research Journal gebruikt data uit het Teaching and Learning International Survey (TALIS) om de relatie tussen werktevredenheid van leraren en kwaliteit van lesgeven te onderzoeken. Deze studie gebruikte data van leraren uit vier Aziatische (Japan, Zuid-Korea, Taipei en Shanghai) en vijf Engelssprekende regio’s (Canada, Australië, Nieuw-Zeeland en Verenigd Koninkrijk). Naast de werktevredenheid en kwaliteit van lesgeven maakten de onderzoekers ook gebruik van vragenlijstitems die de kwaliteit van de leraar-leerling relatie meten. De uitkomsten laten zien dat de tevredenheid van leraren samenhangt met kwaliteit van lesgeven. Het onderzoek liet daarnaast zien dat deze relatie gedeeltelijk gemedieerd wordt door de kwaliteit van de leraar-leerling relatie. Oftewel: leraren die tevredener zijn met hun werk hebben positievere leraar-leerling relaties en dat verklaart deels de hogere kwaliteit van lesgeven van deze leraren.

Het abstract

Instructional quality is associated with better academic outcomes for students. This study aimed to investigate how teachers' job satisfaction was associated with clarity of instruction and cognitive activation as measures of instructional quality. In addition, we investigated whether this association between teachers' job satisfaction and instructional quality was mediated by teacher–student relationships. Drawing on the 2018 Teaching and Learning International Survey (TALIS), we compared participants from both Eastern (N = 27,106; Japan, Taipei, Korea, Shanghai) and Western sociocultural contexts (N = 20,209; Canada, Australia, New Zealand, United States, United Kingdom). Multilevel structural equation modelling results indicated that teachers' job satisfaction was positively associated with instructional quality across Eastern and Western settings. The relationship between teachers' job satisfaction and instructional quality was partially mediated by better student–teacher relationships. There were some differences between the cultural settings in how job satisfaction correlated with clarity of instruction and cognitive activation. We suggest that these differences may be accounted for by cultural characteristics leading to different approaches to teaching. Our results suggest that teachers' job satisfaction and the quality of classroom-level relationships may be important indicators of positive instructional outcomes. While schools focus on student outcomes, they should also address teachers' job satisfaction and prioritise the importance of relationships between teachers and students in classrooms.

Wie voelt zich thuis op de universiteit en is dat van belang?

Je thuisvoelen op de universiteit is belangrijk. Studenten die zich thuisvoelen op hun universiteit doordat ze zich bijvoorbeeld verbonden voelen met medestudenten of met hun opleiding, zijn succesvoller dan de studenten die dat gevoel niet hebben. Toch is je thuisvoelen op de universiteit niet voor alle studenten vanzelfsprekend. Een nieuwe studie in Group Processes and Intergroup Relations onderzocht of kenmerken van studenten (bv. of de student een migratieachtergrond heeft of eerstegeneratiestudent is) samenhangen met het thuisvoelen van studenten en of dit thuisvoelen voorspellend is voor het welbevinden van studenten en de kans dat ze uitvallen tijdens hun studie. De resultaten van deze studie laten zien migratieachtergrond en opleidingsniveau van ouders samenhangen met het thuisvoelen van studenten. Thuisvoelen van studenten hangt bovendien samen met welbevinden van studenten en dropout. Bij studenten met een niet-westerse migratieachtergrond bleken processen van uitsluiting bovendien voorspellend te zijn voor een verminderd thuisgevoel. De resultaten van deze studie onderstrepen wederom het belang dat studenten zich thuisvoelen op de universiteit en dat dit niet vanzelfsprekend is voor alle studenten.

Het abstract

Minority students’ belongingness on campus has become an emergent topic in psychological research. Past research has particularly focused on belonging uncertainty as a potential explanation for impaired belongingness in minority students. While this represents an important perspective, we argue that students of certain minority groups may also be more likely to be confronted with actual ostracism experiences on campus. Using structural equation modelling, we investigated associations between minority status, ostracism, and belongingness in an aggregated sample derived from two longitudinal survey studies (n = 973 students) with two time points (beginning of the first and of the second semester) at a German university. We show that student characteristics that are likely more visible (migration background with family ties to the Middle East, Africa, Southeast Asia, or Latin America) are linked to impaired belongingness both directly as well as indirectly through experiences of ostracism. In contrast, student characteristics that are less visible (such as parental education level) are directly associated with impaired belongingness but not with experiences of ostracism. Furthermore, we found that a migration background from the aforementioned regions indirectly predicted students’ well-being, dropout intentions, and actual dropout via the experience of ostracism and subsequent impaired belongingness. For parental education level, we only found indirect effects on students’ well-being via impaired belongingness. Our findings suggest that in addition to the existing focus on belonging uncertainty, there is a need to focus psychological research and educational practice on ostracism experiences that ethnic minority students face at university.