Meta-analyse: Hoe accuraat zijn self-assessments van leerlingen?

Self-assessment is een belangrijke vaardigheid voor leerlingen. Bij zelfregulatie is self-assessment bijvoorbeeld belangrijk: het is een noodzakelijke, maar niet voldoende voorwaarde om het eigen leerproces goed te kunnen reguleren. Als je niet in staat bent om goed in te schatten of je wat je bestudeert goed begrijpt, dan is het onwaarschijnlijk dat je verstandige keuzes maakt in het vervolg van het studeren. Oftewel, het is van belang dat de self-assessments van leerlingen en studenten accuraat zijn. In een onlangs verschenen meta-analyse analyseren León, Panadero en García‐Martínez het beschikbare onderzoek naar de accuraatheid van self-assessments. Bovendien onderzochten zij of de self-assessments samenhangen met de beoordelingen van experts. De resultaten van de meta-analyse laten zien dat overall leerlingen zichzelf overschatten bij het uitvoeren van self-assessments: ze zijn positiever over hun prestaties dan is gerechtvaardigd. Wel is het zo dat de self-assessments van leerlingen redelijk correleren met de beoordelingen van experts. Interessant aan de meta-analyse is dat deze ook inzicht geeft in welke factoren zorgen voor hogere accuraatheid van self-assessment. Dat is het geval wanneer leerlingen feedback ontvangen, meer domeinkennis hebben, meer ervaring hebben met self-assessment, wanneer de self-assessment een formatief doel heeft en wanneer leerlingen jonger zijn.

Het abstract

Developing the ability to self-assess is a crucial skill for students, as it impacts their academic performance and learning strategies, amongst other areas. Most existing research in this field has concentrated on the exploration of the students’ capacity to accurately assign a score to their work that closely mirrors an expert’s evaluation, typically a teacher’s. Though this process is commonly referred to as self-assessment, a more precise term would be self-assessment scoring accuracy. Our aim is to review what is the average accuracy and what moderators might influence this accuracy. Following PRISMA recommendations, we reviewed 160 articles, including data from 29,352 participants. We analysed 9 factors as possible moderators: (1) assessment criteria; (2) use of rubric; (3) self-assessment experience; (4) feedback; (5) content knowledge; (6) incentive; (7) formative assessment; (8) field of knowledge; and (9) educational level. The results showed an overall effect of students’ overestimation (g = 0.206) with an average relationship of z = 0.472 between students’ estimation and the expert’s measure. The overestimation diminishes when students receive feedback, possess greater self-assessment experience and content knowledge, when the assessment does not have formative purposes, and in younger students (primary and secondary education). Importantly, the studies analysed exhibited significant heterogeneity and lacked crucial methodological information.

Nieuwe overzichtsstudie naar relatie tussen interventies, zelfregulerend gedrag en leerprestaties

Er wordt veel onderzoek verricht naar de effectiviteit van interventies die zich richten op het ondersteunen van studenten tijdens self-regulated learning (SRL). Deze interventies hebben vaak een positief effect op leerprestaties van studenten. De aanname is daarbij meestal dat deze positieve effecten komen doordat de gebruikte SLR-interventies zorgen in een verbetering in de zelfregulatie van studenten en dat deze verbetering op zijn beurt zorgt voor betere leerprestaties. In onderzoekstermen: de verwachting is dan dat zelfregulatie van studenten het effect van SRL-interventies op leerprestaties medieert. Deze verwachting is echter nog nooit onderzocht. Dit is precies wat mijn collega Renée Jansen, Anouschka van Leeuwen, Liesbeth Kester, Suzanne Jak en ikzelf onderzochten in een meta-analyse die onlangs is geaccepteerd in het tijdschrift Educational Research Review.

In dit onderzoek hebben we gepoogd studies waarin één de volgende vragen centraal stonden samen te vatten:

1. Studies naar de effecten van SRL-interventies op leerprestaties van studenten.
2. Studies naar de effecten van SRL-interventies op zelfregulerend gedrag van studenten.
3. Studies naar de relatie tussen zelfregulerend gedrag en leerprestaties.

Figuur 1: Wordt het effect van SRL-interventies of leerprestaties gemedieerd door zelfregulerend gedrag?

In totaal konden we 142 studies (gepubliceerd in 126 artikelen) includeren in onze meta-analyse. Daarbij hebben we gebruik gemaakt van meta-analytic structural equation modelling (MASEM) om de veronderstelde mediatie te onderzoeken.

Figuur 2: Resultaten MASEM-analyse.

Hier zie je onze belangrijkste resultaten. Hoewel SRL-interventies effectief zijn in het verbeteren van leerprestaties (β = .18) én het verbeteren van zelfregulerend gedrag (β = .22) en hoewel zelfregulerend gedrag positief samenhangt met leerprestaties (β = .22), is het indirecte effect (van SRL-interventies op leerprestaties via zelfregulerend gedrag) klein (β = .05). Dit betekent dat de effecten van SRL-interventies op leerprestaties door andere factoren wordt veroorzaakt dan door zelfregulerend gedrag. 

We speculeren in het artikel dat dit bijvoorbeeld kan worden veroorzaakt door tijd die wordt besteed aan de leertaak: door de SRL-interventies gaan studenten mogelijk meer tijd besteden aan de leertaak waardoor zij beter gaan presteren zonder veranderingen in hun zelfregulerend gedrag. Een andere mogelijke verklaring is dat SRL-interventies niet alleen ingrijpen op het zelfregulerend gedrag van studenten maar ook op hun cognitieve activiteiten. Door in een SRL-interventie bijvoorbeeld studenten te stimuleren hun leerproces te monitoren, krijgen studenten mogelijk een beter inzicht in welke cognitieve strategieën hun leerproces stimuleren dan wel hinderen. Mogelijk gaan deze studenten zich dan concentreren op het inzetten op effectieve cognitieve strategieën.

Na het uitvoeren van de MASEM analyse hebben we drie afzonderlijke meta-analyses uitgevoerd. De resultaten daarvan zie je hieronder. We vonden een significant effect van SRL-interventies op leerprestaties, van SRL-interventies op zelfregulerend gedrag en een significante samenhang tussen zelfregulerend gedrag en leerprestaties. Als je deze effect groottes vergelijkt met de effect groottes in de overzichtsstudie van Schneider en Preckel, dan zijn deze effect groottes gemiddeld te noemen. Op basis van onze resultaten concluderen we dat het aanbieden van interventies die studenten ondersteunen in het ontwikkelen in hun zelfregulatievaardigheden zinvol is.

Figuur 3: Resultaten van afzonderlijke meta-analyses.

Referentie

Jansen, R. S., Van Leeuwen, A., Janssen, J., Jak, S. & Kester, L. (in press). Self-Regulated Learning Partially Mediates the Effect of Self-Regulated Learning Interventions on Achievement in Higher Education: a Meta-Analysis. Educational Research Review. doi:10.1016/j.edurev.2019.100292

Abstract

It is often assumed that interventions aimed at supporting students’ self-regulated learning (SRL) are effective for improving achievement because these interventions support SRL activity. In this study, meta-analytic structural equation modeling (MASEM) was used to test whether SRL activity indeed mediates the effect of SRL interventions on achievement in higher education. Contrary to popular belief, the results only provide evidence for partial mediation. Furthermore, three separate meta-analyses were performed to investigate the role of possible moderators of the relations between: (1) SRL interventions and achievement, (2) SRL interventions and SRL activity, and (3) SRL activity and achievement. Although SRL interventions were effective in improving SRL activity and achievement, most of the study, measurement, and intervention moderators did not explain significant variance of the investigated effect sizes. Other factors, such as task motivation and time on task, potentially influence the effectiveness of SRL interventions. Practical, theoretical and methodological implications are provided.