Week 50 op het onderwijswetenschappen blog: Meer mindset, retrieval practice, actief leren en meer

Weer een week voorbij. Wat kwam er allemaal voorbij op het onderwijswetenschappen blog?

1. Maandag: De negatieve impact van een discriminerend schoolklimaat.
2. Dinsdag: Explore your brain: Effect van een nieuwe mindsetinterventie.
3. Woensdag: Waarom studenten (niet) kiezen voor retrieval practice.
4. Donderdag: Meta-analyse: effecten van Universal Design for Learning.
5. Vrijdag: Actief leren ook effectief in geestes- en sociale wetenschappen.
6. Zaterdag: Gescheiden onderwijs vergoot verschillen tussen jongens en meisjes?

Explore your brain: Effect van een nieuwe mindsetinterventie

Leerlingen met een groeimindset geloven dat hun kwaliteiten en mogelijkheden niet vaststaan, maar dat deze kunnen verbeteren door bijvoorbeeld oefening en inzet. Over de effecten van mindsetinterventies bestaat nog onduidelijkheid: in sommige studies worden grote effecten gevonden in andere kleinere effecten. Een nieuwe studie van de Vrije Universiteit vindt vrije grote effecten van een nieuw ontwikkelde mindsetinterventie die is uitgetest in 10 klassen in het voortgezet onderwijs. Om de interventie krachtiger te maken dan voorgaande interventies hebben de auteurs aan de interventie een psychofysiologische component toegevoegd: door middel van neurofeedback aan de hand van EEG ervoeren leerlingen de plasticiteit van het brein. De uitkomsten van de uitgevoerde randomized controled trail laten zien dat, één jaar na afloop van de interventie, de interventie een positief effect had op wiskundecijfers.

Het abstract

Background: Although past research demonstrated growth mindset interventions to improve school outcomes, effects were small. This may be due to the theoretical nature of psychosocial techniques (e.g., reading about brain plasticity), which may not be optimally convincing for students.

Aims: To address this issue and improve effectiveness, we developed a growth mindset intervention, which combined psychosocial and psychophysiological components. The latter adds a convincing experience of influencing one's own brain activity, using mobile electroencephalography (EEG) neurofeedback, emphasizing the controllable and malleable nature of one's brain.

Sample: In this randomized controlled trial (RCT), twenty high-school classes (N = 439) were randomized to either the active control condition (no mindset messaging) or our newly developed growth mindset intervention condition (4 × 50 min).

Methods: School outcomes (pre, post, 1-year follow-up) were analysed with Linear Mixed Models (LMM: variable-oriented) and Latent Transition Analysis (LTA: person-oriented).

Results: LMM: students in the growth mindset interven- tion reported increased growth mindset directly after the intervention (post, d = .38) and at 1-year follow-up (d = .25) and demonstrated a protective effect against deterioration of math grades at 1-year follow-up (d = .36), compared to controls. LTA: we identified three mindset profiles (Fixed, Growth competitive, Growth non-competitive), with more

frequent transitions from fixed to one of the growth mindset profiles at 1-year follow-up for students in the growth mind- set intervention compared to controls (OR 2.58–2.68). Conclusions: Compared to previous studies, we found relatively large effects of our intervention on growth mind- set and math grades, which may be attributable to synergetic effects of psychosocial and psychophysiological (neurofeed- back) components. The person-oriented approach demon- strated more holistic effects, involving multiple motivational constructs.

Make up your mind: Tweede meta-analyse laat sterker effect mindset interventies zien

Nog maar kort geleden verscheen er in Psychological Bulletin een meta-analyse over de effecten van mindset interventies op leerprestaties. Deze meta-analyse vond een klein effect van zulke interventies op leerprestaties en liet zien dat de gerapporteerde effecten groter waren wanneer auteurs zelf betrokken waren bij mindset interventies. 

Nu is er vrijwel gelijktijdig een tweede meta-analyse verschenen in hetzelfde tijdschrift. Opvallend is dat de onderzoekers onder leiding van Jeni Burnette wel een positief effect van mindset interventies rapporteren.

Het abstract

As growth mindset interventions increase in scope and popularity, scientists and policymakers are asking: Are these interventions effective? To answer this question properly, the field needs to understand the meaningful heterogeneity in effects. In the present systematic review and meta-analysis, we focused on two key moderators with adequate data to test: Subsamples expected to benefit most and implementation fidelity. We also specified a process model that can be generative for theory. We included articles published between 2002 (first mindset intervention) through the end of 2020 that reported an effect for a growth mindset intervention, used a randomized design, and featured at least one of the qualifying outcomes. Our search yielded 53 independent samples testing distinct interventions. We reported cumulative effect sizes for multiple outcomes (i.e., mindsets, motivation, behavior, end results), with a focus on three primary end results (i.e., improved academic achievement, mental health, or social functioning). Multilevel metaregression analyses with targeted subsamples and high fidelity for academic achievement yielded, d = 0.14, 95% CI [.06, .22]; for mental health, d = 0.32, 95% CI [.10, .54]. Results highlighted the extensive variation in effects to be expected from future interventions. Namely, 95% prediction intervals for focal effects ranged from −0.08 to 0.35 for academic achievement and from 0.07 to 0.57 for mental health. The literature is too nascent for moderators for social functioning, but average effects are d = 0.36, 95% CI [.03, .68], 95% PI [−.50, 1.22]. We conclude with a discussion of heterogeneity and the limitations of meta-analyses.

Hoe zijn deze verschillen te verklaren? Op het eerste gezicht maken deze meta-analyses andere keuzes: de meta-analyse van Burnette et al. heeft bijvoorbeeld minder studies geïncludeerd dan de studie van Macnamara en Burgoygne. Bovendien onderzoekt de meta-analyse van Burnette et al. niet alleen de effecten van mindset interventies op leerprestaties, maar bijvoorbeeld ook op mentaal welbevinden. Deze tweede meta-analyse kijkt dus breder naar de effecten van mindset interventies dan cognitieve leeruitkomsten. Nadere lezing van beide artikelen zal ongetwijfeld nog meer technische verschillen tussen beide meta-analyses aan het licht brengen. Dat is wellicht voor een andere blogpost. Voor nu is het in ieder geval interessant om te zien dat hoewel deze meta-analyse ook een bescheiden effect van mindset interventies op leerprestaties vindt, er wel een behoorlijk effect op mentaal welbevinden wordt gevonden in deze meta-analyse.

Meta-analyse heeft forse kritiek op studies naar mindsetinterventies

Volgens de mindset-theorie presteren leerlingen die een groeimindset hebben beter dan leerlingen met een fixed mindset. Leerlingen met een groeimindset geloven dat hun kwaliteiten en mogelijkheden niet vaststaan, maar dat deze kunnen verbeteren door bijvoorbeeld oefening en inzet. Deze theorie heeft geleid tot interventies voor het onderwijs waar van dit principe gebruik wordt gemaakt. 

In Psychological Bulletin is onlangs een zeer kritische meta-analyse verschenen waarin de effecten van dit soort interventies zijn onderzocht. Deze meta-analyse van Macnamara en Burgoyne laat ziet dat het effect van dit soort interventies op leeruitkomsten weliswaar op het eerste gezicht significant is, maar ook zeer klein (d = 0.05). Bovendien bleek er met de methodologische kwaliteit van de studies ook van alles aan de hand. Wanneer enkel de studies van de hoogste kwaliteit geanalyseerd worden blijkt het gevonden effect nog kleiner en niet-significant. Opvallend én zorgwekkend is ook dat de auteurs constateren dat wanneer de betrokken onderzoekers een financieel belang hebben bij het rapporteren van positieve bevindingen er ook positievere resultaten gevonden worden. 

Het abstract van de studie:

According to mindset theory, students who believe their personal characteristics can change—that is, those who hold a growth mindset—will achieve more than students who believe their characteristics are fixed. Proponents of the theory have developed interventions to influence students’ mindsets, claiming that these interventions lead to large gains in academic achievement. Despite their popularity, the evidence for growth mindset intervention benefits has not been systematically evaluated considering both the quantity and quality of the evidence. Here, we provide such a review by (a) evaluating empirical studies’ adherence to a set of best practices essential for drawing causal conclusions and (b) conducting three meta-analyses. When examining all studies (63 studies, N = 97,672), we found major shortcomings in study design, analysis, and reporting, and suggestions of researcher and publication bias: Authors with a financial incentive to report positive findings published significantly larger effects than authors without this incentive. Across all studies, we observed a small overall effect: d¯ = 0.05, 95% CI = [0.02, 0.09], which was nonsignificant after correcting for potential publication bias. No theoretically meaningful moderators were significant. When examining only studies demonstrating the intervention influenced students’ mindsets as intended (13 studies, N = 18,355), the effect was nonsignificant: d¯ = 0.04, 95% CI = [−0.01, 0.10]. When examining the highest-quality evidence (6 studies, N = 13,571), the effect was nonsignificant: d¯ = 0.02, 95% CI = [−0.06, 0.10]. We conclude that apparent effects of growth mindset interventions on academic achievement are likely attributable to inadequate study design, reporting flaws, and bias.

Nieuw onderzoek naar de relatie tussen mindset en wiskundeprestaties

Over growth mindset is vast nog niet het laatste woord gezegd of geschreven. Casper schreef eerder al eens een post op deze blog over Carol Dweck’s theorie en op researchED gaf hij een kritische bespreking van de theorie en het effect van growth mindset en growth mindset interventies op leerprestaties van leerlingen.

In een recent verschenen studie in Contemporary Educational Psychology onderzochten Keiko Bostwick, Andrew Martin, Rebecca Collie en Tracy Durksen in een cross-sectionele studie de samenhang tussen een growth orientation en betrokkenheid van leerlingen bij wiskundeonderwijs en hun wiskundeprestaties.

Growth orientation is volgens de auteurs samengesteld uit growth mindset, self-based growth goals (je stelt jezelf als doel om zelf te verbeteren), en task-based growth goal (je stelt jezelf als doel om beter te worden in bepaalde taken aan de hand van specifieke criteria). 

In hun flinke steekproef (N=2949) vonden de auteurs een positieve samenhang tussen growth orientation van leerlingen en toenames van betrokkenheid bij het wiskundeonderwijs en hun wiskundeprestaties. 

Uit het abstract:

Academic growth constructs, such as growth mindset and various forms of growth goals, have been of substantial focus in psycho-educational research. Recent research has sought to identify how such growth constructs are inter-related, finding that an underlying growth orientation (comprised of growth mindset, self-based growth goals, and task-based growth goals) was cross-sectionally associated with more positive outcomes for students. However, for such a construct to have meaningful relevance to education and educational research, it must be associated with actual growth in academic outcomes. Accordingly, using two-wave longitudinal structural equation modeling in a large sample of Australian middle and high school students (N = 2949), we examined the extent to which students’ growth orientation predicted growth in academic outcomes. We hypothesized that students’ growth orientation would be positively associated with gains in students’ mathematics engagement and achievement, while controlling for student demographic covariates (e.g., gender, age) and prior variance in each substantive factor measured one year prior. Results demonstrated that students' growth orientation in mathematics was a significant positive predictor of students' gains in mathematics engagement and achievement, above other sources of influence. Findings are discussed in terms of improving researchers’ understanding of how growth constructs are inter-related and how to promote students’ academic success in mathematics.

Zoals de auteurs zelf aangeven in hun discussie kent hun studie ook enkele beperkingen. Allereerst leunen de auteurs op zelfrapportage voor het meten van growth orientations en betrokkenheid. Ook de manier waarop growth mindset, self-based growth goals en  task-based growth goals gemeten worden met telkens één item heeft beperkingen voor de validiteit van die metingen.

Bostwick, K. C. P., Bostwick, A. J., Collie, R. J., & Durksen, J. R. (2019). Growth orientation predicts gains in middle and high school students’ mathematics outcomes over time. Contemporary Educational Psychology, 58, 213-227.