Make up your mind: Tweede meta-analyse laat sterker effect mindset interventies zien

Nog maar kort geleden verscheen er in Psychological Bulletin een meta-analyse over de effecten van mindset interventies op leerprestaties. Deze meta-analyse vond een klein effect van zulke interventies op leerprestaties en liet zien dat de gerapporteerde effecten groter waren wanneer auteurs zelf betrokken waren bij mindset interventies. 

Nu is er vrijwel gelijktijdig een tweede meta-analyse verschenen in hetzelfde tijdschrift. Opvallend is dat de onderzoekers onder leiding van Jeni Burnette wel een positief effect van mindset interventies rapporteren.

Het abstract

As growth mindset interventions increase in scope and popularity, scientists and policymakers are asking: Are these interventions effective? To answer this question properly, the field needs to understand the meaningful heterogeneity in effects. In the present systematic review and meta-analysis, we focused on two key moderators with adequate data to test: Subsamples expected to benefit most and implementation fidelity. We also specified a process model that can be generative for theory. We included articles published between 2002 (first mindset intervention) through the end of 2020 that reported an effect for a growth mindset intervention, used a randomized design, and featured at least one of the qualifying outcomes. Our search yielded 53 independent samples testing distinct interventions. We reported cumulative effect sizes for multiple outcomes (i.e., mindsets, motivation, behavior, end results), with a focus on three primary end results (i.e., improved academic achievement, mental health, or social functioning). Multilevel metaregression analyses with targeted subsamples and high fidelity for academic achievement yielded, d = 0.14, 95% CI [.06, .22]; for mental health, d = 0.32, 95% CI [.10, .54]. Results highlighted the extensive variation in effects to be expected from future interventions. Namely, 95% prediction intervals for focal effects ranged from −0.08 to 0.35 for academic achievement and from 0.07 to 0.57 for mental health. The literature is too nascent for moderators for social functioning, but average effects are d = 0.36, 95% CI [.03, .68], 95% PI [−.50, 1.22]. We conclude with a discussion of heterogeneity and the limitations of meta-analyses.

Hoe zijn deze verschillen te verklaren? Op het eerste gezicht maken deze meta-analyses andere keuzes: de meta-analyse van Burnette et al. heeft bijvoorbeeld minder studies geïncludeerd dan de studie van Macnamara en Burgoygne. Bovendien onderzoekt de meta-analyse van Burnette et al. niet alleen de effecten van mindset interventies op leerprestaties, maar bijvoorbeeld ook op mentaal welbevinden. Deze tweede meta-analyse kijkt dus breder naar de effecten van mindset interventies dan cognitieve leeruitkomsten. Nadere lezing van beide artikelen zal ongetwijfeld nog meer technische verschillen tussen beide meta-analyses aan het licht brengen. Dat is wellicht voor een andere blogpost. Voor nu is het in ieder geval interessant om te zien dat hoewel deze meta-analyse ook een bescheiden effect van mindset interventies op leerprestaties vindt, er wel een behoorlijk effect op mentaal welbevinden wordt gevonden in deze meta-analyse.

Meta-analyse: Word je van community engaged learning een beter mens?

Veel universiteiten, en de Universiteit Utrecht is daar geen uitzondering op, zetten voor hun onderwijs en onderzoek in op het versterken de samenwerking tussen de samenleving en de universiteit. In het universitaire onderwijs worden er steeds vaker onderwijsactiviteiten of -project georganiseerd onder de noemer service learning of community engaged learning. Community engaged learning of service learning worden bovendien gezien als onderwijsvormen die bijdragen aan de vorming van studenten die bijvoorbeeld kunnen samenwerken met individuen met diverse achtergronden en die een positieve bijdrage kunnen leveren aan de samenleving. In een zeer recente meta-analyse van kwantitatieve studies en een meta-synthese van kwalitatieve studies wordt onderzocht wat het effect van deze vorm van onderwijs is op het empatisch vermogen van studenten. Zijn deze studenten bijvoorbeeld na het deelnemen aan community engaged learning beter in staat om zich in anderen te verplaatsen? Deze vormen van onderwijs lijken inderdaad een klein maar positief effect te hebben op het empathisch vermogen van studenten. Het aantal studies dat gebruikt maakte van een controlegroep en de methodologische kwaliteit van veel studies liet echter wel te wensen over. Een ander gevaar is dat in veel studies vooral gebruik wordt gemaakt van zelfrapportage. De auteurs doen dan ook een oproep aan onderzoekers van deze vormen van onderwijs om beter onderzoek te doen: "the field of research on service learning and empathy needs to address issues with the rigour of quantitative studies". 

Het abstract

Higher education institutions seek not only to prepare students for their chosen profession, but also to develop graduates that are civic minded and make a positive social impact. The purpose of this paper is to review the literature on whether participation in service-learning leads to students reporting increased empathy. The study also examines the features within a service-learning placement that contribute to development of empathy. The review followed the 2020 Preferred Reporting Items for Systematic Review and Meta-Analysis (PRISMA) statement. The authors searched Scopus, ERIC (EBSCOhost), PsycInfo, CINAHL, Web of Science, Medline Complete, Google Scholar and specific service-learning journals not indexed in major databases for studies published before Nov 23, 2020 that met the Bringle and Hatcher (1995) definition of service-learning and measured change in, or development of, empathy. Of 662 records identified, 35 met the inclusion criteria and were included in the review. Overall, across the 14 studies included in the meta-analysis, there was a significant small effect for increase in empathy for those who participated in service-learning compared to those who did not (g = 0.261) and from pre to post service-learning (g = 0.176). Across the 21 qualitative studies, the main feature which appeared to contribute to the development of students’ empathy was direct interactions with the community. This paper provides insight into the efficacy of service-learning as a pedagogy and contributes to our understanding of the educational value of service-learning for universities. We conclude with avenues for future research and implications for practice.

Wist je trouwens dat de bachelor Onderwijswetenschappen ook een cursus heeft die is gebaseerd op de principes van community engaged learning? In deze podcast kun je daar meer over horen! 

Negatieve impact van schoolsluitingen op schrijfvaardigheid van basisschoolleerlingen

Over de impact van de schoolsluitingen als gevolg van het coronavirus is al veel geschreven. Een nieuw onderzoek, gepubliceerd in het Journal of Educational Psychology, beschrijft de impact van de schoolsluitingen in Noorwegen op de schrijfvaardigheid van leerlingen in groep 3. De schoolsluitingen in Noorwegen duurden 7 weken en tijdens deze periode gaven de Noorse leerkrachten online onderwijs. De studie van Skar, Graham en Huebner laat zien dat de schoolsluitingen een significante negatieve impact hadden op op de schrijfvaardigheid van leerlingen. De auteurs noemen hiervoor verschillende verklaringen: er was eerder sprake van emergency remote instruction dan van effectief ontworpen online onderwijs en veel jonge leerlingen hadden slechts minimaal contact met hun leerkracht tijdens de schoolsluitingen.

Het uit het abstract:

The coronavirus disease 2019 (COVID-19) pandemic and the sudden cancellation of in-class instruction for many students around the world presented an unprecedented disruption in children’s education. As the COVID-19 pandemic took form, multiple concerns were raised about the potential negative impact on students’ learning. The current study examined this proposition for children’s writing. We compared the quality of writing, handwriting fluency, and attitude toward writing of first grade Norwegian students during the COVID-19 pandemic (421 girls, 396 boys), which included emergency remote instruction for almost 7 weeks, with first grade students in the same schools a year before the pandemic began (835 girls, 801 boys). After controlling for variance due to national test scores, school size, proportion of certified teachers, students per special education teacher, school hours per student, student gender, and native language, we found that students attending first grade during the pandemic had lower scores for writing quality, handwriting fluency, and attitude toward writing than their first grade peers tested a year earlier before the COVID-19 pandemic emerged. Implications for policy and instruction as well as future research are presented.

Het staat in de cursushandleiding! Hoe designkenmerken van online cursussen samenhangen met studieprestaties

"Het staat in de cursushandleiding!" is een veel gehoord antwoord op vragen van studenten over de cursus. In een recent onderzoek in het tijdschrift Plos One onderzoeken Fischer en collega's de cursushandleidingen van 11 online cursussen. De premisse van het onderzoek is dat een goede cursushandleiding informatie geeft over belangrijke ontwerpkenmerken van de cursus (bv. de cursusdoelen, de manier waarop interactie is georganiseerd) en dat deze ontwerpkenmerken samenhangend zijn met studieprestaties van studenten. 

De auteurs komen tot een codeerschema dat vier belangrijke ontwerpkenmerken voor online cursussen bevat. Ze baseren zich hierbij op een kwalitatieve analyse van 11 cursushandleidingen van online cursussen die werden aangeboden door een Amerikaanse universiteit. Het uiteindelijke codeerschema bestond uit 23 codes gerangschikt onder vier categorieën: technologie, cursusorganisatie, leerdoelen en alignment en interpersoonlijke interacties.

Interassant is dat de auteurs vervolgens onderzoeken of het wel of niet voorkomen van bepaalde ontwerpkenmerken samenhangt met studieprestaties van studenten. Uit de analyse blijkt dat de ontwerpkenmerken cursusorganisatie en leerdoelen en alignment significante predictoren van studieprestaties zijn.

Het abstract:

The importance of online learning in higher education settings is growing, not only in wake of the Covid-19 pandemic. Therefore, metrics to evaluate and increase the quality of online instruction are crucial for improving student learning. Whereas instructional quality is traditionally evaluated with course observations or student evaluations, course syllabi offer a novel approach to predict course quality even prior to the first day of classes. This study develops an online course design characteristics rubric for science course syllabi. Utilizing content analysis, inductive coding, and deductive coding, we established four broad high-quality course design categories: course organization, course objectives and alignment, interpersonal interactions, and technology. Additionally, this study exploratively applied the rubric on 11 online course syllabi (N = 635 students) and found that these design categories explained variation in student performance.

Meta-analyse heeft forse kritiek op studies naar mindsetinterventies

Volgens de mindset-theorie presteren leerlingen die een groeimindset hebben beter dan leerlingen met een fixed mindset. Leerlingen met een groeimindset geloven dat hun kwaliteiten en mogelijkheden niet vaststaan, maar dat deze kunnen verbeteren door bijvoorbeeld oefening en inzet. Deze theorie heeft geleid tot interventies voor het onderwijs waar van dit principe gebruik wordt gemaakt. 

In Psychological Bulletin is onlangs een zeer kritische meta-analyse verschenen waarin de effecten van dit soort interventies zijn onderzocht. Deze meta-analyse van Macnamara en Burgoyne laat ziet dat het effect van dit soort interventies op leeruitkomsten weliswaar op het eerste gezicht significant is, maar ook zeer klein (d = 0.05). Bovendien bleek er met de methodologische kwaliteit van de studies ook van alles aan de hand. Wanneer enkel de studies van de hoogste kwaliteit geanalyseerd worden blijkt het gevonden effect nog kleiner en niet-significant. Opvallend én zorgwekkend is ook dat de auteurs constateren dat wanneer de betrokken onderzoekers een financieel belang hebben bij het rapporteren van positieve bevindingen er ook positievere resultaten gevonden worden. 

Het abstract van de studie:

According to mindset theory, students who believe their personal characteristics can change—that is, those who hold a growth mindset—will achieve more than students who believe their characteristics are fixed. Proponents of the theory have developed interventions to influence students’ mindsets, claiming that these interventions lead to large gains in academic achievement. Despite their popularity, the evidence for growth mindset intervention benefits has not been systematically evaluated considering both the quantity and quality of the evidence. Here, we provide such a review by (a) evaluating empirical studies’ adherence to a set of best practices essential for drawing causal conclusions and (b) conducting three meta-analyses. When examining all studies (63 studies, N = 97,672), we found major shortcomings in study design, analysis, and reporting, and suggestions of researcher and publication bias: Authors with a financial incentive to report positive findings published significantly larger effects than authors without this incentive. Across all studies, we observed a small overall effect: d¯ = 0.05, 95% CI = [0.02, 0.09], which was nonsignificant after correcting for potential publication bias. No theoretically meaningful moderators were significant. When examining only studies demonstrating the intervention influenced students’ mindsets as intended (13 studies, N = 18,355), the effect was nonsignificant: d¯ = 0.04, 95% CI = [−0.01, 0.10]. When examining the highest-quality evidence (6 studies, N = 13,571), the effect was nonsignificant: d¯ = 0.02, 95% CI = [−0.06, 0.10]. We conclude that apparent effects of growth mindset interventions on academic achievement are likely attributable to inadequate study design, reporting flaws, and bias.

Vanuit de Opleidingscommissie: een bericht van Floor en Sacha

 

Lieve lezer,

Afgelopen jaar zijn wij de twee studentleden van de OpleidingsCommissie van Onderwijswetenschappen geweest. Gedurende het jaar hebben wij ervoor gezorgd dat er net als vorig jaar (ongeveer) elke maand een blog online werd gezet. Hierin hebben verschillende studenten en docenten een kijkje gegeven in hun leven. Hierdoor zijn er veel verschillende perspectieven langsgekomen op onderwijswetenschappelijke kwesties.

Tijdens corona is het idee ontstaan om deze blog op te zetten. Op deze manier kon iedereen vanuit zijn/haar kamer alsnog meekrijgen waar anderen in deze tijd mee bezig waren. ALPO studenten, OWW studenten en docenten van beide opleidingen hebben hun visies op het onderwijs gedeeld, lees- en podcast tips gegeven en vragen van elkaar beantwoord.

Dit jaar hebben wij als OC nog een aantal blogs gepost en besloten om met deze blog de reeks af te sluiten. We hopen aankomend jaar elkaar veel op de universiteit tegen te komen en op die manier een kijkje in elkaars leven te blijven krijgen. Met deze blog sluiten we niet alleen de blogreeks af, maar ook ons jaar in de OC. We dragen met trots het stokje over aan Lynn en Ylana :)

Waar we het afgelopen jaar bezig zijn geweest met de blogs, hebben we ook nog een heel aantal andere dingen gedaan vanuit onze functie als studentlid van de OC. Zo hebben we panelgesprekken gevoerd om alle vakken te evalueren (en ook bedacht hoe we deze anders kunnen vormgeven), vergaderingen gehad met docenten en ook de Instagram van @oww_uu bijgehouden. Hiervoor hebben we onder andere samen een dagje de stad doorgefietst om verschillende studieplekjes uit te lichten in Utrecht. Naast onze taken voor de OC, hebben we namelijk afgelopen jaar ook beide heel hard gestudeerd!

Naast studeren en taken voor de Inspraak hebben we beide ook nog heel veel leuke dingen gedaan: VOCUS commissies en activiteiten, dagtripjes naar steden, feestjes en genieten van de zon (zeker deze laatste weken!). Aankomend jaar zal Sacha nog rondlopen op de Uithof voor haar laatste studiejaar. Floor zal op avontuur gaan in Oslo, waar zij voor een half jaar naartoe gaat op exchange! Voor nu wensen wij iedereen een hele fijne vakantie toe :)

Liefs,
Floor en Sacha

Een kijkje in het leven van Marjoleine

In deze blog leren we een van de medewerkers of studenten bij Onderwijswetenschappen beter kennen. Dit keer is dat docent Marjoleine Heijboer. Zij werd onlangs genomineerd voor de Docenttalentprijs van de universiteit, een titel die ze helaas net niet won. Dit is de zeventiende bijdrage in een regelmatig terugkerende serie. Onderstaande verscheen eerder op de website van studievereniging Vocus.

Dertig jaar geleden (au) startte ik met mijn studie Culturele Antropologie. Ik wilde reizen, andere culturen leren kennen en een leven in een ver buitenland opbouwen. Alhoewel ik de studie als enorm waardevol en interessant heb ervaren, begon mijn toekomstbeeld toch wel te veranderen. Reizen vond (en vind) ik nog steeds leuk, maar niet als baan. Lang verhaal kort, ik twijfelde even over promotieonderzoek (te eenzijdig), ik haalde mijn lesbevoegdheid als docent maatschappijleer (was het ook niet helemaal), werkte bij de Immigratie- en Naturalisatiedienst (IND) als hoor-en beslismedewerker (indrukwekkend en leerzaam) en kwam toen na 3 jaar terecht als opleidingsadviseur bij het Kennis-en Leercentrum van de IND. Daar viel alles op zijn plek. Mijn didactische kennis én vakinhoudelijke kennis als hoor- en beslismedewerker mocht ik daar inzetten om te zorgen dat nieuwe medewerkers van de IND goed opgeleid werden en eenmaal in dienst zich ook konden blijven ontwikkelen.

Na 8 jaar als opleidingsadviseur te hebben gewerkt, was ik toe aan een nieuwe omgeving. En die nieuwe omgeving werd TriamFloat, hier heb ik 10 jaar met ontzettend veel plezier gewerkt. Er zat niet alleen veel afwisseling in de inhoud van de opdrachten, maar ook in de organisaties en doelgroepen waar ik mee te maken kreeg. Daarnaast was er ruimte om me met TriamFloat-collega’s te verdiepen in thema’s als het organiseren van leren, leercultuur en werkplekleren. En toch.. na 10 jaar begon het kriebelen. Ik wilde meer inhoud en minder projectmanagement, ik wilde graag met groepen bezig zijn en anderen enthousiast kunnen maken voor het mooie vak. Ook hier weer lang verhaal kort: ruim 2,5 jaar geleden startte ik als docent Onderwijswetenschappen.

Die 2,5 jaar is omgevlogen. Na een half jaar flink wennen, kwam corona om de hoek. Weer een enorme omschakeling. Wat hebben we hard gewerkt met alle collega’s om van het online onderwijs iets te maken. En ook al kan er online veel, ik miste het contact met de studenten (en collega’s) enorm. Wat een feest was het om afgelopen september weer met de werkgroepen in één ruimte te zijn, hoe makkelijk was het ineens om als groep weer met elkaar écht in gesprek te gaan. Naast het begeleiden van werkgroepen, coördineer ik verschillende vakken, maak ik lesmaterialen en toetsen, geef ik hoorcolleges of maak kennisclips en begeleid ik stagiaires. Ook werk ik mee aan een project om de Leren in Organisaties vakken nóg een slagje mooier te maken en lever ik een bijdrage aan de voorlichting voor nieuwe studenten.

Met weer les op de campus, kon het eigenlijk niet mooier. Maar er kwam nog een schepje bovenop. In oktober mailde Nick van Ham, Coördinator Onderwijs van VOCUS, mij. VOCUS wilde mij voordragen voor de Docenttalentprijs van de UU: wat een verrassing en fantastisch compliment! Ik werd geïnterviewd door Nick, collega’s en studenten schreven aanbevelingen en zelf mocht ik mijn visie op het onderwijs op papier zetten. Alle mooie woorden en inzet van iedereen maakten enorm veel indruk. Maar we bleken er nog niet te zijn. In januari werd ik door de jury samen met twee andere docenttalenten genomineerd. Nauwelijks bekomen van de schrik (jeetje, ik moet nu wel echt wat waarmaken) maar ook blijdschap, mochten we weer aan de slag. Wederom moesten er verschillende materialen (evaluaties, lesmaterialen, video-opnames) worden aangeleverd en verwerkt tot een presentatie die door Nick en zijn collega Vincent aan de jury zijn gegeven. En nu is het wachten op 10 maart, dan wordt tijdens de Onderwijsparade bekend wie de docenttalentprijs ontvangt. Voor alle inzet van VOCUS, collega’s en studenten, hoop ik dat we winnen. Voor mijzelf: verliezen kan niet meer!

 

Impact van online en hybride onderwijs op gedrag van basisschoolleerlingen

Verschillende studies hebben aangetoond dat de schoolsluitingen door de coronacrisis een impact hebben gehad op de leerprestaties van Amerikaanse basisschoolleerlingen. Maar welke impact had de coronacrisis op het gedrag van basisschoolleerlingen? In een recent onderzoek bevroegen de onderzoekers Hanno, Fritz, en Jones de ouders van 348 leerlingen in de basisschoolleeftijd. Op 4 momenten in de eerste vijf maanden van 2021 vulden deze ouders een vragenlijst in over het gedrag van hun kinderen. Ouders gaven hun percepties van het gedrag van hun kind in het algemeen (veel beter dan gewoonlijk vs. veel slechter dan gewoonlijk), het aantal keren dat opvallend of onaangepast gedrag voorkwam in de voorbije periode (bv. agressief gedrag of teruggetrokken zijn) en hoe vaak het kind problemen had met het executief functioneren in de voorbije periode. Daarbij vroegen de onderzoekers ook of het kind op het moment van invullen onderwijs op school, online onderwijs of hybride onderwijs volgde.

De resultaten van het onderzoek laten zien dat vrijwel alle deelnemende kinderen overgangen in onderwijsvorm meemaakten (bv. van klassikaal naar online, zie Figuur 1). En dat in de perceptie van de deelnemende ouders het gedrag van hun kinderen in periodes van online onderwijs beduidend problematischer was dan tijdens klassikaal onderwijs (zie Figuur 2).

Figuur 1: Onderwijsvorm per meetmoment.

Figuur 2: Verschillen in kindgedrag.

Hanno, E. C., Fritz, L. S., & Jones, S. M. (2022). School Learning Format and Children’s Behavioral Health During the COVID-19 Pandemic. JAMA Pediatrics. doi:10.1001/jamapediatrics.2021.5698