Dagdromen tijdens colleges: Hoe vaak komt het voor en welk effect heeft het?

 

Na één van de eerste hoorcolleges die ik gaf liep ik na afloop door de zaal om te zien of er spullen waren achtergebleven en toen viel me op dat de bankjes op de achterste rijen bezaaid waren met kranten (dit was dus nog voordat iedereen een laptop of smartphone meenam de collegezaal in): deze studenten hadden blijkbaar tijdens het college wat anders gedaan dan meedoen en aantekeningen maken. En als er studenten de krant lezen tijdens het college, dan zijn er vast ook studenten die op andere manieren niet betrokken waren bij het college, bijvoorbeeld doordat ze aan het dagdromen waren. 

Onderwijsonderzoekers hebben meermaals onderzoek gedaan naar de frequentie van deze task-unrelated thoughts tijdens onderwijsactiviteiten in het hoger onderwijs. Ook is er meermaals onderzocht wat de impact hiervan is op leerprestaties. Dit onderzoek is recentelijk samengevat door Wong en collega's (2022): zij publiceerden in Contemporary Educational Psychology een meta-analyse waarin ze de vraag stellen hoe vaak dit dagdromen of deze task-unrelated thoughts voorkomt en wat de impact hiervan is op leerprestaties. 

De uitkomsten van dit onderzoek zijn dat studenten ongeveer 30% van de tijd task-unrelated thoughts hebben tijdens onderwijsactiviteiten. Het maakt daarbij niet uit om welke activiteiten het gaat: dit percentage ligt ongeveer even hoog voor het bekijken van een videocollege, het bijwonen van een hoorcollege of het lezen van een onderwijstekst. Helaas zijn er weinig studies die het dagdromen en de impact daarvan onderzoek tijdens andere onderwijsvormen zoals practica of interactieve werkgroepen. Wat het onderzoek wel duidelijk laat zien is dat deze task-unrelated thoughts negatief samenhangen met leerprestaties. De gemiddelde correlatie tussen task-unrelated thoughts en leerprestaties is -0.27.Het artikel bevat geen praktische implicaties (Wat kun je doen om te zorgen dat studenten minder dagdromen?), maar de auteurs geven wel aan dat het percentage van 30% als een benchmark zou kunnen dienen: als dit zo'n beetje het gemiddelde is, dan is het interessant om voor andere onderwijsvormen te onderzoeken of het percentage task-unrelated thought lager of hoger is dan 30% of om te onderzoeken of specifieke didactische ingrepen leiden tot lagere percentages.

Het abstract

The “costs” of task-unrelated thought (often referred to as mind-wandering) on performance in educational contexts have received growing theoretical and empirical attention in the last decade. Published articles on task-unrelated thought in educational contexts usually point out two important claims: 1) that task-unrelated thought occurs often during learning and 2) that task-unrelated thought shares a negative relationship with learning outcomes. However, the corresponding rates and effect sizes reported in the literature have been quite variable to date. We thus adopted a multi-level meta-analytic approach in order to provide baseline metrics for the frequency of task-unrelated thought in educational contexts and its relationship with learning outcomes across different learning tasks and assessments. Our analysis suggests that students are off-task about 30% of the time during educationally relevant activities, and the average relationship between task-unrelated thought and learning outcomes was in line with a small-to-medium practical effect, −0.27. No differences were observed between learning tasks and various moderators. The average rates and correlation values reported in this meta-analysis can be used as a benchmark for future research aiming to assess task-unrelated thought in education.

Infographic: Aanpak van gelijke kansen in Amsterdam

Deze infographic van het Kohnstamm Instituut gaat in op de geleerde lessen van de Kansenaanpak VO van de gemeente Amsterdam. Belangrijkste succesfactoren zijn: individuele aandacht, betrokkenheid en routekaart interventie.

Make up your mind: Tweede meta-analyse laat sterker effect mindset interventies zien

Nog maar kort geleden verscheen er in Psychological Bulletin een meta-analyse over de effecten van mindset interventies op leerprestaties. Deze meta-analyse vond een klein effect van zulke interventies op leerprestaties en liet zien dat de gerapporteerde effecten groter waren wanneer auteurs zelf betrokken waren bij mindset interventies. 

Nu is er vrijwel gelijktijdig een tweede meta-analyse verschenen in hetzelfde tijdschrift. Opvallend is dat de onderzoekers onder leiding van Jeni Burnette wel een positief effect van mindset interventies rapporteren.

Het abstract

As growth mindset interventions increase in scope and popularity, scientists and policymakers are asking: Are these interventions effective? To answer this question properly, the field needs to understand the meaningful heterogeneity in effects. In the present systematic review and meta-analysis, we focused on two key moderators with adequate data to test: Subsamples expected to benefit most and implementation fidelity. We also specified a process model that can be generative for theory. We included articles published between 2002 (first mindset intervention) through the end of 2020 that reported an effect for a growth mindset intervention, used a randomized design, and featured at least one of the qualifying outcomes. Our search yielded 53 independent samples testing distinct interventions. We reported cumulative effect sizes for multiple outcomes (i.e., mindsets, motivation, behavior, end results), with a focus on three primary end results (i.e., improved academic achievement, mental health, or social functioning). Multilevel metaregression analyses with targeted subsamples and high fidelity for academic achievement yielded, d = 0.14, 95% CI [.06, .22]; for mental health, d = 0.32, 95% CI [.10, .54]. Results highlighted the extensive variation in effects to be expected from future interventions. Namely, 95% prediction intervals for focal effects ranged from −0.08 to 0.35 for academic achievement and from 0.07 to 0.57 for mental health. The literature is too nascent for moderators for social functioning, but average effects are d = 0.36, 95% CI [.03, .68], 95% PI [−.50, 1.22]. We conclude with a discussion of heterogeneity and the limitations of meta-analyses.

Hoe zijn deze verschillen te verklaren? Op het eerste gezicht maken deze meta-analyses andere keuzes: de meta-analyse van Burnette et al. heeft bijvoorbeeld minder studies geïncludeerd dan de studie van Macnamara en Burgoygne. Bovendien onderzoekt de meta-analyse van Burnette et al. niet alleen de effecten van mindset interventies op leerprestaties, maar bijvoorbeeld ook op mentaal welbevinden. Deze tweede meta-analyse kijkt dus breder naar de effecten van mindset interventies dan cognitieve leeruitkomsten. Nadere lezing van beide artikelen zal ongetwijfeld nog meer technische verschillen tussen beide meta-analyses aan het licht brengen. Dat is wellicht voor een andere blogpost. Voor nu is het in ieder geval interessant om te zien dat hoewel deze meta-analyse ook een bescheiden effect van mindset interventies op leerprestaties vindt, er wel een behoorlijk effect op mentaal welbevinden wordt gevonden in deze meta-analyse.

Meta-analyse: Word je van community engaged learning een beter mens?

Veel universiteiten, en de Universiteit Utrecht is daar geen uitzondering op, zetten voor hun onderwijs en onderzoek in op het versterken de samenwerking tussen de samenleving en de universiteit. In het universitaire onderwijs worden er steeds vaker onderwijsactiviteiten of -project georganiseerd onder de noemer service learning of community engaged learning. Community engaged learning of service learning worden bovendien gezien als onderwijsvormen die bijdragen aan de vorming van studenten die bijvoorbeeld kunnen samenwerken met individuen met diverse achtergronden en die een positieve bijdrage kunnen leveren aan de samenleving. In een zeer recente meta-analyse van kwantitatieve studies en een meta-synthese van kwalitatieve studies wordt onderzocht wat het effect van deze vorm van onderwijs is op het empatisch vermogen van studenten. Zijn deze studenten bijvoorbeeld na het deelnemen aan community engaged learning beter in staat om zich in anderen te verplaatsen? Deze vormen van onderwijs lijken inderdaad een klein maar positief effect te hebben op het empathisch vermogen van studenten. Het aantal studies dat gebruikt maakte van een controlegroep en de methodologische kwaliteit van veel studies liet echter wel te wensen over. Een ander gevaar is dat in veel studies vooral gebruik wordt gemaakt van zelfrapportage. De auteurs doen dan ook een oproep aan onderzoekers van deze vormen van onderwijs om beter onderzoek te doen: "the field of research on service learning and empathy needs to address issues with the rigour of quantitative studies". 

Het abstract

Higher education institutions seek not only to prepare students for their chosen profession, but also to develop graduates that are civic minded and make a positive social impact. The purpose of this paper is to review the literature on whether participation in service-learning leads to students reporting increased empathy. The study also examines the features within a service-learning placement that contribute to development of empathy. The review followed the 2020 Preferred Reporting Items for Systematic Review and Meta-Analysis (PRISMA) statement. The authors searched Scopus, ERIC (EBSCOhost), PsycInfo, CINAHL, Web of Science, Medline Complete, Google Scholar and specific service-learning journals not indexed in major databases for studies published before Nov 23, 2020 that met the Bringle and Hatcher (1995) definition of service-learning and measured change in, or development of, empathy. Of 662 records identified, 35 met the inclusion criteria and were included in the review. Overall, across the 14 studies included in the meta-analysis, there was a significant small effect for increase in empathy for those who participated in service-learning compared to those who did not (g = 0.261) and from pre to post service-learning (g = 0.176). Across the 21 qualitative studies, the main feature which appeared to contribute to the development of students’ empathy was direct interactions with the community. This paper provides insight into the efficacy of service-learning as a pedagogy and contributes to our understanding of the educational value of service-learning for universities. We conclude with avenues for future research and implications for practice.

Wist je trouwens dat de bachelor Onderwijswetenschappen ook een cursus heeft die is gebaseerd op de principes van community engaged learning? In deze podcast kun je daar meer over horen! 

Negatieve impact van schoolsluitingen op schrijfvaardigheid van basisschoolleerlingen

Over de impact van de schoolsluitingen als gevolg van het coronavirus is al veel geschreven. Een nieuw onderzoek, gepubliceerd in het Journal of Educational Psychology, beschrijft de impact van de schoolsluitingen in Noorwegen op de schrijfvaardigheid van leerlingen in groep 3. De schoolsluitingen in Noorwegen duurden 7 weken en tijdens deze periode gaven de Noorse leerkrachten online onderwijs. De studie van Skar, Graham en Huebner laat zien dat de schoolsluitingen een significante negatieve impact hadden op op de schrijfvaardigheid van leerlingen. De auteurs noemen hiervoor verschillende verklaringen: er was eerder sprake van emergency remote instruction dan van effectief ontworpen online onderwijs en veel jonge leerlingen hadden slechts minimaal contact met hun leerkracht tijdens de schoolsluitingen.

Het uit het abstract:

The coronavirus disease 2019 (COVID-19) pandemic and the sudden cancellation of in-class instruction for many students around the world presented an unprecedented disruption in children’s education. As the COVID-19 pandemic took form, multiple concerns were raised about the potential negative impact on students’ learning. The current study examined this proposition for children’s writing. We compared the quality of writing, handwriting fluency, and attitude toward writing of first grade Norwegian students during the COVID-19 pandemic (421 girls, 396 boys), which included emergency remote instruction for almost 7 weeks, with first grade students in the same schools a year before the pandemic began (835 girls, 801 boys). After controlling for variance due to national test scores, school size, proportion of certified teachers, students per special education teacher, school hours per student, student gender, and native language, we found that students attending first grade during the pandemic had lower scores for writing quality, handwriting fluency, and attitude toward writing than their first grade peers tested a year earlier before the COVID-19 pandemic emerged. Implications for policy and instruction as well as future research are presented.

Het staat in de cursushandleiding! Hoe designkenmerken van online cursussen samenhangen met studieprestaties

"Het staat in de cursushandleiding!" is een veel gehoord antwoord op vragen van studenten over de cursus. In een recent onderzoek in het tijdschrift Plos One onderzoeken Fischer en collega's de cursushandleidingen van 11 online cursussen. De premisse van het onderzoek is dat een goede cursushandleiding informatie geeft over belangrijke ontwerpkenmerken van de cursus (bv. de cursusdoelen, de manier waarop interactie is georganiseerd) en dat deze ontwerpkenmerken samenhangend zijn met studieprestaties van studenten. 

De auteurs komen tot een codeerschema dat vier belangrijke ontwerpkenmerken voor online cursussen bevat. Ze baseren zich hierbij op een kwalitatieve analyse van 11 cursushandleidingen van online cursussen die werden aangeboden door een Amerikaanse universiteit. Het uiteindelijke codeerschema bestond uit 23 codes gerangschikt onder vier categorieën: technologie, cursusorganisatie, leerdoelen en alignment en interpersoonlijke interacties.

Interassant is dat de auteurs vervolgens onderzoeken of het wel of niet voorkomen van bepaalde ontwerpkenmerken samenhangt met studieprestaties van studenten. Uit de analyse blijkt dat de ontwerpkenmerken cursusorganisatie en leerdoelen en alignment significante predictoren van studieprestaties zijn.

Het abstract:

The importance of online learning in higher education settings is growing, not only in wake of the Covid-19 pandemic. Therefore, metrics to evaluate and increase the quality of online instruction are crucial for improving student learning. Whereas instructional quality is traditionally evaluated with course observations or student evaluations, course syllabi offer a novel approach to predict course quality even prior to the first day of classes. This study develops an online course design characteristics rubric for science course syllabi. Utilizing content analysis, inductive coding, and deductive coding, we established four broad high-quality course design categories: course organization, course objectives and alignment, interpersonal interactions, and technology. Additionally, this study exploratively applied the rubric on 11 online course syllabi (N = 635 students) and found that these design categories explained variation in student performance.

Meta-analyse heeft forse kritiek op studies naar mindsetinterventies

Volgens de mindset-theorie presteren leerlingen die een groeimindset hebben beter dan leerlingen met een fixed mindset. Leerlingen met een groeimindset geloven dat hun kwaliteiten en mogelijkheden niet vaststaan, maar dat deze kunnen verbeteren door bijvoorbeeld oefening en inzet. Deze theorie heeft geleid tot interventies voor het onderwijs waar van dit principe gebruik wordt gemaakt. 

In Psychological Bulletin is onlangs een zeer kritische meta-analyse verschenen waarin de effecten van dit soort interventies zijn onderzocht. Deze meta-analyse van Macnamara en Burgoyne laat ziet dat het effect van dit soort interventies op leeruitkomsten weliswaar op het eerste gezicht significant is, maar ook zeer klein (d = 0.05). Bovendien bleek er met de methodologische kwaliteit van de studies ook van alles aan de hand. Wanneer enkel de studies van de hoogste kwaliteit geanalyseerd worden blijkt het gevonden effect nog kleiner en niet-significant. Opvallend én zorgwekkend is ook dat de auteurs constateren dat wanneer de betrokken onderzoekers een financieel belang hebben bij het rapporteren van positieve bevindingen er ook positievere resultaten gevonden worden. 

Het abstract van de studie:

According to mindset theory, students who believe their personal characteristics can change—that is, those who hold a growth mindset—will achieve more than students who believe their characteristics are fixed. Proponents of the theory have developed interventions to influence students’ mindsets, claiming that these interventions lead to large gains in academic achievement. Despite their popularity, the evidence for growth mindset intervention benefits has not been systematically evaluated considering both the quantity and quality of the evidence. Here, we provide such a review by (a) evaluating empirical studies’ adherence to a set of best practices essential for drawing causal conclusions and (b) conducting three meta-analyses. When examining all studies (63 studies, N = 97,672), we found major shortcomings in study design, analysis, and reporting, and suggestions of researcher and publication bias: Authors with a financial incentive to report positive findings published significantly larger effects than authors without this incentive. Across all studies, we observed a small overall effect: d¯ = 0.05, 95% CI = [0.02, 0.09], which was nonsignificant after correcting for potential publication bias. No theoretically meaningful moderators were significant. When examining only studies demonstrating the intervention influenced students’ mindsets as intended (13 studies, N = 18,355), the effect was nonsignificant: d¯ = 0.04, 95% CI = [−0.01, 0.10]. When examining the highest-quality evidence (6 studies, N = 13,571), the effect was nonsignificant: d¯ = 0.02, 95% CI = [−0.06, 0.10]. We conclude that apparent effects of growth mindset interventions on academic achievement are likely attributable to inadequate study design, reporting flaws, and bias.

Vanuit de Opleidingscommissie: een bericht van Floor en Sacha

 

Lieve lezer,

Afgelopen jaar zijn wij de twee studentleden van de OpleidingsCommissie van Onderwijswetenschappen geweest. Gedurende het jaar hebben wij ervoor gezorgd dat er net als vorig jaar (ongeveer) elke maand een blog online werd gezet. Hierin hebben verschillende studenten en docenten een kijkje gegeven in hun leven. Hierdoor zijn er veel verschillende perspectieven langsgekomen op onderwijswetenschappelijke kwesties.

Tijdens corona is het idee ontstaan om deze blog op te zetten. Op deze manier kon iedereen vanuit zijn/haar kamer alsnog meekrijgen waar anderen in deze tijd mee bezig waren. ALPO studenten, OWW studenten en docenten van beide opleidingen hebben hun visies op het onderwijs gedeeld, lees- en podcast tips gegeven en vragen van elkaar beantwoord.

Dit jaar hebben wij als OC nog een aantal blogs gepost en besloten om met deze blog de reeks af te sluiten. We hopen aankomend jaar elkaar veel op de universiteit tegen te komen en op die manier een kijkje in elkaars leven te blijven krijgen. Met deze blog sluiten we niet alleen de blogreeks af, maar ook ons jaar in de OC. We dragen met trots het stokje over aan Lynn en Ylana :)

Waar we het afgelopen jaar bezig zijn geweest met de blogs, hebben we ook nog een heel aantal andere dingen gedaan vanuit onze functie als studentlid van de OC. Zo hebben we panelgesprekken gevoerd om alle vakken te evalueren (en ook bedacht hoe we deze anders kunnen vormgeven), vergaderingen gehad met docenten en ook de Instagram van @oww_uu bijgehouden. Hiervoor hebben we onder andere samen een dagje de stad doorgefietst om verschillende studieplekjes uit te lichten in Utrecht. Naast onze taken voor de OC, hebben we namelijk afgelopen jaar ook beide heel hard gestudeerd!

Naast studeren en taken voor de Inspraak hebben we beide ook nog heel veel leuke dingen gedaan: VOCUS commissies en activiteiten, dagtripjes naar steden, feestjes en genieten van de zon (zeker deze laatste weken!). Aankomend jaar zal Sacha nog rondlopen op de Uithof voor haar laatste studiejaar. Floor zal op avontuur gaan in Oslo, waar zij voor een half jaar naartoe gaat op exchange! Voor nu wensen wij iedereen een hele fijne vakantie toe :)

Liefs,
Floor en Sacha