Van programmeren kun je rekenen leren?

Opinies zoals de opinie hierboven hoor je zeer geregeld. Niet zo vreemd ook als je bedenkt dat er een tekort is aan werknemers die kunnen programmeren. En zonder les in programmeren, kun je de programmeurs van de toekomst niet opleiden. Er wordt daarnaast ook vaak gewezen op de bijkomende voordelen van het leren programmeren. Zo wordt bijvoorbeeld verondersteld dat wanneer kinderen leren programmeren, ze beter worden in het oplossen van problemen en dat dit hen ook helpt bij het leren van rekenen en wiskunde. Een recente, omvangrijke studie uit Frankrijk probeert deze claim te onderzoeken middels een randomized controlled trial. In de experimentele groep werden rekenen- en wiskundeopgaven gekoppeld aan programmeeractiviteiten in Scratch. Opvallend is dat de resultaten laten zien dat de leerlingen in de programmeerconditie scoorden significant slechter op een post-test. Dit roept de vraag op of er sprake is van transfer naar het reken- en wiskundedomein bij het leren programmeren.

Het abstract

The aim of this study is to investigate whether a programming activity might serve as a learning vehicle for mathematics acquisition in grades four and five. For this purpose, the effects of a programming activity, an essential component of computational thinking, were evaluated on learning outcomes of three mathematical notions: Euclidean division (N = 1,880), additive decomposition (N = 1,763) and fractions (N = 644). Classes were randomly assigned to the programming (with Scratch) and control conditions. Multilevel analyses indicate negative effects (effect size range −0.16 to −0.21) of the programming condition for the three mathematical notions. A potential explanation of these results is the difficulties in the transfer of learning from programming to mathematics.

Interesseontwikkeling van studenten: Brede programma's, brede interesses?

Collega Jonne Vulperhorst deelde de resultaten van de laatste studie van zijn proefschrift. In deze studie onderzochten hij en zijn collega's hoe de interesse van studenten zicht ontwikkelt en of deze ontwikkeling anders verloopt als studenten deelnemen aan een breed studieprogramma (bijvoorbeeld liberal arts and sciences), een professiegericht studieprogramma (bijvoorbeeld logopedie) of een disciplinair studieprogramma (bijvoorbeeld onderwijswetenschappen). De verwachting is dat brede programma's studenten de ruimte bieden om diversere interesses te ontwikkelen, terwijl in de andere programma's de interesses van studenten meer zullen convergeren. Ze onderzochten dit door op zeven momenten (drie voor de transitie naar het hoger onderwijs en vier na de transitie) te bevragen op hun interesses. De resultaten laten zien dat studenten vóór de transitie naar het HO niet verschillen in hun interessedivergentie.Na de transitie treden er wel verschillen op tussen studenten in de verschillende programma's. De interesses van studenten in brede programma's gingen inderdaad meer divergeren: studenten raken geïnteresseerd in meerdere disciplines. Studenten in professiegerichte en disciplinaire programma's gingen hun interesses meer verdiepen binnen één domein.

Het abstract

There is an ongoing debate in higher education about the value of broad programmes versus specialised programmes. Educational professionals argue that students use the space provided by broad programmes to develop interests in diverse domains, while the scope of specialised programmes allows students to converge in interests. The present study investigates whether students enrolled in broad and specialised programmes indeed differ in how their interests develop. To do so, we traced the interest development of 124 Dutch students from their final year in secondary education until the end of their first year in higher education. We used an experience sampling method to measure students’ momentary interests over a week and repeated this every three months. For each data collection week, we coded in how many different domains students were interested, and subsequently ran a multigroup, sequential, latent growth curve model. We found that students in broad programmes develop more divergent interests, while students in specialised programmes develop more convergent interests. This shows how students use the space provided by programmes to shape their interests. Our results can help higher education institutes in discussing whether a more diverse or focused curriculum is desirable from a societal and student perspective.

 J. P. Vulperhorst, J. E. Dams, R. M. van der Rijst & S. F. Akkerman (2022). How students use the space provided by broad and specialised programmes to develop their interests in higher education, Studies in Higher Education. DOI: 10.1080/03075079.2022.2150756

Meta-analyse: Executieve functies voorspellen rekenvaardigheid

Executieve functies zijn mentale processen waarmee leerlingen hun leerproces en gedrag reguleren. Onderdelen van executieve functies zijn bijvoorbeeld respons inhibitie (bv. nadenken voordat je iets doet), het wisselen tussen strategieën (shifting) en informatie in het werkgeheugen kunnen vasthouden (updating) Een recente meta-analyse onderzocht de relatie tussen executieve functies van kleuters en rekenvaardigheid. De resultaten van deze meta-analyse laten zien dat executieve functies van kleuters inderdaad samenhangen met rekenvaardigheid. Hiermee wordt wederom bevestigd dat executieve functies belangrijk zijn in de ontwikkeling van rekenvaardigheid van kleuters. Bij het ondersteunen van de ontwikkeling van rekenvaardigheid lijkt het dus van belang om zicht te hebben op de executieve functies van jonge kinderen en in didactiek rekening te houden met executieve functies, door bijvoorbeeld uitleg en informatie in kleine stapjes op te delen voor kinderen die moeite hebben met updating.

Het abstract

Executive functions (EFs) are key skills underlying other cognitive skills that are relevant to learning and everyday life. Although a plethora of evidence suggests a positive relation between the three EF subdimensions, inhibition, shifting, and updating, and math skills for schoolchildren and adults, the findings on the magnitude of and possible variations in this relation are inconclusive for preschool children and several narrow math skills (i.e., math intelligence). Therefore, the present meta-analysis aimed to (a) synthesize the relation between EFs and math intelligence (an aggregate of math skills) in preschool children; (b) examine which study, sample, and measurement characteristics moderate this relation; and (c) test the joint effects of EFs on math intelligence. Utilizing data extracted from 47 studies (363 effect sizes, 30,481 participants) from 2000 to 2021, we found that, overall, EFs are significantly related to math intelligence ( = .34, 95% CI [.31, .37]), as are inhibition ( = .30, 95% CI [.25, .35]), shifting ( = .32, 95% CI [.25, .38]), and updating ( = .36, 95% CI [.31, .40]). Key measurement characteristics of EFs, but neither children’s age nor gender, moderated this relation. These findings suggest a positive link between EFs and math intelligence in preschool children and emphasize the importance of measurement characteristics. We further examined the joint relations between EFs and math intelligence via meta-analytic structural equation modeling. Evaluating different models and representations of EFs, we did not find support for the expectation that the three EF subdimensions are differentially related to math intelligence

Nieuw van de EEF: Het verschil maken in school met tutoring

In een nieuwe publicatie geeft de Education Endowment Foundation (EEF) praktische richtlijnen voor het inzetten van tutoring. De EEF ziet tutoring als een krachtig middel om kansenongelijkheid en leerachterstanden te bestrijden. 

De week op het onderwijswetenschappen blog: onderwijs verkleint ongelijkheid, synchroon vs. asynchroon onderwijs, zelfregulatie onderwijzen en meer

Wat verscheen er deze week op het onderwijswetenschappen blog? Een korte terugblik:

• Lessen uit de lockdown: synchroon vs. asynchroon online onderwijs.
• Effecten van een korte lessenreeks om zelfregulatie te onderwijzen.
• We need to talk about that review of the outcomes of learner-centered pedagogy.
• Mentaal welbevinden leerkrachten stond onder druk tijdens pandemie.
• Een goede schrijver geeft goede feedback, een slechte schrijver geeft slechte feedback?
• Onderzoek onder tweelingen wijst uit: onderwijs kan ongelijkheid verkleinen.

Onderzoek onder tweelingen wijst uit: onderwijs kan ongelijkheid verkleinen

Utrechtse collega Kim Stienstra (@kimstienstra) deelde onlangs de resultaten van haar meest recente studie.

Verminderen scholen de sociale ongelijkheid in onderwijsprestaties en fungeren zij als "de grote gelijkmaker"? Of reproduceren of versterken ze de ongelijkheden juist? Deze vraag staat centraal in een nieuwe studie van de Utrechtse en Amsterdamse onderzoekers Stienstra, Knigge, Maas, De Zeeuw en Boomsma. Zij onderzoeken dit door specifiek de onderwijsprestaties van tweelingen te onderzoeken. Doordat sommige tweelingen bij elkaar in de klas zitten en andere niet, kunnen de auteurs vier bronnen uit elkaar halen die bijdragen aan verschillen in prestaties: genetisch, gedeelde omgeving, niet-gedeelde omgeving en klassikale invloeden. De resultaten laten zien dat gemiddeld 2,1 procent van de variantie in onderwijsprestaties van Nederlandse basisschoolleerlingen is toe te schrijven aan klassikale invloeden. Onder klassikale invloeden vallen bijvoorbeeld de kwaliteit van leerkracht, de grootte van de klas, de beschikbare hulpmiddelen in de klas en het klassenklimaat. 2,1 procent lijkt misschien weinig, maar de auteurs merken terecht op dat 68% van de onderwijsprestaties in deze studie wordt verklaard door genetische factoren en dus slechts 32% door omgevingsfactoren. In verhouding wordt 12% van de variantie van deze omgevingsfactoren door klassikale invloeden verklaard. Klassikale invloeden blijken groter wanneer het opleidingsniveau van ouders lager is. Dit laat zien dat onderwijs tot op zekere hoogte een compenserend effect heeft.

Het abstract

We investigate the influence of the classroom environment on educational performance and its dependency on parental socio-economic status (SES). The classroom environment can have a compensatory effect and decrease educational inequality, in which case the classroom context is more important for children originating from lower SES families. Alternatively, there can be an amplifying effect, in which case the classroom environment is more important for high-SES children. This would increase educational inequality. We investigate the two alternatives by applying a twin design to data from 4,216 twin pairs from the Netherlands Twin Register (birth cohorts 1991–2002). Some twin pairs share a classroom and other twins from the same pair are in different classrooms. We use this fact to decompose the variance in educational performance at the end of primary school into four components: genetic variance, classroom variance, shared environmental variance, and non-shared environmental variance. We find that of the total variance in educational performance, only a small part (2 per cent) can be attributed to differences between classrooms within schools. The influence of the classroom was larger when the level of parental SES was lower (up to 7.7 per cent) indicating a compensatory effect.

Een goede schrijver geeft goede feedback, een slechte schrijver geeft slechte feedback?

Bij peer feedback geven leerlingen feedback aan hun medeleerlingen. Hoewel het geven en ontvangen leerzaam kan zijn voor beide partijen, zijn er ook zorgen over peer feedback. Niet in de laatste plaats bij leerlingen zelf: zij vragen zich geregeld af of hun medeleerlingen wel voldoende vaardig zijn om goede feedback te geven. Als leerlingen elkaar bijvoorbeeld feedback moeten geven op een geschreven tekst, maar de feedbackgever is geen sterke schrijver, kan deze feedbackgever dan wel goede feedback geven? Een studie die onlangs verscheen in Journal of Educational Psychology onderzocht de impact van de schrijfvaardigheid van degene die peer feedback geeft op de kwaliteit van de feedback die deze leerling geeft. De auteurs, Wu en Schunn, vonden dat het nuttiger is om uit te gaan van de meer specifieke sterke en zwakke punten van elke beoordelaar. Het maakte in deze studie niet uit of een leerling in het algemeen meer of minder succesvol was in zijn eigen schrijfprestaties. Het was veeleer van belang of zij het specifieke onderwerp dat zij moesten beoordelen, onder de knie hadden. Wanneer hun eigen schrijven het specifieke probleem had dat het document dat zij moesten beoordelen, had, gaven zij minder nuttige feedback. De auteurs concluderen dat ook zwakkere schrijvers toch nuttige feedback kunnen geven aan hun medeleerlingen.

Het abstract

Although peer review has been widely used for formative assessment in writing instruction, there remain concerns about whether assessors are at a sufficient writing performance level that would allow them to identify major problems in the reviewed work and provide helpful feedback to improve draft quality. Little empirical research has examined how assessor writing performance specifically influences problem identification accuracy and helpfulness of feedback, nor has it acknowledged different grain sizes of assessor performance. Assessor writing performance at different grain sizes (i.e., performance at the levels of genre, dimension of a genre, and specific problem topic) was assessed alongside problem identification accuracy and feedback helpfulness in 234 high school students who participated in an anonymous multipeer review in a secondary writing course in the United States. A correlation analysis showed that assessor performance levels on specific problem topics were meaningfully separable, thereby allowing for consideration of the effects of assessor performance at genre, dimension, and topic levels. Multiple regression results indicated that assessor writing performance was unrelated to problem identification accuracy at any grain size. Therefore, scaffolds in the reviewing process appear sufficient to support problem identification accuracy. However, assessor writing performance, particularly on specific dimensions and specific topics, consistently predicted helpfulness of feedback, even though lower performing assessors rarely produce incorrect advice. Theoretical and practical implications of the findings are discussed.

 

Mentaal welbevinden leerkrachten stond onder druk tijdens pandemie

Nog zeer regelmatig verschijnt er onderzoek naar de effecten van de schoolsluitingen, bijvoorbeeld op leerlingen en docenten-in-opleiding. Ook op het welbevinden van leerkrachten hadden de schoolsluitingen impact. Een nieuwe, grootschalige studie uit de VS vergelijkt het welbevinden tijdens de pandemie tussen leerkrachten in het basisonderwijs en leerkrachten in andere beroepen. Deze studie laat zien dat leerkrachten vaker angstsymptomen rapporteerden dan werknemers in andere beroepen en dat leerkrachten die onderwijs op afstand gaven significant hogere niveaus van distress rapporteerden dan degenen die op school lesgaven.

Het abstract

With an emergence of research investigating the educational impacts of the COVID-19 pandemic, empirical studies assessing teachers’ mental health throughout the pandemic have been scarce. Using a large national data set, the current study compares mental health outcomes during the pandemic between pre-K–12 teachers and professionals in other occupations. Further, we compare the prevalence of mental health outcomes between in-person and remote teachers (N = 134,693). Findings indicate that teachers reported a greater prevalence of anxiety symptoms than did those in other professions and that remote teachers reported significantly higher levels of distress than did those teaching in person. We summarize the policy implications of these results.

We need to talk about that review of the outcomes of learner-centered pedagogy

A week ago this new review of the outcomes of learner-centered pedagogy (LCP) went viral. It attempts to examine the effects of LCP in low- and middle income countries. Have a look at the abstract:

An increasing number of studies have investigated the implementation of Learner-Centred Pedagogy (LCP) in different countries, but there is still limited empirical evidence on what impacts LCP may have on learners and learning. This article summarises the findings of a systematic review of 62 journal articles reporting the outcomes of LCP implementation in low- to middle-income countries. The review found relatively few studies that provided objective evidence of LCP effectiveness. A higher number of studies identified non-objective perspectives of LCP effectiveness, such as teacher and student perceptions, as well non-cognitive outcomes such as increased student motivation, confidence, and enhanced relationships.

The main message of the review is that there are few studies that deliver objective evidence (e.g., using standardized assessment methods, employing rigorous research designs) that LCP affects learner outcomes positively, while there is an abundance of studies that seem to focus on non-objective outcomes (e.g., teacher-student relationships, student perceptions). 

To know what the authors meant by LCP, have a look at the table below. A pretty broad definition, don't you think?

The review was quickly picked up on social media. What struck me is that this review was quickly used to dismiss practices that align with LCP. But I don't think that this review can be used for that at all. I think the review has too many issues to be the final nail in the coffin of LCP. Some of the issues are:

• In their search for studies, the authors searched for studies with the words ‘learner-centred’, ‘student-centred’, ‘child-centred’ in title and/or abstract. This means that studies that met the description of LCP but did not have these words in title or abstract were not included. The authors justify this because including the LCP elements in their search would have dramatically increased the number of hits. While this is understandable, it probably means that they missed out on a number of relevant studies.
• It also raises the question how useful it is to do a review on a concept that is as broad as learner centered pedagogy. If all studies conducted on peer tutoring would fall within this definition, probably studies on collaborative learning, problem-based learning, inquiry learning, simulation-based learning, etc. could also fall within in this definition. The same goes for studies that adopt self-determination theory to study the effects of learner autonomy on learning outcomes. And how about studies that investigated the effect of Montessori or Jenaplan education? These could also fall within the definition. Meta-analyses and systematic reviews have been criticized for comparing apples to oranges, and in this case this seems like a valid criticism.
• The issue above also leads to strange situations. The authors for example discuss a study on peer tutoring Malaysia. While peer tutoring matches some of the LCP elements the authors describe (e.g., active participation) and it thus is justifiable to include this study in the review, it is strange not to include other studies on peer tutoring in the review, just because they do not mention keywords such as 'learner-centred' in their title or abstract.
• While LCP consists of six elements according to the authors, they do not distinguish between studies that include only all elements of LCP and studies that contain less or even only one element. Is it justified to call studies that only address 21st century skills as studies into LCP?
• By not investigating whether the number of LCP elements included in an LCP classroom actually matters, the authors miss out on an opportunity to understand how different LCP implementations affect the outcomes of LCP differently. The review treats all LCP implementations as equal and is questionable whether this is actually the case.
• In most systematic reviews a type of coding is done: authors code various aspects of the study to be able to for example distinguish between different outcome measures (e.g., standardized tests vs. teacher-made tests). However, this also introduces a potential source of bias: coders have their own interpretations and these can vary. It is good practice to implement measures to counter these coder biases, by for example training coders and establishing interrater reliability. It is difficult to know if and how this was done in this study. The authors write: "two researchers comprehensively checked each of the codes", but this does not give us insight into what the results of these checks were and how often changes were made.
• In any systematic review there will be high quality studies and lower quality studies. These lower quality studies introduce another potential source of bias in the systematic review. It is good practice to determine the quality of each included study, for example using instruments for critical appraisal (e.g., CASP). This way, the reviewer can for example check whether the results of the review are similar for lower quality compared to higher quality studies. Usually, higher quality studies tend to provide more conservative estimates of the outcome than lower quality studies. It is a missed opportunity that the authors did not investigate the quality of the studies they included in their review.
• The review focuses on the use of LCP in low- and middle-income countries and thus excludes results of studies conducted in high-income countries. Although the authors may be right that "there have been very few systematic reviews or meta-analyses examining" LCP in low- and middle income countries, it is a missed opportunity not to survey the whole body of literature. A better way to address this would have been to code whether the study was conducted in a low-, middle- or high-income country and to check whether the effects of LCP differ across these countries.
• As the authors acknowledge, there is a strong tendency in journals to publish studies demonstrating significant effects (i.e., publication bias). One way to counter this is to explicitly search for studies that were not published in journals, by for example examining conference abstracts, archives of dissertations and by reaching out to researchers to ask whether they have unpublished work relevant to the review. The authors neglected to do this, thus running the risk of introducing another source of bias in their results.

All in all, I do not think we can use this review to dismiss LCP altogether. For me this highlights two things. First, as researchers we must do better in defining what we mean when we investigate different forms of education. A definition of LCP like the one used for this study leads to the situation that loads of experiments would fall within the definition, but these studies could be massively different. I don't think we can learn anything meaningful from lumping all of these studies together. Second, I think we can conclude from this review that we should also do better investigating the effects of LCP. If only 9 out of 62 included studies study objective measures of student progress, we have our priorities mixed up.

Effecten van een korte lessenreeks om zelfregulatie te onderwijzen

Zelf-regulatie is de vaardigheid om je eigen leerproces te kunnen monitoren en controleren. Hoewel zelf-regulatie wordt gezien als een belangrijke vaardigheid die leerlingen in staat stelt om succesvol te studeren, is het niet duidelijk hoe deze vaardigheid op de beste manier ontwikkeld kan worden bij basisschoolleerlingen. In Nature Human Behaviour verscheen een interessante studie waarin de effecten zijn onderzocht van een korte lessenreeks op de zelf-regulatievaardigheden en leerprestaties van leerlingen in de onderbouw van de basisschool. De auteurs ontwikkelden vijf lessen gebaseerd op de principes van MCII, mental contrasting with implementation intentions. Dit komt erop neer dat je leert hoe je doelen stelt, bedenkt wat de positieve uitkomsten van het behalen van deze doelen zijn en hoe je eventuele obstakels bij het behalen van deze doelen tackelt. 

De uitkomsten van deze lessenreeks zijn onderzocht met behulp van een een randomized controlled trial en laten een duidelijk effect van de interventie op de zelfregulatievaardigheden en leerprestaties van leerlingen zien. Hiermee lijkt deze strategie een veelbelovende strategie voor het onderwijzen van zelfregulatievaardigheden bij jonge basisschooleerlingen.

Het abstract

Children’s self-regulation abilities are key predictors of educational success and other life outcomes such as income and health. However, self-regulation is not a school subject, and knowledge about how to generate lasting improvements in self-regulation and academic achievements with easily scalable, low-cost interventions is still limited. Here we report the results of a randomized controlled field study that integrates a short self-regulation teaching unit based on the concept of mental contrasting with implementation intentions into the school curriculum of first graders. We demonstrate that the treatment increases children’s skills in terms of impulse control and self-regulation while also generating lasting improvements in academic skills such as reading and monitoring careless mistakes. Moreover, it has a substantial effect on children’s long-term school career by increasing the likelihood of enroling in an advanced secondary school track three years later. Thus, self-regulation teaching can be integrated into the regular school curriculum at low cost, is easily scalable, and can substantially improve important abilities and children’s educational career path.

Lessen uit de lockdown: synchroon vs. asynchroon online onderwijs

In de coronacrisis heeft het hoger onderwijs diverse keren over moeten stappen naar online onderwijs vanwege lockdowns. Gelukkig zijn er in die tijd veel tips gedeeld waarmee docenten hun voordeel konden doen. Eén van de eerste vragen die docenten zichzelf in deze situatie stellen is de vraag of het van belang is dat er synchrone, online bijeenkomsten georganiseerd moeten worden via bijvoorbeeld MS Teams of Zoom? Of is het ook mogelijk om een effectieve online cursus te verzorgen die volledig asynchroon is? In een recent verschenen studie in Journal of Computer Assisted Learning zijn studenten bevraagd over hun ervaringen tijdens cursussen waarin er online synchrone bijeekomsten waren via bijvoorbeeld Zoom of tijdens cursussen die online plaatsvonden maar waarbij er geen synchrone bijeenkomsten waren. De auteurs maken voor hun onderzoek gebruik van het Community of Inquiry framework van Garrison en Anderson (2001). 

De resultaten van het onderzoek laten zien dat in synchrone cursussen studenten sterkere social en teaching presence ervaren dan in asynchrone cursussen. Opvallend is ook dat in synchrone cursussen de social presence (bv. of studenten zich verbonden voelden met hun medestudenten en of ze goed met hen konden communiceren) positief samenhangen met ondere andere de cijfers die studenten haalden in de cursus. Het volgen van een cursus met synchrone online bijeenkomst lijkt dus voor een andere ervaring te zorgen dan een volledig asynchrone cursus. Deze stude kent wel twee beperkingen: de studie is niet opgezet als een experiment maar als een survey dus er was weinig controle op externe variabelen die ook invloed kunnen hebben op de resultaten en de studie leunt stevig op zelfrapportage.

Het abstract

Background

Online learning and teaching were globally popularized due to the impact of Covid-19. The pandemic has made both synchronous and asynchronous online learning inevitable in regions privileged with the technological affordance.

Aims

This study was designed to examine and compare the effectiveness of both learning modes through the Community of Inquiry framework.

Materials & Methods

Comparative analyses on a sample of N = 170 undergraduate students who took both synchronous and asynchronous online courses in Spring 2021.

Results

The paired-sample T-tests results indicated a significant difference in social presence, cognitive presence and self-evaluated performance.

Discussion & Conclusion

Teaching presence significantly influenced social presence and cognitive presence in both learning modes. However, under synchronous learning mode, social presence significantly impacted self-evaluation, grades and school identification. While social presence only influenced school identification under asynchronous learning mode. Theoretical and practical implications were also included.

Lay Description

• This paper is particularly informative as a comparative study, because we sampled students who had both synchronous online courses and asynchronous online courses in the Spring 2021 semester. And we only compared students' experiences within themselves using paired-sample T-tests, meaning that we compared the learning experience of the same person under two learning modes, rather than compare two samples.
• Although synchronous learning and asynchronous learning are both online learning methods, students had significant different experience in social presence and cognitive presence in the two learning modes, and had significantly higher self-evaluated performance in synchronous learning mode. They learned in a more socially engaged and cognitively engaged way in synchronous online courses.
• Through structural equation modelling tests, we found that social presence was the most important factor in synchronous online courses. It impacts students' self-evaluation, grades, and identification to their attended schools. However, in asynchronous learning mode, teaching presence was the most important factor.
• What is particularly interesting is that social presence leads to lower self-evaluated performance, but higher grades in synchronous learning environment. Students might dislike the fact that they had to talk and discuss in online courses just like in face-to-face courses and they'd rather sit back and do the assignment without synchronous instructions. But, they do better without social interactions in synchronous class meetings.

De week op het onderwijswetenschappen blog: schoolsluitingen, retrieval practice, nano colleges en meer

Wat verscheen er deze week op het onderwijswetenschappen blog? Een korte terugblik:

• Schoolsluitingen vergrootten verschillen tussen leerlingen in Hongarije
• Helpen games om wiskundeangst te verminderen?
• Retrieval practice: deze medaille heeft ook een keerzijde?
• Lockdowns en schoolsluitingen hadden negatieve invloed op zelfeffectiviteit docenten-in-opleiding
• Maak kennis met Onderwijswetenschappen: Nanocolleges over braingym, multitasken en de effecten van de schoolsluitingen
• Zorgwekkend nieuws uit Nationaal Cohortonderzoek: Nog steeds grote vertraging voor spelling en rekenen-wiskunde
• Fonemisch bewustzijn stimuleren

Fonemisch bewustzijn stimuleren

Fonemisch bewustzijn houdt in dat kinderen onder andere inzien dat woorden bestaan uit afzonderlijke klanken. Fonemisch bewustzijn is een belangrijk onderdeel van het leren lezen. Hoe kun je als leerkracht bijdragen aan de ontwikkeling van fonemisch bewustzijn bij jonge kinderen. Deze vraag staat centraal in dit artikel in JSW.

Zorgwekkend nieuws uit Nationaal Cohortonderzoek: Nog steeds grote vertraging voor spelling en rekenen-wiskunde

Dat de schoolsluitingen in het basisonderwijs grote impact hebben gehad op Nederlandse basisschoolleerlingen was al een tijd duidelijk. Het Nationaal Cohortonderzoek Onderwijs volgt al tweeeneenhalf jaar de gevolgen van deze schoolsluitingen. Helaas zijn de cijfers die het NCO deze week presenteerden niet erg hoopgevend: bij de leerlingen die bij de start van de coronacrisis in groep 3, 4 of 5 zaten blijft de leergroei bij spelling en rekenen-wiskunde duidelijk achter.

Maak kennis met Onderwijswetenschappen: Nanocolleges over braingym, multitasken en de effecten van de schoolsluitingen

Vandaag en morgen zijn de open dagen van de Universiteit Utrecht. De kans om kennis te maken met de opleiding Onderwijswetenschappen. Vind je het leuk om wat mee te krijgen over onderwerpen waar onderwijswetenschappers zich mee bezighouden? Dan zijn de volgende drie nanocolleges interessant om te bekijken!

Braingym

Multitasken

De effecten van de schoolsluitingen

Meta-analyse toont effectiviteit van Universal Design for Learning

Universal Design for Learning (UDL) is een onderwijsontwerp-kader dat kan worden gebruikt om leeromgevingen inclusief, flexibel en ondersteunend te ontwerpen, rekening houdend met verschillen tussen leerlingen. De meeste onderzoeken naar UDL zijn gericht op zelfbeoordelingen van leerlingen die UDL-gebaseerde instructie ontvangen, vaak na training van hun leraren in UDL. Deze studies beoordelen UDL positief, maar bieden geen concrete bewijzen van verbeterde prestaties. Een recente meta-analyse van onderzoek naar de prestaties van leerlingen die UDL-gebaseerde instructie ontvangen, laat echter een significant positief effect zien op de prestaties van leerlingen. 

Het abstract

This meta-analysis examined learners' academic achievement in Universal Design for Learning (UDL) environments compared to business-as-usual conditions. Twenty studies, consisting of 50 individual effects, met the eligibility criteria, focusing uniquely on participants' learning and treatment/control designs. Academic achievement was analyzed for pre-kindergarten to adult participants. Results yielded a moderate positive combined effect for learners receiving UDL treatments (g = 0.43), indicating moderate efficacy of the UDL-based instruction. Five significant moderators were identified. In addition, the UDL Reporting Criteria were employed to assess whether studies included information regarding UDL-based design components. UDL's emergence as a research-based practice for diverse learners is discussed.

Lockdowns en schoolsluitingen hadden negatieve invloed op zelfeffectiviteit docenten-in-opleiding

Veel onderzoek naar de impact van schoolsluitingen en lockdowns richt zich op de gevolgen voor leerlingen. Maar ook voor docenten-in-opleiding hadden de schoolsluitingen en lockdowns een impact: onderwijs op de lerarenopleiding ging niet door of moest online gegeven worden en stages op school gingen niet door of moesten anders ingevuld worden. Een recente studie in Teaching and Teacher Education onderzoekt de impact van de schoolsluitingen op de zelfeffectiviteit van docenten-in-opleiding. Deze studie van Symesa, Lazaridesa en Hußnera onderzocht 201 docenten-in-opleiding. De resultaten van de studie laten zien dat zelfeffectiviteit van docenten-in-opleiding in een semester met schoolsluitingen minder toenam dan een vergelijkbaar cohort dat niet getroffen werd door schoolsluitingen. De auteurs nemen aan dat dit veroorzaakt wordt doordat deze docenten-in-opleiding minder praktische ervaring op konden doen. 

Het abstract

This study used latent growth curve models to examine the impact of the COVID-19 pandemic on the development of teacher self-efficacy in student teachers. Results indicate that the teacher self-efficacy of student teachers taught during the first COVID-19 lockdown increased significantly less across a semester compared to student teachers taught prior to the pandemic, who gained practical experience in schools. There may be a cohort of student teachers at risk of entering the profession with lower self-efficacy than is typical. Universities and schools may wish to provide additional practical experiences to compensate for the missed opportunities during the COVID-19 pandemic.

 

Retrieval practice: deze medaille heeft ook een keerzijde?

Retrieval practice wordt gezien als een effectieve manier van studeren. Retrieval is het ophalen van informatie uit het geheugen. En dit ophalen van informatie uit het geheugen verstevigt in veel gevallen deze informatie in het geheugen. Toch zijn er ook situaties waarin retrieval ook negatieve effecten kan hebben. In het tijdschrift Nature Reviews Psychology verscheen onlangs een review van Roediger en Abel waarin de positieve en negatieve effecten van retrieval in verschillende situaties worden samengevat.

Het abstract

 Accurately retrieving information from memory boosts later retrieval. However, retrieving memories can also open a window to errors when erroneous information is retrieved or when new information is encoded during retrieval. Similarly, the process of retrieval can influence recall of related information, either inhibiting or facilitating it depending upon the situation. In addition, retrieving or attempting to retrieve information can facilitate encoding of new information, regardless of whether the new information is correct or incorrect. In this Review, we provide selective coverage of the influences of memory retrieval in three distinct arenas: effects on the retrieved information itself, effects on retrieval of related information, and effects on information encoded just after an event is retrieved. Consideration of both positive and negative effects of retrieval in these three domains is critically important to understanding the complexity of retrieval processes and their effects. We discuss episodic context as a conceptual umbrella relevant to all these retrieval effects and note key directions for future research.

 

Helpen games om wiskundeangst te verminderen?

Als je wiskundeangst hebt, dan vertoon je negatieve emoties bij het denken aan rekenen of wiskunde op een dusdanige manier dat het ook je prestaties beïnvloedt. Het idee bestaat dat het inzetten van game-based learning bij kan dragen aan het verminderen van wiskundeangst. In een recente meta-analyse zetten Dondio, Gusev en Rocha het beschikbare onderzoek op een rij. Deze meta-analyse is onlangs verschenen in het tijdschrift Computers & Education. Deze meta-analyse laat zien dat het effect van games op het reduceren van wiskundeangst klein is. Dit geldt vooral voor digitale games, bij "gewone" spellen, zoals kaart- of bordspellen, lijkt het reducerende effect wat groter te zijn.

Het abstract

In this paper, we present the first meta-analysis of the effectiveness of game-based interventions in reducing students’ levels of maths anxiety. After searching for randomised studies relevant to game-based intervention for maths anxiety, 22 effect sizes with 913 participants described in 15 peer-review articles met the selection criteria. A random-effects meta-analysis indicated a reduction of maths anxiety with a small-effect size (mean effect size ES = −0.24, CI = [ − 0.47, −0.01], marginally significant at 0.05 level but not robust to a leave-one-out sensitivity analysis. Several factors moderated the results: non-digital games were more effective, while digital games had a negligible mean effect size of ES = −0.10, CI = [ − 0.24, 0.03]. The effect size was also moderated by the total duration of the intervention, to the advantage of longer interventions, and by the type of gameplay: games had a greater effect on maths anxiety reduction when they promoted collaborative and social interactions. Such features were mainly present in non-digital games, while all bar one of the digital intervention used single-player games. The results obtained, particularly weak for digital games, indicated the need to develop and test games explicitly designed for math-anxious students to increase the impact of game-based interventions for anxious students. This will require the investigation of the relationship between game features and maths anxiety through analysing the behaviour of anxious and non-anxious students at play. Among the features that an anxiety-aware game could employ, we suggest collaborative gameplay, social interactions, adaptability, features promoting intrinsic motivation and embedding real-time measurements of maths anxiety.

Schoolsluitingen vergrootten verschillen tussen leerlingen in Hongarije

Ook al zijn de schoolsluitingen al weer even geleden er verschijnt nog regelmatig onderzoek naar de effecten van deze schoolsluitingen. In de nieuwste uitgave van Learning & Instruction is een onderzoek naar de effecten van de schoolsluitingen op Hongaarse basisschoolleerlingen verschenen. Dit onderzoek onder 55.000 leerlingen liet zien dat ook in Hongarije de schoolsluiting negatieve effecten had op de ontwikkeling van leerlingen. Zo vonden de auteurs dat de schoolsluitingen een negatieve invloed hadden op beginnende gecijferdheid. Het onderzoek liet verder zien dat de negatieve effecten het grootst waren in de onderbouw. Bovendien bleken de schoolsluitingen de kansenongelijkheid verder te vergroten: de impact was het grootst op leerlingen met een lage SES.

Het abstract

Remote learning during the COVID pandemic has led to short- and long-term consequences for students' learning. So far, data on learning loss in early schooling have been limited. In this paper, we evaluate the effect of remote learning on 1st graders' school readiness skills and 2nd–8th graders’ performance in mathematics, reading and science using rich data collected in Hungary before and during the pandemic (n ≈ 55,000). The results show that kindergarten children and 1st–4th-grade students were significantly negatively affected by COVID restrictions compared to their older peers. This difference was extremely large in schools with a high share of disadvantaged students. More specifically, 1st–4th-grade low-SES students made little or no progress while learning from home.

De week op het onderwijswetenschappen blog: Werkt mindset (2x), online cursussen, impact schoolsluitingen, community engaged learning en meer

Wat verscheen er deze week op het onderwijswetenschappen blog? Een korte terugblik:

1. Wat zijn de effecten van mindsetinterventies? Twee meta-analyses proberen hier antwoord op te geven en de eerste analyse komt tot een minder positief antwoord dan de tweede.
2. Het staat in de cursushandleiding! Hoe designkenmerken van online cursussen samenhangen met studieprestaties.
3. Negatieve impact van schoolsluitingen op schrijfvaardigheid van basisschoolleerlingen.
4. Meta-analyse: Word je van community engaged learning een beter mens?
5. Infographic: Aanpak van gelijke kansen in Amsterdam.
6. Dagdromen tijdens colleges: Hoe vaak komt het voor en welk effect heeft het?
7. Evidence-based education: Understanding memory and learning.

Volgende week volgen er ongetwijfeld weer nieuwe blogs over onderwijswetenschappen en onderwijsonderzoek!

Evidence-based education: Understanding memory and learning

Welke inzichten biedt de cognitieve psychologie voor het lesgeven? In het e-book “Understanding memory and learning” worden inzichten over de werking van het geheugen toegankelijk uitgelegd en worden implicaties voor het onderwijs gegeven.

Dagdromen tijdens colleges: Hoe vaak komt het voor en welk effect heeft het?

 

Na één van de eerste hoorcolleges die ik gaf liep ik na afloop door de zaal om te zien of er spullen waren achtergebleven en toen viel me op dat de bankjes op de achterste rijen bezaaid waren met kranten (dit was dus nog voordat iedereen een laptop of smartphone meenam de collegezaal in): deze studenten hadden blijkbaar tijdens het college wat anders gedaan dan meedoen en aantekeningen maken. En als er studenten de krant lezen tijdens het college, dan zijn er vast ook studenten die op andere manieren niet betrokken waren bij het college, bijvoorbeeld doordat ze aan het dagdromen waren. 

Onderwijsonderzoekers hebben meermaals onderzoek gedaan naar de frequentie van deze task-unrelated thoughts tijdens onderwijsactiviteiten in het hoger onderwijs. Ook is er meermaals onderzocht wat de impact hiervan is op leerprestaties. Dit onderzoek is recentelijk samengevat door Wong en collega's (2022): zij publiceerden in Contemporary Educational Psychology een meta-analyse waarin ze de vraag stellen hoe vaak dit dagdromen of deze task-unrelated thoughts voorkomt en wat de impact hiervan is op leerprestaties. 

De uitkomsten van dit onderzoek zijn dat studenten ongeveer 30% van de tijd task-unrelated thoughts hebben tijdens onderwijsactiviteiten. Het maakt daarbij niet uit om welke activiteiten het gaat: dit percentage ligt ongeveer even hoog voor het bekijken van een videocollege, het bijwonen van een hoorcollege of het lezen van een onderwijstekst. Helaas zijn er weinig studies die het dagdromen en de impact daarvan onderzoek tijdens andere onderwijsvormen zoals practica of interactieve werkgroepen. Wat het onderzoek wel duidelijk laat zien is dat deze task-unrelated thoughts negatief samenhangen met leerprestaties. De gemiddelde correlatie tussen task-unrelated thoughts en leerprestaties is -0.27.Het artikel bevat geen praktische implicaties (Wat kun je doen om te zorgen dat studenten minder dagdromen?), maar de auteurs geven wel aan dat het percentage van 30% als een benchmark zou kunnen dienen: als dit zo'n beetje het gemiddelde is, dan is het interessant om voor andere onderwijsvormen te onderzoeken of het percentage task-unrelated thought lager of hoger is dan 30% of om te onderzoeken of specifieke didactische ingrepen leiden tot lagere percentages.

Het abstract

The “costs” of task-unrelated thought (often referred to as mind-wandering) on performance in educational contexts have received growing theoretical and empirical attention in the last decade. Published articles on task-unrelated thought in educational contexts usually point out two important claims: 1) that task-unrelated thought occurs often during learning and 2) that task-unrelated thought shares a negative relationship with learning outcomes. However, the corresponding rates and effect sizes reported in the literature have been quite variable to date. We thus adopted a multi-level meta-analytic approach in order to provide baseline metrics for the frequency of task-unrelated thought in educational contexts and its relationship with learning outcomes across different learning tasks and assessments. Our analysis suggests that students are off-task about 30% of the time during educationally relevant activities, and the average relationship between task-unrelated thought and learning outcomes was in line with a small-to-medium practical effect, −0.27. No differences were observed between learning tasks and various moderators. The average rates and correlation values reported in this meta-analysis can be used as a benchmark for future research aiming to assess task-unrelated thought in education.

Infographic: Aanpak van gelijke kansen in Amsterdam

Deze infographic van het Kohnstamm Instituut gaat in op de geleerde lessen van de Kansenaanpak VO van de gemeente Amsterdam. Belangrijkste succesfactoren zijn: individuele aandacht, betrokkenheid en routekaart interventie.

Make up your mind: Tweede meta-analyse laat sterker effect mindset interventies zien

Nog maar kort geleden verscheen er in Psychological Bulletin een meta-analyse over de effecten van mindset interventies op leerprestaties. Deze meta-analyse vond een klein effect van zulke interventies op leerprestaties en liet zien dat de gerapporteerde effecten groter waren wanneer auteurs zelf betrokken waren bij mindset interventies. 

Nu is er vrijwel gelijktijdig een tweede meta-analyse verschenen in hetzelfde tijdschrift. Opvallend is dat de onderzoekers onder leiding van Jeni Burnette wel een positief effect van mindset interventies rapporteren.

Het abstract

As growth mindset interventions increase in scope and popularity, scientists and policymakers are asking: Are these interventions effective? To answer this question properly, the field needs to understand the meaningful heterogeneity in effects. In the present systematic review and meta-analysis, we focused on two key moderators with adequate data to test: Subsamples expected to benefit most and implementation fidelity. We also specified a process model that can be generative for theory. We included articles published between 2002 (first mindset intervention) through the end of 2020 that reported an effect for a growth mindset intervention, used a randomized design, and featured at least one of the qualifying outcomes. Our search yielded 53 independent samples testing distinct interventions. We reported cumulative effect sizes for multiple outcomes (i.e., mindsets, motivation, behavior, end results), with a focus on three primary end results (i.e., improved academic achievement, mental health, or social functioning). Multilevel metaregression analyses with targeted subsamples and high fidelity for academic achievement yielded, d = 0.14, 95% CI [.06, .22]; for mental health, d = 0.32, 95% CI [.10, .54]. Results highlighted the extensive variation in effects to be expected from future interventions. Namely, 95% prediction intervals for focal effects ranged from −0.08 to 0.35 for academic achievement and from 0.07 to 0.57 for mental health. The literature is too nascent for moderators for social functioning, but average effects are d = 0.36, 95% CI [.03, .68], 95% PI [−.50, 1.22]. We conclude with a discussion of heterogeneity and the limitations of meta-analyses.

Hoe zijn deze verschillen te verklaren? Op het eerste gezicht maken deze meta-analyses andere keuzes: de meta-analyse van Burnette et al. heeft bijvoorbeeld minder studies geïncludeerd dan de studie van Macnamara en Burgoygne. Bovendien onderzoekt de meta-analyse van Burnette et al. niet alleen de effecten van mindset interventies op leerprestaties, maar bijvoorbeeld ook op mentaal welbevinden. Deze tweede meta-analyse kijkt dus breder naar de effecten van mindset interventies dan cognitieve leeruitkomsten. Nadere lezing van beide artikelen zal ongetwijfeld nog meer technische verschillen tussen beide meta-analyses aan het licht brengen. Dat is wellicht voor een andere blogpost. Voor nu is het in ieder geval interessant om te zien dat hoewel deze meta-analyse ook een bescheiden effect van mindset interventies op leerprestaties vindt, er wel een behoorlijk effect op mentaal welbevinden wordt gevonden in deze meta-analyse.

Meta-analyse: Word je van community engaged learning een beter mens?

Veel universiteiten, en de Universiteit Utrecht is daar geen uitzondering op, zetten voor hun onderwijs en onderzoek in op het versterken de samenwerking tussen de samenleving en de universiteit. In het universitaire onderwijs worden er steeds vaker onderwijsactiviteiten of -project georganiseerd onder de noemer service learning of community engaged learning. Community engaged learning of service learning worden bovendien gezien als onderwijsvormen die bijdragen aan de vorming van studenten die bijvoorbeeld kunnen samenwerken met individuen met diverse achtergronden en die een positieve bijdrage kunnen leveren aan de samenleving. In een zeer recente meta-analyse van kwantitatieve studies en een meta-synthese van kwalitatieve studies wordt onderzocht wat het effect van deze vorm van onderwijs is op het empatisch vermogen van studenten. Zijn deze studenten bijvoorbeeld na het deelnemen aan community engaged learning beter in staat om zich in anderen te verplaatsen? Deze vormen van onderwijs lijken inderdaad een klein maar positief effect te hebben op het empathisch vermogen van studenten. Het aantal studies dat gebruikt maakte van een controlegroep en de methodologische kwaliteit van veel studies liet echter wel te wensen over. Een ander gevaar is dat in veel studies vooral gebruik wordt gemaakt van zelfrapportage. De auteurs doen dan ook een oproep aan onderzoekers van deze vormen van onderwijs om beter onderzoek te doen: "the field of research on service learning and empathy needs to address issues with the rigour of quantitative studies". 

Het abstract

Higher education institutions seek not only to prepare students for their chosen profession, but also to develop graduates that are civic minded and make a positive social impact. The purpose of this paper is to review the literature on whether participation in service-learning leads to students reporting increased empathy. The study also examines the features within a service-learning placement that contribute to development of empathy. The review followed the 2020 Preferred Reporting Items for Systematic Review and Meta-Analysis (PRISMA) statement. The authors searched Scopus, ERIC (EBSCOhost), PsycInfo, CINAHL, Web of Science, Medline Complete, Google Scholar and specific service-learning journals not indexed in major databases for studies published before Nov 23, 2020 that met the Bringle and Hatcher (1995) definition of service-learning and measured change in, or development of, empathy. Of 662 records identified, 35 met the inclusion criteria and were included in the review. Overall, across the 14 studies included in the meta-analysis, there was a significant small effect for increase in empathy for those who participated in service-learning compared to those who did not (g = 0.261) and from pre to post service-learning (g = 0.176). Across the 21 qualitative studies, the main feature which appeared to contribute to the development of students’ empathy was direct interactions with the community. This paper provides insight into the efficacy of service-learning as a pedagogy and contributes to our understanding of the educational value of service-learning for universities. We conclude with avenues for future research and implications for practice.

Wist je trouwens dat de bachelor Onderwijswetenschappen ook een cursus heeft die is gebaseerd op de principes van community engaged learning? In deze podcast kun je daar meer over horen! 

Negatieve impact van schoolsluitingen op schrijfvaardigheid van basisschoolleerlingen

Over de impact van de schoolsluitingen als gevolg van het coronavirus is al veel geschreven. Een nieuw onderzoek, gepubliceerd in het Journal of Educational Psychology, beschrijft de impact van de schoolsluitingen in Noorwegen op de schrijfvaardigheid van leerlingen in groep 3. De schoolsluitingen in Noorwegen duurden 7 weken en tijdens deze periode gaven de Noorse leerkrachten online onderwijs. De studie van Skar, Graham en Huebner laat zien dat de schoolsluitingen een significante negatieve impact hadden op op de schrijfvaardigheid van leerlingen. De auteurs noemen hiervoor verschillende verklaringen: er was eerder sprake van emergency remote instruction dan van effectief ontworpen online onderwijs en veel jonge leerlingen hadden slechts minimaal contact met hun leerkracht tijdens de schoolsluitingen.

Het uit het abstract:

The coronavirus disease 2019 (COVID-19) pandemic and the sudden cancellation of in-class instruction for many students around the world presented an unprecedented disruption in children’s education. As the COVID-19 pandemic took form, multiple concerns were raised about the potential negative impact on students’ learning. The current study examined this proposition for children’s writing. We compared the quality of writing, handwriting fluency, and attitude toward writing of first grade Norwegian students during the COVID-19 pandemic (421 girls, 396 boys), which included emergency remote instruction for almost 7 weeks, with first grade students in the same schools a year before the pandemic began (835 girls, 801 boys). After controlling for variance due to national test scores, school size, proportion of certified teachers, students per special education teacher, school hours per student, student gender, and native language, we found that students attending first grade during the pandemic had lower scores for writing quality, handwriting fluency, and attitude toward writing than their first grade peers tested a year earlier before the COVID-19 pandemic emerged. Implications for policy and instruction as well as future research are presented.