Het staat in de cursushandleiding! Hoe designkenmerken van online cursussen samenhangen met studieprestaties

"Het staat in de cursushandleiding!" is een veel gehoord antwoord op vragen van studenten over de cursus. In een recent onderzoek in het tijdschrift Plos One onderzoeken Fischer en collega's de cursushandleidingen van 11 online cursussen. De premisse van het onderzoek is dat een goede cursushandleiding informatie geeft over belangrijke ontwerpkenmerken van de cursus (bv. de cursusdoelen, de manier waarop interactie is georganiseerd) en dat deze ontwerpkenmerken samenhangend zijn met studieprestaties van studenten. 

De auteurs komen tot een codeerschema dat vier belangrijke ontwerpkenmerken voor online cursussen bevat. Ze baseren zich hierbij op een kwalitatieve analyse van 11 cursushandleidingen van online cursussen die werden aangeboden door een Amerikaanse universiteit. Het uiteindelijke codeerschema bestond uit 23 codes gerangschikt onder vier categorieën: technologie, cursusorganisatie, leerdoelen en alignment en interpersoonlijke interacties.

Interassant is dat de auteurs vervolgens onderzoeken of het wel of niet voorkomen van bepaalde ontwerpkenmerken samenhangt met studieprestaties van studenten. Uit de analyse blijkt dat de ontwerpkenmerken cursusorganisatie en leerdoelen en alignment significante predictoren van studieprestaties zijn.

Het abstract:

The importance of online learning in higher education settings is growing, not only in wake of the Covid-19 pandemic. Therefore, metrics to evaluate and increase the quality of online instruction are crucial for improving student learning. Whereas instructional quality is traditionally evaluated with course observations or student evaluations, course syllabi offer a novel approach to predict course quality even prior to the first day of classes. This study develops an online course design characteristics rubric for science course syllabi. Utilizing content analysis, inductive coding, and deductive coding, we established four broad high-quality course design categories: course organization, course objectives and alignment, interpersonal interactions, and technology. Additionally, this study exploratively applied the rubric on 11 online course syllabi (N = 635 students) and found that these design categories explained variation in student performance.

Meta-analyse heeft forse kritiek op studies naar mindsetinterventies

Volgens de mindset-theorie presteren leerlingen die een groeimindset hebben beter dan leerlingen met een fixed mindset. Leerlingen met een groeimindset geloven dat hun kwaliteiten en mogelijkheden niet vaststaan, maar dat deze kunnen verbeteren door bijvoorbeeld oefening en inzet. Deze theorie heeft geleid tot interventies voor het onderwijs waar van dit principe gebruik wordt gemaakt. 

In Psychological Bulletin is onlangs een zeer kritische meta-analyse verschenen waarin de effecten van dit soort interventies zijn onderzocht. Deze meta-analyse van Macnamara en Burgoyne laat ziet dat het effect van dit soort interventies op leeruitkomsten weliswaar op het eerste gezicht significant is, maar ook zeer klein (d = 0.05). Bovendien bleek er met de methodologische kwaliteit van de studies ook van alles aan de hand. Wanneer enkel de studies van de hoogste kwaliteit geanalyseerd worden blijkt het gevonden effect nog kleiner en niet-significant. Opvallend én zorgwekkend is ook dat de auteurs constateren dat wanneer de betrokken onderzoekers een financieel belang hebben bij het rapporteren van positieve bevindingen er ook positievere resultaten gevonden worden. 

Het abstract van de studie:

According to mindset theory, students who believe their personal characteristics can change—that is, those who hold a growth mindset—will achieve more than students who believe their characteristics are fixed. Proponents of the theory have developed interventions to influence students’ mindsets, claiming that these interventions lead to large gains in academic achievement. Despite their popularity, the evidence for growth mindset intervention benefits has not been systematically evaluated considering both the quantity and quality of the evidence. Here, we provide such a review by (a) evaluating empirical studies’ adherence to a set of best practices essential for drawing causal conclusions and (b) conducting three meta-analyses. When examining all studies (63 studies, N = 97,672), we found major shortcomings in study design, analysis, and reporting, and suggestions of researcher and publication bias: Authors with a financial incentive to report positive findings published significantly larger effects than authors without this incentive. Across all studies, we observed a small overall effect: d¯ = 0.05, 95% CI = [0.02, 0.09], which was nonsignificant after correcting for potential publication bias. No theoretically meaningful moderators were significant. When examining only studies demonstrating the intervention influenced students’ mindsets as intended (13 studies, N = 18,355), the effect was nonsignificant: d¯ = 0.04, 95% CI = [−0.01, 0.10]. When examining the highest-quality evidence (6 studies, N = 13,571), the effect was nonsignificant: d¯ = 0.02, 95% CI = [−0.06, 0.10]. We conclude that apparent effects of growth mindset interventions on academic achievement are likely attributable to inadequate study design, reporting flaws, and bias.

Vanuit de Opleidingscommissie: een bericht van Floor en Sacha

 

Lieve lezer,

Afgelopen jaar zijn wij de twee studentleden van de OpleidingsCommissie van Onderwijswetenschappen geweest. Gedurende het jaar hebben wij ervoor gezorgd dat er net als vorig jaar (ongeveer) elke maand een blog online werd gezet. Hierin hebben verschillende studenten en docenten een kijkje gegeven in hun leven. Hierdoor zijn er veel verschillende perspectieven langsgekomen op onderwijswetenschappelijke kwesties.

Tijdens corona is het idee ontstaan om deze blog op te zetten. Op deze manier kon iedereen vanuit zijn/haar kamer alsnog meekrijgen waar anderen in deze tijd mee bezig waren. ALPO studenten, OWW studenten en docenten van beide opleidingen hebben hun visies op het onderwijs gedeeld, lees- en podcast tips gegeven en vragen van elkaar beantwoord.

Dit jaar hebben wij als OC nog een aantal blogs gepost en besloten om met deze blog de reeks af te sluiten. We hopen aankomend jaar elkaar veel op de universiteit tegen te komen en op die manier een kijkje in elkaars leven te blijven krijgen. Met deze blog sluiten we niet alleen de blogreeks af, maar ook ons jaar in de OC. We dragen met trots het stokje over aan Lynn en Ylana :)

Waar we het afgelopen jaar bezig zijn geweest met de blogs, hebben we ook nog een heel aantal andere dingen gedaan vanuit onze functie als studentlid van de OC. Zo hebben we panelgesprekken gevoerd om alle vakken te evalueren (en ook bedacht hoe we deze anders kunnen vormgeven), vergaderingen gehad met docenten en ook de Instagram van @oww_uu bijgehouden. Hiervoor hebben we onder andere samen een dagje de stad doorgefietst om verschillende studieplekjes uit te lichten in Utrecht. Naast onze taken voor de OC, hebben we namelijk afgelopen jaar ook beide heel hard gestudeerd!

Naast studeren en taken voor de Inspraak hebben we beide ook nog heel veel leuke dingen gedaan: VOCUS commissies en activiteiten, dagtripjes naar steden, feestjes en genieten van de zon (zeker deze laatste weken!). Aankomend jaar zal Sacha nog rondlopen op de Uithof voor haar laatste studiejaar. Floor zal op avontuur gaan in Oslo, waar zij voor een half jaar naartoe gaat op exchange! Voor nu wensen wij iedereen een hele fijne vakantie toe :)

Liefs,
Floor en Sacha

Een kijkje in het leven van Marjoleine

In deze blog leren we een van de medewerkers of studenten bij Onderwijswetenschappen beter kennen. Dit keer is dat docent Marjoleine Heijboer. Zij werd onlangs genomineerd voor de Docenttalentprijs van de universiteit, een titel die ze helaas net niet won. Dit is de zeventiende bijdrage in een regelmatig terugkerende serie. Onderstaande verscheen eerder op de website van studievereniging Vocus.

Dertig jaar geleden (au) startte ik met mijn studie Culturele Antropologie. Ik wilde reizen, andere culturen leren kennen en een leven in een ver buitenland opbouwen. Alhoewel ik de studie als enorm waardevol en interessant heb ervaren, begon mijn toekomstbeeld toch wel te veranderen. Reizen vond (en vind) ik nog steeds leuk, maar niet als baan. Lang verhaal kort, ik twijfelde even over promotieonderzoek (te eenzijdig), ik haalde mijn lesbevoegdheid als docent maatschappijleer (was het ook niet helemaal), werkte bij de Immigratie- en Naturalisatiedienst (IND) als hoor-en beslismedewerker (indrukwekkend en leerzaam) en kwam toen na 3 jaar terecht als opleidingsadviseur bij het Kennis-en Leercentrum van de IND. Daar viel alles op zijn plek. Mijn didactische kennis én vakinhoudelijke kennis als hoor- en beslismedewerker mocht ik daar inzetten om te zorgen dat nieuwe medewerkers van de IND goed opgeleid werden en eenmaal in dienst zich ook konden blijven ontwikkelen.

Na 8 jaar als opleidingsadviseur te hebben gewerkt, was ik toe aan een nieuwe omgeving. En die nieuwe omgeving werd TriamFloat, hier heb ik 10 jaar met ontzettend veel plezier gewerkt. Er zat niet alleen veel afwisseling in de inhoud van de opdrachten, maar ook in de organisaties en doelgroepen waar ik mee te maken kreeg. Daarnaast was er ruimte om me met TriamFloat-collega’s te verdiepen in thema’s als het organiseren van leren, leercultuur en werkplekleren. En toch.. na 10 jaar begon het kriebelen. Ik wilde meer inhoud en minder projectmanagement, ik wilde graag met groepen bezig zijn en anderen enthousiast kunnen maken voor het mooie vak. Ook hier weer lang verhaal kort: ruim 2,5 jaar geleden startte ik als docent Onderwijswetenschappen.

Die 2,5 jaar is omgevlogen. Na een half jaar flink wennen, kwam corona om de hoek. Weer een enorme omschakeling. Wat hebben we hard gewerkt met alle collega’s om van het online onderwijs iets te maken. En ook al kan er online veel, ik miste het contact met de studenten (en collega’s) enorm. Wat een feest was het om afgelopen september weer met de werkgroepen in één ruimte te zijn, hoe makkelijk was het ineens om als groep weer met elkaar écht in gesprek te gaan. Naast het begeleiden van werkgroepen, coördineer ik verschillende vakken, maak ik lesmaterialen en toetsen, geef ik hoorcolleges of maak kennisclips en begeleid ik stagiaires. Ook werk ik mee aan een project om de Leren in Organisaties vakken nóg een slagje mooier te maken en lever ik een bijdrage aan de voorlichting voor nieuwe studenten.

Met weer les op de campus, kon het eigenlijk niet mooier. Maar er kwam nog een schepje bovenop. In oktober mailde Nick van Ham, Coördinator Onderwijs van VOCUS, mij. VOCUS wilde mij voordragen voor de Docenttalentprijs van de UU: wat een verrassing en fantastisch compliment! Ik werd geïnterviewd door Nick, collega’s en studenten schreven aanbevelingen en zelf mocht ik mijn visie op het onderwijs op papier zetten. Alle mooie woorden en inzet van iedereen maakten enorm veel indruk. Maar we bleken er nog niet te zijn. In januari werd ik door de jury samen met twee andere docenttalenten genomineerd. Nauwelijks bekomen van de schrik (jeetje, ik moet nu wel echt wat waarmaken) maar ook blijdschap, mochten we weer aan de slag. Wederom moesten er verschillende materialen (evaluaties, lesmaterialen, video-opnames) worden aangeleverd en verwerkt tot een presentatie die door Nick en zijn collega Vincent aan de jury zijn gegeven. En nu is het wachten op 10 maart, dan wordt tijdens de Onderwijsparade bekend wie de docenttalentprijs ontvangt. Voor alle inzet van VOCUS, collega’s en studenten, hoop ik dat we winnen. Voor mijzelf: verliezen kan niet meer!

 

Impact van online en hybride onderwijs op gedrag van basisschoolleerlingen

Verschillende studies hebben aangetoond dat de schoolsluitingen door de coronacrisis een impact hebben gehad op de leerprestaties van Amerikaanse basisschoolleerlingen. Maar welke impact had de coronacrisis op het gedrag van basisschoolleerlingen? In een recent onderzoek bevroegen de onderzoekers Hanno, Fritz, en Jones de ouders van 348 leerlingen in de basisschoolleeftijd. Op 4 momenten in de eerste vijf maanden van 2021 vulden deze ouders een vragenlijst in over het gedrag van hun kinderen. Ouders gaven hun percepties van het gedrag van hun kind in het algemeen (veel beter dan gewoonlijk vs. veel slechter dan gewoonlijk), het aantal keren dat opvallend of onaangepast gedrag voorkwam in de voorbije periode (bv. agressief gedrag of teruggetrokken zijn) en hoe vaak het kind problemen had met het executief functioneren in de voorbije periode. Daarbij vroegen de onderzoekers ook of het kind op het moment van invullen onderwijs op school, online onderwijs of hybride onderwijs volgde.

De resultaten van het onderzoek laten zien dat vrijwel alle deelnemende kinderen overgangen in onderwijsvorm meemaakten (bv. van klassikaal naar online, zie Figuur 1). En dat in de perceptie van de deelnemende ouders het gedrag van hun kinderen in periodes van online onderwijs beduidend problematischer was dan tijdens klassikaal onderwijs (zie Figuur 2).

Figuur 1: Onderwijsvorm per meetmoment.

Figuur 2: Verschillen in kindgedrag.

Hanno, E. C., Fritz, L. S., & Jones, S. M. (2022). School Learning Format and Children’s Behavioral Health During the COVID-19 Pandemic. JAMA Pediatrics. doi:10.1001/jamapediatrics.2021.5698

Een kijkje in het leven van Gerrit

In deze blog leren we een van de medewerkers of studenten bij Onderwijswetenschappen beter kennen. Dit keer is dat docent Gerrit Verweij. Dit is de zestiende bijdrage in een regelmatig terugkerende serie.

Mijn week

Maandag 8.00u gaat mijn wekker. Ik ontbijt met cereals en stap om 8.30u op de scooter (ik heb een hekel aan fietsen). De 7 km van Bilthoven naar Utrecht leg ik in 12 minuten af. Maandag is een drukke dag, waarbij mijn 2 cursussen, Orthopedagogiek en Ontwerpen van Leersituaties, allebei aandacht vragen. Ik geniet van de afwisseling en de gesprekken met de studenten, de dag vliegt voorbij. In de avond voetbal ik lekker 1,5 uur in de zaal.

Dinsdag werk ik thuis, dan gaat de wekker meestal om 8.30u. Deze dag vult zich meestal met de acties vanuit de maandag, mijn mail, het nakijken van het één en ander en het lezen van literatuur voor het werkcollege van donderdag. Ik lunch samen met mijn vrouw Matthea, vaak maken we samen een wandeling (het bos is onze achtertuin). In de avond speel ik vaak bordspellen met vrienden, vanavond is War of the Ring aan de beurt (groot fan van Lord of the Rings).

Woensdag wederom thuis. Ik bereid de werkcolleges verder voor en stop meestal iets eerder op woensdag om naar de plaatselijke kringloop te gaan. Heerlijk op zoek naar schatten, love it. In de avond kijken we meestal wat TV of een serie, op dit moment volgen we het Perfecte Plaatje. Lekker bankhangen.

Donderdag weer naar de Uni. Het is uiteraard wat rustiger de laatste tijd, maar ik spreek toch wat collega’s, altijd gezellig. In de middag geef ik werkcollege van 13.15u-17.00u. Een flinke zit, maar we gebruiken de tijd nuttig. De studenten zijn bezig met het ontwikkelen van een lessenserie, die ze ook vanuit de literatuur onderbouwen. Er wordt hard gewerkt, gelachen en samen brengen we de producten weer een stuk verder. Donderdagavond is meestal de voetjes omhoog bij een goed boek of een leuke (kerst)film.

Vrijdag tm zondag is mijn weekend, heerlijk. Ik bezoek familie of vrienden, speel een spel, kijk een film, stofzuig het hele huis, altijd wat te doen! Zondagavond niet al te laat mn nest weer in, om de maandag weer fris en fruitig aan de slag te gaan. Love my job😊

Mijn visie op en droom voor het Onderwijs

Ik merk in deze tijd van meer online onderwijs weer extra hoe belangrijk echt contact is. Ik geloof sterk in de 3 basisbehoeften: autonomie, competentie en relatie. Waarbij ik zelf relatie de aller belangrijkste vind. Vind ik dat de 3 basisbehoeften op dit moment voor alle kinderen, tieners en volwassenen in het onderwijs uit de verf komen? Nee, lang niet altijd. Maar ik ken uit eigen ervaring wel de enorme gedrevenheid van de betrokkenen bij het onderwijs, de passie en de wil om het goed te doen. 

Mijn droom voor het onderwijs (ook de vraag van mijn voorgangster, leuke blog btw Lotte😊) is dat we meer uitgaan van wat een leerling wel kan, i.p.v. wat een leerling niet kan. Soms denk ik dat wij een iets te algemene en brede basis van iedereen vragen. Wat heeft een lerende anno 2021 nodig om zich autonoom, competent en geliefd te voelen? Bereiden we hen echt voor op een rol in de maatschappij later? Ik denk eerlijk gezegd dat ze dan meer baat hebben bij de zogenaamde 21st century skills dan het oplossen van verhaaltjes sommen en het ontleden van een zin. Er is een nieuwe manier van denken nodig voor de generatie die nu leert. Interessant om over na te denken en met de studenten onderwijswetenschappen en ALPO te bespreken.

Mijn vraag aan de volgende blogger

Op welke momenten voel(de) je je autonoom, competent en geliefd en wat waren de sleutels voor deze momenten?

Bonusvraag: hoe vaak komen de woorden autonoom, competent en geliefd voor in mijn blog? 😉

Mijn ‘wijze’ woorden

Wees deze tijd extra lief voor elkaar. Bedenk steeds voor jezelf of je je autonoom, competent en geliefd voelt en doe je stinkende best om dit bij de mensen (jong en oud) om je heen te realiseren. Een super 2022 voor jullie allemaal!

De impact van de eerste schoolsluiting op taal- en rekenprestaties

Wat was de impact van de eerste schoolsluiting op de taal- en rekenprestaties van leerlingen in groep 5-7? Deze vraag stond centraal in het onderzoek van de Werkplaats Onderwijsonderzoek Utrecht. Het onderzoek laat zien dat de leerachterstanden die leerlingen tijdens de eerste lockdown opliepen fors zijn: gemiddeld meer dan twee maanden voor zowel rekenen als begrijpend lezen. Het onderzoek richtte zich op scholen met een zeer diverse leerlingpopulatie. Het onderzoek vond ook grote verschillen tussen scholen: op scholen waar de populatie voor een groter deel bestond uit leerlingen die een risico lopen op leerachterstanden was de impact van de schoolsluitingen groter.

Het abstract:

School closures due to the COVID-19 pandemic raised concerns about increases in educational inequality. We examined the magnitude of the impact of the first school closure for vulnerable student groups in particular. This study was conducted among 886 Grade 3 - 5 students in the Netherlands in schools serving a high percentage of students from disadvantaged backgrounds. Piecewise growth analyses indicated that the school closures caused discontinuity in students’ achievement growth on national standardized tests and led to an average learning loss of 2.47 months in mathematics and 2.35 in reading comprehension, exceeding the duration of the school closure. Findings suggest that school closures contribute to educational inequality and indicate which students may particularly need additional support to overcome the adverse consequences of the lockdowns.

Schuurman, T. S., Henrichs, L. F., Schuurman, N. F., Polderdijk, S., & Hornstra, L. (2021). Learning Loss in Vulnerable Student Populations After the First Covid-19 School Closure in the Netherlands. Scandinavian Journal of Educational Research. https://doi.org/10.1080/00313831.2021.2006307 

Een afbeelding zegt meer dan 1000 woorden? Niet tijdens retrieval practice

Retrieval practice, met behulp van flashcards of oefensoftware is, is een effectieve manier van studeren. Zo is het bijvoorbeeld effectiever om vocabulaire te oefenen door te leren woorden herhaaldelijk te vertalen uit het geheugen dan door herhaaldelijk woordenlijsten te lezen. In een recent onderzoek onderzochten Utrechtse collega's Gesa van den Broek, Tamara van Gog, Liesbeth Kester en studenten Evelien Jansen en Mirja Pleijsant of het toevoegen afbeeldingen of plaatjes tijdens retrvieval practice het studeren effectiever maakt. De resultaten van hun onderzoek zijn onlangs verschenen in Journal of Educational Psychology en laten zien dat het toevoegen van afbeeldingen of plaatjes in veel gevallen de effectiviteit van retrieval practice verlaagt. In drie experimenten onderzochten ze de effectiviteit van drie condities: (1) een conditie waarbij zowel tijdens de response phase (leerling probeert de vertaling van een woord te geven) als de feedback phase (leerling krijgt het correct antwoord te zien) het plaatje te zien was, (2) een conditie waarbij geen plaatjes in beide fases te zien was en (3) een conditie waarbij alleen in de feedback phase een plaatje te zien was.

De auteurs vatten de uitkomsten van hun onderzoek als volgt samen:

Practicing retrieval of vocabulary items from memory (e.g., with flashcard software or practice tests) is an effective study strategy to remember vocabulary over time. Retrieval practice is often implemented in digital learning environments that increasingly include multimedia (i.e., combining textual and pictorial information). However, it is unknown how multimedia design affects the benefits of retrieval. Therefore, the present study tested the effect of adding images during retrieval practice on students' learning, affective-motivational outcomes, and judgments of learning. We experimentally manipulated the presence and timing of images during retrieval practice of foreign vocabulary in three classroom experiments with students in secondary education. Across experiments, students' vocabulary recall on a posttest (1 to 4 days after practice) was weaker after practice with images that helped them retrieve the answer, compared with practice without images (Experiments 2 and 3) and compared with practice with images that appeared after the retrieval attempt (Experiments 1 and 3). Images enhanced feelings of competence but not enjoyment of practice. The majority of students recognized the negative effects of images on their learning only when the images clearly revealed the answer (Experiment 1) but-incorrectly-considered images that provided partial hints about the answer to be helpful (Experiments 2 and 3). Moreover, students consistently overestimated how much they learned with images that helped them retrieve the answer. During retrieval practice of vocabulary words, informative images are thus potentially harmful and students have limited insight into these effects.

En de Impact Statement: 

Practicing retrieval of vocabulary words from memory (e.g., with flashcard software or practice tests) is an effective strategy to remember the words over time. This study tested how adding images during such retrieval practice influences students’ learning and motivation. In three classroom experiments, we found that retrieval practice is less effective when it includes images that provide hints about the answer, compared to no images. Students were unaware of this effect and overestimated how much they learned with images. Multimedia should thus be used cautiously in vocabulary learning software. To ensure that students can later recall vocabulary not only with the help of the images from practice but also without images, practice should not include images that provide hints about the to-be-retrieved answer. Images can, however, be presented as feedback that is shown after the learner has given a response. 

Van den Broek, G. S. E., van Gog, T., Jansen, E., Pleijsant, M., & Kester, L. (2021). Multimedia effects during retrieval practice: Images that reveal the answer reduce vocabulary learning. Journal of Educational Psychology, 113(8), 1587–1608. https://doi.org/10.1037/edu0000499