Tips voor online samenwerkend leren

Nu universiteiten en hogescholen hun onderwijs online zijn gaan geven vanwege de Corona-uitbraak, worden er gelukkig heel veel tips gedeeld om dit onderwijs zo goed mogelijk te laten verlopen. Hier kun je als docent je voordeel mee doen in deze vreemde, hectische tijd waarin de meesten van ons een crash course online onderwijs moeten volgen. Aan de Universiteit Utrecht wordt heel veel informatie uitgewisseld via de Teaching Academy Utrecht University en is er veel ondersteuning via bijvoorbeeld Educate-it en het Centre for Academic Teaching. Op social media worden veel tips en trucs gedeeld met de hashtag #UUGotThis.

In veel opleidingen, ook in de onze, moeten studenten samenwerken aan projecten. Nu het erop lijkt dat we de rest van het studiejaar online onderwijs gaan geven, is het van belang om na te denken over hoe studenten het beste online kunnen samenwerken. Naar online samenwerkend leren (computer-supported collaborative learning) is veel onderzoek gedaan. De relevante aanbevelingen vat ik hieronder samen.

Het begint met de groepsopdracht
Als docent maak je al een fors aantal belangrijke keuzes voordat je studenten gaan samenwerken. De meest bepalende factor is wellicht de groepsopdracht die je je studenten geeft. Houd bij het formuleren van je groepsopdracht in ieder geval rekening met de volgende zaken:

1. De opdracht moet voldoende complex zijn: Het heeft geen zin om studenten te laten samenwerken aan een opdracht die zo eenvoudig is dat één groepsgenoot de opdracht tot een goed einde zo kunnen brengen. Samenwerken biedt studenten voordelen, onder andere dat zij het verwerken van relevante informatie kunnen verdelen. Het oplossen van een complexe opdracht kost mentale inspanning en door samen te werken kun je die inspanning verdelen en heb je dus voordeel van het samenwerken. Samenwerken biedt echter niet alleen voordelen: je moet tijdens het samenwerken ook inspanningen leveren die je niet zou hoeven te doen als je de opdracht individueel zou maken. Denk hierbij aan bijvoorbeeld het afstemmen van je activiteiten op de activiteiten van je groepsgenoten, vragen wat je groepsgenoten aan het doen zijn, taken verdelen, etc. Wanneer de voordelen van het samenwerken (het kunnen delen van de mentale inspanning) niet opwegen tegen de inspanningen van samenwerken (coördineren van activiteiten), dan biedt samenwerking geen voordelen ten opzichte van individueel werken. Het is dus van belang dat je goed in kaart brengt welke complexiteit nodig is voor de groepsopdracht die je aan je studenten gaat geven. [1]
2. Een groepsopdracht zorgt voor afhankelijkheid: Een goede groepsopdracht zorgt ervoor dat groepsleden elkaar nodig hebben om de opdracht tot een goed einde te brengen. Het formuleren van een complexe groepsopdracht zorgt al voor een flinke mate van afhankelijkheid: Je hebt dan echt de inzet en input van groepsgenoten nodig om de opdracht voor elkaar te krijgen. Daarnaast zijn er andere manieren om te zorgen voor afhankelijkheid. Zo kun je studenten verschillende complementaire rollen geven (bijvoorbeeld de project planner, de dataverzamelaar, de communicator en de schrijver). Ook door het verdelen van informatie onder groepsleden, kun je zorgen voor afhankelijkheid. Dit principe wordt bijvoorbeeld toegepast in de Jigsaw-methode.

Ondersteuning tijdens het samenwerken
In de voorbereiding op het samenwerken kun je als docent dus al veel doen. Maar ook wanneer je studenten aan het samenwerken zijn, kun je ze ondersteunen met behulp van aanvullende digitale ondersteuning. De onderstaande tabel met voorbeelden van ondersteuning heb ik ontleend aan de meta-analyse van Chen, Wang, Kirschner en Tsai (2018):

Ondersteuning	Omschrijving	Voorbeeld
Synchrone communicatie	Groepsleden hebben de mogelijkheid om meer geavanceerde wijzen van communicatie te gebruiken.	Videoconferencing, Skype, communicatie via social media.
Visuele representaties	Groepsleden hebben de mogelijkheid om gezamenlijk visuele representaties te maken waarmee ze gezamenlijk hun gedeelde begrip van het onderwerp kunnen construeren.	Maken van concept maps of mind maps, bijvoorbeeld via Padlet.
Tools voor group awareness	Deze hulpmiddelen verstrekken studenten met informatie over activiteiten en handelingen van groepsleden. Ondersteunt het plannen en reguleren van het groepsproces.	Grafieken die inzicht geven in de (kwantitatieve) deelname aan het groepsproces.
Virtuele omgevingen	Interactieve simulaties van virtuele omgevingen, waarin groepsleden elkaar virtueel kunnen ontmoeten en met elkaar interacteren.	Simulaties, augmented reality, virtual reality, omgevingen als Second Life.
Peer feedback en peer assessment	Groepsleden geven feedback op of beoordelen elkaars werk. Door feedback te geven aan medestudenten krijgen studenten een dieper inzicht in de criteria die gehanteerd worden voor beoordeling. Studenten geven feedback op elkaars bijdrage aan het groepsproces.	Applicaties als Peer grade en Feedback Fruits kunnen gebruikt worden om studenten elkaars werk van feedback te voorzien of te beoordelen.
Ondersteuning van sociale interactie	Studenten krijgen ondersteuning of instructie bij het adequaat communiceren en samenwerken met groepsleden.	Studenten krijgen instructie en tips over hoe het best samen te werken. Communicatie wordt ondersteund door het aanbieden van scripts.

Samenwerking is niet eenvoudig, online samenwerking nog minder
Het proces van samenwerking is niet eenvoudig voor groepsleden. Niet zelden ontstaan er verschillen van inzicht of conflicten, treedt meeliftgedrag op, of zijn groepsleden onvoldoende kritisch op elkaar. Onderzoek laat daarbij zien dat zulke problemen niet zelden vergroot worden tijdens online samenwerking. Een deel van deze problematiek blijkt inherent aan online samenwerking: de social presence, de ervaring dat de ander waarmee je samenwerkt een echte persoon is, is minder in online omgevingen. En dit draagt vervolgens bij aan het minder soepel verlopen van samenwerkingsprocessen.

Toch is dat minder soepel verlopen van samenwerkingsprocessen wel te ondervangen met ondersteuning of instructie aan studenten. Een voorbeeld daarvan is de "matrix groepssamenwerking"die mijn collega's Anne Geesink, Rianne Poot, Danielle Vlaanderen en Itzél Zuiker ontwikkelden voor onze opleiding. De matrix beschrijft aandachtspunten in de samenwerking (bv. de taak, de manier van samenwerken) en de verschillende acties die ondernomen kunnen worden (bv. overzicht creëren, communiceren). Voor elke combinatie van aandachtspunt en actie staan vragen voor studenten die de samenwerking kunnen stimuleren.

De Matrix groepssamenwerking kunnen studenten gebruiken om elkaar vragen te stellen die hen helpen de samenwerking te stimuleren.

Studenten moeten soms ook gestimuleerd worden om aandacht te schenken aan het samenwerkingsproces. Vaak zijn studenten heel erg gefocust op de inhoud en de opdracht (er is een deadline en opdracht die af moet), maar hebben ze minder aandacht voor hoe de samenwerking verloopt. Onderzoek heeft laten zien dat het gezamenlijk reguleren van het groepsproces een belangrijke bijdrage kan leveren aan de uitkomst van de samenwerking.

Een manier om de aandacht van studenten op het groepsproces te richten is gebruik maken van self- en peer assessment. Mijn collega Chris Phielix ontwikkelde de Radar samen met Frans Prins en Paul Kirschner. Deze Radar kan tijdens en na afloop van de samenwerking worden ingevuld door studenten. Ze beoordelen met behulp van Radar zichzelf en hun groepsgenoten op enkele indicatoren die van belang zijn voor samenwerking (bv. productiviteit, kwaliteit van bijdrage, vriendelijkheid). Vervolgens krijgen studenten een visuele weergave van hoe zij zichzelf beoordelen op deze indicatoren en hoe hun groepsgenoten hen beoordelen op deze indicatoren. Het invullen van de Radar en de uitkomsten van de Radar stimuleert reflectie op het eigen functioneren en het functioneren van de groep en kan ertoe leiden dat groepsleden problemen in de samenwerking met elkaar bespreken.

Door het invullen van de Radar krijgen studenten inzicht hoe zij zichzelf en hoe groepsleden hen beoordelen op voor de samenwerking relevante indicatoren.

Tot slot
Samenvattend: Mijn belangrijkste tips voor online samenwerkend leren zijn de volgende:

1. Het begint bij de samenwerkingsopdracht. Deze moet voldoende complex zijn. Bovendien moet deze zorgen voor afhankelijkheid tussen groepsleden.
2. Je kunt groepsleden ondersteunen bij de samenwerking. Hiervoor zijn diverse hulpmiddelen voorhanden. Sommige hulpmiddelen, zoals de "Matrix groepssamenwerking", zijn erg laagdrempelig en gemakkelijk in te zetten.
3. Zorg dat groepsleden niet alleen bezig zijn met de opdracht en de inhoud, maar dat ze ook aandacht geven aan het groepsproces. Dat kan door ze te laten reflecteren op het groepsproces.

[1] Mijn collega Femke Kirschner deed voor haar proefschrift onderzoek naar dit distribution advantage in relatie tot de transactiekosten tijdens samenwerkend leren. Haar onderzoek laat zien dat samenwerkend leren superieur is aan individueel leren in de situaties wanneer de groepsopdracht voldoende complex is. 

Nieuwe studie toont effect van leerstijlen?

Dankzij collega Vincent Hoogerheide kwam ik op het spoor van een studie van Lehmann en Seufert naar leerstijlen in Frontiers in Psychology. Hieronder het abstract:

This study investigates the aptitude–treatment interaction between text modality and learners’ modality preference on learning outcomes and cognitive load, which is currently a point of controversy. The Meshing Hypothesis postulates there are better learning outcomes when the modality of a learning environment matches the learner’s preference. However, previous research supporting the Meshing Hypothesis shows methodological issues. Therefore, clear empirical support is needed. We tested 42 learners in a between-subject design: Their preferences were either auditive–ambiguous or visual, and half of each preference group randomly learned either with an auditive or a visual text. As expected, we did not find any main effects, but a significant interaction between the text modality and the learner’s preference for comprehension outcomes, extraneous cognitive load, and germane cognitive load. Specifically, learners with a preference for visual texts benefit from learning with their preferred modality, they showed higher comprehension scores and less extraneous load when learning from a visual text. Auditive–ambiguous learners showed almost equal results with both text modalities. This might be explained by the fact that most texts in everyday life are presented visually, and therefore learners with an auditive preference needed to develop appropriate reading strategies. Thus, our results partly support the Meshing Hypothesis.

Interessant is dat hier wordt verwezen naar de meshing-hypothesis die eerder al op dit blog besproken werd. Deze hypothese stelt dat wanneer de manier waarop studenten leren aansluit bij hun leerstijl, zij dan beter zullen presteren. In eerder onderzoek (zie Rogowsky et al., 2015) werd er geen bewijs gevonden voor deze hypothese in een populatie van 121 Amerikaanse studenten. Nu lijkt de studie van Lehmann en Seufert toch ten dele bewijs te vinden voor deze hypothese, in ieder geval voor studenten met een visuele leerstijl. Het is overigens opvallend dat Lehmann en Seufert het in hun artikel afwisselend hebben over leerstijlen (visueel versus auditief) en voorkeuren voor auditief of visueel studeren.

Hoe moeten we deze studie zien in het licht van de veel gehoorde opvatting dat het nutteloos zou zijn om het onderwijs aan te passen aan de leerstijl van studenten?

Een sterk punt van de studie is dat de richtlijnen van Pashler et al. (2008) gevolgd zijn. Deze richtlijnen stellen dat om overtuigend bewijs voor de meshing hypothesis te leveren een studie:

1. Van de deelnemers aan het onderzoek wordt vastgesteld wat hun leerstijl is.
2. Deelnemers van elke groep moeten random worden ingedeeld groepen zodanig dat de helft van deelnemers onderwijs krijgt dat past bij zijn of haar leerstijl en de andere helft onderwijs krijgt dat niet past bij zijn of haar leerstijl.
3. Alle deelnemers maken afsluitend dezelfde toets over de leerstof.

Toch vallen er ook enkele kanttekeningen te plaatsen bij deze studie.

• De onderzoekspopulatie is met slechts 42 deelnemers erg klein. Een replicatie met een grotere groep studenten is dus zeker nodig om zekerheid te krijgen over de robuustheid van bevindingen.
• De vragenlijst waarmee voorkeur/leerstijl werd gemeten, de PAVS (preferences for auditive versus visual stimuli) was mij niet bekend. De auteurs laten zien dat de betrouwbaarheid van de vragenlijst goed is en leveren ook bewijs voor de predictieve validiteit van de vragenlijst. Aan de andere kant: ik was deze vragenlijst nog niet eerder tegengekomen en ander onderzoek gebruikt dan ook vaak andere vragenlijsten om leerstijlen in kaart te brengen.
• De items van de vragenlijst (bv. “I find it less exhausting to listen to someone compared to reading”) roepen de vraag op wat hiermee nu echt gemeten wordt: voorkeur/leerstijl of vaardigheid? Zijn degenen die negatief antwoorden op deze vraag, wellicht ook degenen die beter zijn in lezen en daarom ook beter presteren in een tekstconditie?
• In de steekproef zaten, zoals de auteurs zelf al aangaven, niet echt deelnemers met een duidelijke auditieve leerstijl. De auteurs spreken van auditive–ambiguous learners. Wellicht kan de meshing hypothese beter onderzocht worden met een steekproef waarin beide groepen beter te onderscheiden zijn. En wellicht is het ook zo dat bij een populatie hoogopgeleide deelnemers er weinig studenten met een voorkeur voor auditief leren zijn.

Al met al een interessante studie die iets te veel vragen oproept om volledig te overtuigen.



Lehmann, J., & Seufert, T. (2019). The Interaction Between Text Modality and the Learner’s Modality Preference Influences Comprehension and Cognitive Load. Frontiers in Psychology. https://doi.org/10.3389/fpsyg.2019.02820

Directe instructie: game, set and match

Reactie op Rob Martens, De mythe van directe instructie

De Open Universiteit geeft een eigen tijdschrift uit, getiteld Onderwijsinnovatie. Een recent opiniestuk daarin, geschreven door professor Rob Martens (wetenschappelijk directeur van stichting NIVOZ en hoogleraar bij het Welten-instituut van de Open Universiteit), leidde tot enige reuring. De titel van het stuk is De mythe van directe instructie. Aangezien ik wel houd van een beetje leven in de onderwijsbrouwerij en mythes bovendien echt mijn ding zijn, las ik het stuk van Martens met belangstelling. Helaas: ik vond het een nogal zwak betoog. Hieronder neem ik het stuk en de erin voorkomende argumenten met u door, en voorzie die van een weerwoord of van een instemmende opmerking.

Wie de titel leest denk misschien: ‘directe instructie’, wat is dat en zou het echt een mythe zijn? Wat houdt het überhaupt in als iets een mythe is? Gelukkig is het niet nodig om te weten wat directe instructie is om dit stuk te begrijpen, want het gaat er helemaal niet over. Het stuk gaat minder over de methode en meer over de personen die het gebruik van directe instructie binnen het onderwijs propageren, of in de woorden van Martens, de herauten van de directe instructie. Deze wat archaïsch overkomende term, die in het stuk maarliefst 15 keer gebruikt wordt, staat voor een ongewapende boodschapper. Martens lijkt de term pejoratief te willen gebruiken en er een agressieve verdediger (van directe instructie) mee aan te willen duiden, maar dat klopt dus niet helemaal. Het is onderdeel van de ietwat gemakzuchtige retoriek waarvan het stuk bol staat.

De herauten van directe instructie: ‘ze weten het zeker: het enige dat werkt in het onderwijs is directe instructie.’ Wie ‘ze’ zijn wordt niet verhelderd. Dat ‘ze’ dit weten of beweren is dan ook lastig te checken. Het is een stropopargument. Ik duid deze aan als stropop 1, omdat er nog meer volgen.

Martens toont om twee redenen sympathie met de herauten. Ten eerste bereiken zij met hun claims het publieke domein, en blijft het niet bij een discussie onder ‘studeerkamergeleerden’. Dat is mooi, maar ik had niet het idee dat discussies over (goed) onderwijs zich alleen binnen de Ivoren Toren afspeelden; het lijkt me in ieder geval niet voorbehouden aan discussies over het nut van directe instructie. Een tweede reden is dat de herauten heel uitgesproken in hun mening zijn: hun overtuiging is ‘absoluut’ en zij claimen een ‘onwrikbare waarheid’ te bezitten. Het zou kunnen, maar het was prettig geweest als Martens concreet had kunnen maken wat zijn bron voor die bewering is. Het is ook enigszins wel ironisch als je met een dergelijke stelligheid anderen van al te grote stelligheid beschuldigt. Maar: het voordeel van stellige beweringen is dat ze gemakkelijk te ontkrachten zijn.

Martens is minder sympathiek over de toon van de herauten. Die wordt namelijk bepaald door hyperbolen waar de media al te graag graag op inspringen. Het debat krijgt daardoor ‘barbaarse trekken’, met name op Twitter, het ‘afvoerputje van de sociale media’. Martens schiet met scherp, maar onduidelijk is op wie. Daarbij negeert hij gemakshalve de andere kant van het debat, van waaruit personen zich ook niet altijd even eloquent uiten. Ik duid dit punt aan als stropop 2, ook omdat Martens impliceert dat de herauten van de directe instructie tegen onderwijsvernieuwing zouden zijn, een toegevoegde claim die verder niet wordt onderbouwd.

Aangezien volgens Martens voorstanders van directe instructie zich vaak baseren op cognitive load theory (CLT) richt hij zijn pijlen daarop. Aangezien directe instructie een vrij brede methode omvat lijkt die keuze nogal specifiek. Dat maakt het Martens wel makkelijker om CLT te bekritiseren. De theorie houdt bijvoorbeeld geen rekening met motivatie van leerlingen. Martens zet de theorie neer alsof het om een voetbalclub met ‘aanhangers’ gaat. Die aanhangers maken hun tegenstanders graag zwart en ‘vergelijken hen met zombies’. Ook zetten zij voorstanders van onderwijsvernieuwingen als ontdekkend leren en iPadscholen (kent u ze nog?) weg als ‘charlatans’ en ‘kwakzalvers’. Daarmee is stropop 3 inmiddels flink opgetuigd. Martens herkent in al deze zwartmakerij een handige publicatiestrategie: negatieve publiciteit is tenslotte ook publiciteit. Waar het zojuist nog over Twitter ging, gaat het nu ineens over wetenschappelijke citatiescores. Het is nogal een sprong.

Martens noemt in zijn betoog een aantal zwakke punten van CLT. CLT ziet de mens als een soort computer (dat is het klassieke cognitivistische perspectief), en daarom doet ‘net als bij een computer’ motivatie er niet toe. Het is waar dat motivatie binnen CLT geen rol van betekenis speelt, maar dat wil niet zeggen dat motivatie er niet toe doet. Het is simpelweg geen onderdeel van deze theorie. Intelligentie is dat bijvoorbeeld ook niet. Motivatie kan in de toekomst best een onderdeel worden van de theorie (zoals dat ook voor intelligentie opgaat).

Een ander verwijt is dat CLT als theorie niet falsifieerbaar is. Dat is terechte kritiek, maar het voert te ver om de theorie daarmee ‘niet wetenschappelijk’ te noemen. Dat zeggen toont eerder een nogal beperkte visie op wetenschappelijkheid. CLT is wat dat betreft ook nog een theorie in wording, waarbij niets vastligt en aanpassingen te allen tijde mogelijk zijn. Dát is een kernmerk van wetenschap. Bij de door Martens gelauwerde alternatieve zelfdeterminatietheorie verzuimt hij overigens te vermelden of deze dan wél falsifieerbaar is (feitelijk niet).

Volgens Martens laat onderzoek naar probleemgestuurd leren (PBL) zien dat ontdekkend leren wel degelijk effectief kan zijn. Journaliste Kaya Bouma (geen hij, Rob) had beter Rotterdam of Utrecht kunnen bellen dan concluderen dat dat niet het geval is (welke hoogleraar zij in Utrecht hierover had moeten bellen weet ik niet). Martens had in het artikel waarnaar hij verwijst (het in de onderwijskunde beroemde artikel van Kirschner, Sweller, en Clark uit 2006 waarin ‘minimal guidance’ tijdens leren wordt afgeserveerd) kunnen lezen dat PBL daarin wordt gezien als een vorm van ‘guided discovery’, een leervorm waartegen zij zich niet afzetten. In feite kan CLT prima omgaan met PBL, want een van bij-effecten van de theorie is het ‘expertise reversal effect’, dat zegt dat beginners anders leren dan experts. Directe instructie voor de beginners, PBL voor de experts, om het maar een beetje kort door de bocht uit te leggen.

Het is tijd voor de laatste stropop (nummer 4): de herauten van directe instructie dragen uit dat ‘motivatie niet zo belangrijk is.’  Voor oppervlakkig leren kan dat misschien zo zijn, maar voor ‘diepgaand’ leren niet, dat vereist intrinsieke motivatie. Die uitspraak sluit aan bij de zelfdeterminatietheorie (SDT) van Ryan en Deci. Zelfdeterminatietheorie biedt een humanistisch perspectief op motivatie die ontstaan is als reactie op een meer behavioristische benadering van motivatie die vooral op extrinsieke motivatie (belonen van gewenst gedrag) gericht is. Martens stelt dat de richtlijnen van SDT ‘bijna haaks’ staan op die van CLT. Dat deed hij ook al in zijn oratie uit 2007, maar daarin gaf hij ook aan dat motivatie en cognitieve belasting best met elkaar te combineren zijn. Dat doet hij hier niet. Terwijl hij anderen van cherry picking beschuldigt als het om (gebrek aan) aandacht voor SDT gaat zou je dat ook van zijn eigen benadering kunnen zeggen.

Martens bewaart zijn meest bevreemdende argument voor SDT voor het laatst. Hij stelt de vraag wie er aan de ‘winnende hand’ is, CLT of SDT, in lijn met zijn eerdere voorstelling van wetenschap als een (voetbal)wedstrijd, inclusief aanhangers, tegenstanders, winnaars en verliezers. Het staat volgens Martens op dit moment 2-0 voor SDT. Het wordt 1-0 door de falsifieerbaarheidseis waaraan CLT niet voldoet. Zoals ik hiervoor al zei: of SDT daaraan voldoet is maar zeer de vraag, een vraag die in dit stuk helaas niet gesteld wordt. Het wordt 2-0 omdat er meer wetenschappelijke artikelen over SDT dan CLT te vinden zijn in wetenschappelijke zoekmachines. Het is mij volstrekt onduidelijk waarom dit als argument ten faveure van SDT zou moeten gelden. Inderdaad, zoeken in de door Martens genoemde EBSCO-database levert voor ‘cognitive load theory’ 482 hits op, en ‘self determination theory’ 2843 hits (SDT wint!), maar wie zoekt op iets als ‘learning styles’ krijgt als resultaat 6068 hits. Winnen leerstijlen het daarmee van beide andere theorieën? Natuurlijk niet.

Martens zegt zich op ronde 3 te verheugen, maar volgens mij gaat hij al knock-out in de eerste ronde.

Meta-analyse: de relatie tussen opleidingsniveau van VVE-leerkrachten en kwaliteit van de omgeving voor het kind

Voor- en vroegschoolse educatie (VVE) richt zich op onderwijs aan jonge kinderen. Vaak met als doel om onderwijsachterstanden te voorkomen. In Nederland lijken de effecten van vooralsnog gering. In andere landen zijn echter wel positieve effecten van VVE gedocumenteerd. Een zojuist verschenen meta-analyse onderzocht de relatie tussen opleidingsniveau van de leidsters en leerkrachten betrokken bij VVE enerzijds en de kwaliteit VVE-omgeving voor het kind. Elementen die de kwaliteit van die omgeving bepalen zijn onder andere: taalgebruik gericht op het jonge kind, de interactie met het jonge kind, de inrichting van het dagprogramma enzovoorts. De meta-analyse vond, op basis van 49 studies, een positieve samenhang tussen opleidingsniveau van VVE leidsters en -leerkrachten en kwaliteit van de omgeving voor het kind. Hieronder het abstract.

“Poor-quality early childhood education and care (ECEC) can be detrimental to the development of children, as it may lead to poor social, emotional, educational, health, economic, and behavioral outcomes. A lack of consensus, however, regarding the strength of the relationship between teacher qualification and the quality of the ECEC environment makes it difficult to identify strategies that could enhance developmental and educational outcomes. This meta-analytic review examines evidence on the correlation between teacher qualifications and the quality of ECEC environments. Results show that higher teacher qualifications are significantly correlated with higher quality ECEC environments. Specifically, the education level of teachers or caregivers is positively correlated to overall ECEC qualities, as well as subscale ratings including program structure, language, and reasoning.”

De implicaties van de bevindingen zijn volgens de auteurs onder andere dat het de moeite waard kan zijn in het verder investeren in de opleiding van leerkrachten werkzaam in de VVE:

“To conclude, the results from this study provide evidence of the existence of a positive correlation between teacher education and classroom quality, as measured by ERS. From a policy perspective, these results highlight that additional research may likely support the need to enhance the level of education of teachers within the early childhood education sector. This could be achieved by encouraging government to invest in enhanced training for staff. This would potentially transform the sector whereby additional regulation may create minimal educational requirements for lead teachers, or payment of higher subsidies to centers with more qualified staff, or by providing larger subsidies to those working within the sector to encourage them to undertake further education. An alternative approach could be to require early childhood education centers to clearly state the qualifications of staff on publicly available documents so that parents and care-givers can make informed decisions about the quality of the service offered by an individual center.”

All work and no play? Taal- en rekenonderwijs in de kleuterklassen

De vraag of het verstandig is om in het kleuteronderwijs aandacht te besteden aan het (beginnend) leren lezen, schrijven en rekenen is een regelmatig terugkerende discussie in het onderwijs. Sommige leerkrachten en onderzoekers zijn van mening dat leren lezen, schrijven en rekenen niet thuis horen in het kleuteronderwijs. Grof gezegd komt hun kritiek neer op het volgende: 

(1) Leren lezen, schrijven en rekenen begint voor de meeste kinderen op de meeste scholen in groep 3 en dat is niet voor niets: jongere kinderen zijn in hun ontwikkeling nog niet “rijp” voor formeel lees-, schrijf- en rekenonderwijs.

(2) De aandacht voor leren lezen, schrijven en rekenen gaat noodzakelijkerwijs ten koste van de tijd die kinderen kunnen besteden aan vrij spel. 

(3) Het gevolg van dat alles is dat dit mogelijk ten koste gaat van sociaal-emotionele ontwikkeling van kinderen. Het resultaat hiervan is bijvoorbeeld toenemende internaliserende gedragsproblemen, zoals bijvoorbeeld meer angst en een lager gevoel van eigenwaarde. 

Toch zijn er aan de andere kant leerkrachten en onderzoekers die voorstanders van het beginnen met lees-, schrijf- en rekenonderwijs in het kleuteronderwijs. Zij wijzen erop dat er een positieve samenhang bestaat tussen het volgen van lees-, schrijf- en rekenonderwijs en latere prestaties op het gebied van taal en rekenen.

Een nieuwe studie van Le, Schaack, Neishi, Hernandez en Blank die onlangs in press verscheen in het tijdschrift American Educational Research Journal levert een bijdrage aan deze discussie.

Deze auteurs onderzochten in een sample van ruim 11.000 leerlingen en ruim 2500 leerkrachten uit de VS welke samenhang er bestaat tussen de mate waarin leerlingen in aanraking komen met lees-, schrijf- en rekenonderwijs in de kleuterschool (in aantal dagen per maand) en (1) de prestaties van deze kinderen op reken- en taaltoetsen en (2) de sociaal-emotionele ontwikkeling van deze kinderen.

Allereerst is Tabel 2 uit deze studie interessant (zie hieronder). Deze tabel laat zien in welke mate de kinderen uit deze studie in aanraking kwamen met taal- en rekenonderwijs. Gemiddeld genomen gaat het om bijna 9 dagen per maand dat deze kinderen in aanraking met taalonderwijs en 6 dagen per maand met rekenonderwijs.

De belangrijkste resultaten zijn te vinden in Tabel 3 van deze studie (zie hieronder). Deze laten zien dat:

(1) Hoe meer kleuters in aanraking kwamen met taal- en rekenonderwijs, hoe beter zij presteerden op latere taal- en rekentoetsen.

(2) Er geen samenhang bestaat tussen in aanraking komen met taalonderwijs en de sociale vaardigheden. Voor rekenonderwijs werd er zelfs een positieve samenhang gevonden met sociale ontwikkeling: hoe meer kleuters in aanraking kwamen met rekenonderwijs, des te positiever voor hun sociale ontwikkeling. De vrees dat aandacht voor taal en rekenen ten koste gaat voor de sociaal-emotionele ontwikkeling van kinderen lijkt op basis van dit onderzoek dus ongegrond.

(3) Dat er geen samenhang bestaat tussen in aanraking komen met taal- en rekenonderwijs en internaliserend en externaliserend probleemgedrag.

De resultaten van dit grootschalige onderzoek spreken de angsten van tegenstanders van taal- en rekenonderwijs in de kleuterklas dus tegen: 

(1) Het aanbieden van taal- en rekenonderwijs in de kleuterschooltijd heeft wel hangt wel degelijk samen met latere taal- en rekenprestaties. Veel kinderen zijn dus wel “rijp” voor dit meer formele onderwijs 

(2) Dit heeft geen negatieve gevolgen voor de sociaal-emotionele ontwikkeling van kleuters. Het tegendeel is wellicht zelfs waar: rekenonderwijs aan kleuters hangt positief samen met hun sociaal-emotionele vaardigheden.

De auteurs constateren daarnaast dat het aanbieden van taal- en rekenonderwijs in de kleuterklassen mogelijk kan helpen om ongelijkheid in het onderwijs tegen te gaan. De auteurs vonden namelijk dat het aanbieden van taal- en rekenonderwijs voor zowel voor kleuters met lage als hoge taal- en rekenvaardigheden positief samenhing met latere taal- en rekenprestaties. Het bleek daarbij dat vooral voor deze samenhang groter was voor kinderen die aan de kleuterschool begonnen met relatief lage rekenvaardigheden. De impact van rekenonderwijs in de kleuterklassen is dus mogelijk groter voor kinderen met relatief lage rekenvaardigheden.

Al met al biedt deze studie interessante empirische gegevens die bruikbaar zijn in de vraag of er in de kleutertijd meer of minder aandacht moet zijn voor ontwikkelen van reken- en taalvaardigheden. De zorgen van tegenstanders worden door deze studie mogelijk verminderd.

Le, V., Schaack, V., Neishi, K., Hernandez, M. W., Blank, R. (in press). Advanced Content Coverage at Kindergarten: Are There Trade-Offs Between Academic

Achievement and Social-Emotional Skills? American Educational Research Journal. doi: 10.3102/0002831218813913

Blokken of semesters?

Aan de Universiteit Utrecht bestaat het jaar uit vier blokken. In elk blok volgt een student twee cursussen tegelijkertijd. Die blokken duren meestal 8 of 9 weken en worden daarna vaak afgesloten met een toetsweek waarin tentamens worden afgenomen en vaak ook opdrachten moeten worden ingeleverd.

Eens in de zoveel tijd wordt geopperd om over te stappen naar een semestersysteem waarin het onderwijs geroosterd wordt in langere blokken van 16-20 weken. Ook in Utrecht speelt deze discussie momenteel. Voordelen voor studenten zouden kunnen zijn dat het tempo van het onderwijs minder hoog ligt, en dat er meer ruimte is voor diepgang en reflectie. Ook zou een semestersysteem uitwisseling met buitenlandse studenten vergemakkelijken omdat in andere landen meestal met een dergelijk systeem gewerkt wordt.

Een studie uit de VS die ik ontdekte via Herman van de Werfhorst onderzocht de impact van het switchen van een blokkensysteem naar een semstersysteem op studenten. De resultaten van de studie laten zien dat het switchen van een blokken- naar een semestersysteem niet noodzakelijk voordelig uitpakt voor studenten.

Uit het abstract:

“We examine the impact on student outcomes of the widespread trend in U.S. colleges and universities shifting from an academic quarter calendar to a semester schedule. Using panel data from the Integrated Postsecondary Education Data System – the near universe of four-year nonprofit institutions in the U.S. – and leveraging quasi-experimental variation in academic calendars across institutions and years, we show that switching from quarters to semesters negatively impacts on-time graduation rates. Furthermore, using detailed administrative tran- script data from the Ohio Longitudinal Data Archive, we are able to replicate this analysis at the student-level and investigate several possible mechanisms for the reduction in on-time graduation. We find that a switch from quarters to semesters reduces 4-year graduation rates by 4.4pp and that nearly one-half of this effect is due to a 2.6pp increase in first-year dropouts. The remaining portion of the decline in on-time graduation can be attributed to an increase in time-to-degree. An event study reveals that these negative effects begins to emerge in the partially-treated transition cohorts and that they persist and grow larger as cohorts become more fully treated. A mechanism analysis reveals that the switch from quarters to semesters: (1) lowers first-year grades; (2) decreases the probability of enrolling in an on-track, full course load; and (3) delays the timing of major switching behavior. Contrary to the goals of this policy, shifting the academic calendar from quarters to semesters is harmful to students and imposes real economics costs, both direct and indirect, of lower retention and delayed time-to-degree.”

Deze studie laat zien dat het switchen naar een semestersysteem mogelijk negatieve gevolgen heeft voor de tijd die studenten nodig hebben om af te studeren en een negatieve impact kan hebben op uitval in het eerste studiejaar. De onderzoekers schrijven deze negatieve gevolgen toe aan de relatieve inflexibiliteit van het semestersysteem en de wissel die het volgen van een groter aantal cursussen in een semester trekt op de belasting van studenten:

“Our mechanism analysis suggests that the lack of flexibility in scheduling under a semester calendar and the larger number of courses per term are likely driving the estimated increases in drop outs and time-to-degree. First-year students experience lower grades and are more likely to exhibit underenrollment after the switch from quarters to semesters. This suggests that the strain of juggling 5 courses simultaneously and/or the inability to enroll in one’s preferred set of classes leads to an increased probability of dropout among freshmen on a semester calendar. Furthermore we find that students who persist past their first year continue to underenroll and are more likely to switch majors as upperclassmen. This implies that the less flexible schedule of a semester calendar is also a driver of the increase in time-to-degree after schools switch from a quarter calendar to semesters.”

De discussie over het invoeren van een semester gaat ongetwijfeld verder, maar deze studie laat zien dat er mogelijk nadelen zitten aan het invoeren van een dergelijk systeem.

Got my mindset on you

Where is my mind

Where is my mind

Where is my mind

Way out in the water

See it swimmin'

Pixies - Where is my mind

Okee, een verzoekje aan docenten die dit lezen. Steek uw hand op (hieronder op 'Share this article on Facebook' klikken mag ook) als u een leerling wel eens hebt horen zeggen: "Ik hoef bij dit vak mijn best niet te doen, want ik kan het toch niet." Ook in elke lerarenkamer hoor je wel eens: "Als ze haar best zou doen zou ze het best kunnen, maar ze heeft de verkeerde instelling." Ook al weet iedereen wel ongeveer wat dat betekent, 'instelling' is geen wetenschappelijke term. In de wetenschap gebruiken we liever een woord als 'attitude' (waar bij deze leerling dan iets aan gedaan moet worden). Of we spreken van een lage 'intrinsieke motivatie' als iemand iets niet leuk vindt om te doen. De juiste houding en motivatie zijn misschien niet essentieel bij het leren, maar ze helpen wel, en ze maken het werk van een docent ook stukken aangenamer. Sommigen gaan zelfs zo ver te zeggen dat het voornaamste doel van onderwijs is om interesse of nieuwsgierigheid te kweken bij leerlingen, en dan komt de rest vanzelf, maar dat is een wel erg utopische gedachte.
Ik krijg zo nu en dan de vraag wat mijn mening is over de zogenaamde mindset-theorie. Als je eenmaal de naam hebt een 'myth buster' te zijn, dan is dat gezien de populariteit van die theorie wel te verwachten. Voor ons 'boek 2' is het een onderwerp waar ik onderzoek naar doe. Aan de hand van een recent onderzoeksartikel erover zal ik er hier op ingaan. In het (op het moment nog conceptuele) boek zal ik de historische achtergrond en het onderzoek ernaar in de volle breedte bespreken: dat is in ieder geval de bedoeling!
Mindsettheorie is een theorie die werd geformuleerd door de aan Stanford University verbonden hoogleraar psychologie Carol Dweck.

Carol Dweck

De theorie sluit eigenlijk naadloos aan bij de 'verkeerde instelling'-gedachte: de manier waarop je over je eigen vaardigheden denkt heeft invloed op je doen en laten. Centraal in de theorie staat de gedachte dat mensen hun basisvaardigheden als min of meer vaststaand zien (een 'fixed mindset') of juist als plooibaar (een 'growth mindset'). Het is niet moeilijk om binnen dat raamwerk allerlei fenomenen uit te leggen. Bijvoorbeeld: als je als leerling gewend bent dat bij de rekenles tegen je wordt gezegd: "Jij hoeft dit niet te doen want dit gaat jou niet lukken", dan wen je je een fixed mindset aan. Uit dit voorbeeld kunnen we ook afleiden dat de manier waarop een docent een leerling aanspreekt grote invloed kan hebben op het zelfbeeld, pardon de mindset, van die leerling. In haar boeken werkt Dweck deze gedachte verder uit.

Willekeurige tegelwijsheid, gebaseerd op mindsettheorie.

Voor een psycholoog is dit alles eigenlijk niet echt nieuw, en het is dan ook niet zo vreemd dat Carol Dweck een student was bij de bekende sociaal-psycholoog Albert Bandura. Maar Dweck heeft dit alles verder uitgewerkt, met name de implicaties van het concept voor het onderwijs. Om onduidelijke redenen koos ze daarvoor de term 'brainology' (zie bijvoorbeeld de website van Dweck's trainingsorganisatie MindsetWorks). Dat heeft ertoe geleid dat sommigen, bijvoorbeeld Stanfordhoogleraar rekenonderwijs Jo Boaler, een verband leggen tussen mindset en de hersenen. Zij vertaalt het spreekwoord "Al doende leert men" als "Mistakes grow the brain" (zie het pleidooi op de website van haar eigen bedrijf Youcubed), en heeft er onder andere voor gepleit om de leerling die de meeste fouten in een wiskundeproefwerk maakt het hoogste cijfer te geven. Dergelijke kort-door-de-bochtredeneringen hebben Dweck ertoe aangezet om haar uitspraken enigszins te nuanceren. Een leerling voor welke prestatie dan ook prijzen om daarmee een growth mindset te bevorderen kan juist tot het omgekeerde leiden, zegt Dweck. Voor workshopbegeleiders is er de komende tijd weer een hoop werk te verzetten.
Voor veel mensen zal dit allemaal wat gerommel in de marge zijn, en zal de vraag: "Klopt de theorie?" een stuk belangrijker zijn. Dat is geen eenvoudige vraag. Een aantal onderzoeken hebben een positief verband tussen mindset en leren laten zien, maar met name bij wat grootschaliger onderzoek blijft daarvan erg weinig over. Dat kan van alles betekenen, waarbij een moeilijkheid is dat met het in kaart brengen van iemand's mindset soms wel erg gemakkelijk omgesprongen wordt. Het onderzoek van Bahnik en Vranka (2017) bijvoorbeeld, dat ik hier in het bijzonder onder de aandacht wil brengen, gebruikt daar een test voor die uit slechts twee vragen bestaat (elk te beantwoorden op een 7-puntsschaal). Een eenvoudig concept staat niet gelijk aan een eenvoudige toets, en zeker niet als niet eens zeker is of we hier met een eenvoudig concept te maken hebben. Bahnik en Vranka benadrukken nota bene zelf dat er bij mindset sprake is van een 'continuum'. De twee Tjechische onderzoekers keken naar de relatie tussen de mindset van in totaal 5653 studenten en hun prestatie op een aantal 'general academic prerequisites'-tests (GAP) die een aantal academische vaardigheden maten (met een nadruk op verbale, rekenkundige en logische vaardigheden).

Associatie tussen mindset (zwarte lijn = gemiddelde twee items,
met 95%betrouwbaarheidsinterval als lijn.

Voor deze test is allerlei oefenmateriaal beschikbaar, maar iemand met een fixed mindset gaat dat niet gebruiken, is de aanname. Mindsettheorie voorspelt dus een verband tussen mindset en academische vaardigheden: een fixed mindset zou tot een lagere prestatie leiden, een growth mindset tot een hogere. Als de correlatie tussen mindset en GAP bijvoorbeeld 0,4 zou zijn, dan zou mindset een deel van de variantie in GAP verklaren, en dat zou de theorie ondersteunen. De correlatie die in dit onderzoek werd gemeten was -0,03 oftewel: geen enkel verband. De onderzoekers probeerden op allerlei verschillende manieren andere verbanden te bekijken, en telkens was het antwoord hetzelfde: geen enkele relatie tussen mindset en GAP. Afserveren dus, die mindsettheorie? Nee, zover hoeven we niet te gaan. Wel is deze studie de zoveelste in een rij die laat zien dat het voorspellend vermogen van mindset op academische prestaties laag of misschien wel verwaarloosbaar klein is. Daar horen wat mitsen en maren bij. Misschien vormen Tjechische studenten wel een specifieke, zelfgeselecteerde groep van sterk gemotiveerde personen, wat het mindseteffect gemakkelijk zou kunnen overschaduwen. Of we meten mindset niet goed, en misschien zijn het juist de personen met een fixed mindset die dat niet willen toegeven of die het zelfreflectievermogen missen om dat over zichzelf te concluderen. We weten het niet. Wat wel duidelijk is, is dat de noodzaak in het onderwijs rekening te houden met de mindset van de leerling, en energie te steken in het omvormen ervan tot een growth mindset, op dit moment niet door onderzoeksdata ondersteund wordt.

Bahník, Š., & Vranka, M. A. (2017). Growth mindset is not associated with scholastic aptitude in a large sample of university applicants. Personality and Individual Differences, 117, 139-143. [pdf van dit artikel]

Wat draagt bij aan studieprestaties van studenten?

Eens in de zo veel tijd kom je een nieuw artikel tegen waarin zo veel interessante informatie staat dat het je even duizelt. Ik was al een tijdje van plan om het artikel "Variables Associated With Achievement in Higher Education: A Systematic Review of Meta-Analyses" van de auteurs Michael Schneider en Franzis Preckel te lezen en ben blij dat ik dat nu eindelijk gedaan heb. Het artikel is nog "in press" bij het tijdschrift Psychological Bulletin, maar kan ook alvast gelezen worden via deze link.

Zoals de titel suggereert gaat het om een review van meta-analyses naar de samenhang tussen een groot aantal variabelen (denk aan duidelijkheid van cursusdoelen, motivatie van studenten, enthousiasme van de docent, intelligentie, etc.) en studieprestaties van studenten in het hoger onderwijs. De afgelopen decennia is er een groot aantal studies uitgevoerd naar de samenhang tussen allerlei variabelen en studieprestaties en voor elk van die variabelen zijn weer meerdere meta-analyses die proberen de samenhang met studieprestaties vast te stellen aan de hand van een effectgrootte (effect size). Een interessant voorbeeld van zo'n meta-analyse vind je bijvoorbeeld hier. Het artikel van Schneider en Preckel is interessant omdat zij een synthese van deze meta-analyses hebben uitgevoerd. Dit stelt hen in staat om de effectgroottes van een groot aantal variabelen, 105 om precies te zijn, onderling te vergelijken. Dit leidt in hun artikel tot een ranglijst van variabelen in meer of mindere mate samenhangen met studieprestaties.

Visible learning revisited

Als je dit bekend in de oren klinkt, een ranglijst van variabelen gebaseerd op effectgroottes, dan kan dat kloppen. John Hattie heeft iets dergelijks bijvoorbeeld ook gedaan in zijn boek Visible Learning: A synthesis of over 800 meta-analyses relating to achievement. Schneider en Preckel kiezen echter een wat andere benadering voor hun synthese dan Hattie gebruikte in zijn boek. In veel gevallen zijn er voor een specifieke variabele, laten we zeggen voor het gebruik van blended learning, meerdere meta-analyses. Hattie koos er in die gevallen in zijn boek dan voor om de effectgroottes uit deze meta-analyses statistisch te combineren tot één effectgrootte. Schneider en Preckel wijzen en er terecht op dat deze aanpak een probleem creëert: een oude meta-analyse naar de effecten van blended learning kan uiteraard alleen gebruik maken van de oudere studies op dit terrein, terwijl een nieuwere meta-analyse gebruik kan maken van zowel de nieuwere als de oudere studies. Dat betekent dat wanneer je effectgroottes van twee of meer meta-analyses gaat samenvoegen, je het risico loopt dat oudere studies oververtegenwoordigd zijn: ze zijn waarschijnlijk gebruikt in zowel de oude als de nieuwe meta-analyses. En nieuwe studies zijn dan ondervertegenwoordigd: die zijn waarschijnlijk alleen gebruikt in de nieuwe meta-analyses. Schneider en Preckel hebben dit opgelost door in tegenstelling tot Hattie geen overall effectgrootte te berekenen, maar zich voor elke variabele alleen te baseren op de meta-analyse waarin het grootste aantal studies was opgenomen (en dat was vaak de meest recente meta-analyse).

De synthese

In totaal betrokken Schneider en Preckel 38 meta-analyses in hun synthese (de oudste uit 1980, de meest recente uit 2014). In totaal identificeerden ze 105 variabelen in de volgende categorieën:

Variabelen die samenhangen met de wijze van instructie:

• Sociale interactie: Denk aan samenwerkend leren, gebruiken van open vragen in plaats van gesloten vragen tijdens het lesgeven, behulpzaamheid van de docent.
• Stimuleren van betekenisvol leren: Denk aan voorbereiding door de docent, organisatie van cursussen, duidelijke cursusdoelen, uitdagend onderwijs.
• Assessment: Denk aan kwaliteit van toetsing, gebruik van peer assessment en self assessment.
• Presentatie: Denk aan interesse wekken in de leerstof, presentatievaardigheden van de docent, enthousiasme van de docent.
• Gebruik van technologie en ICT: Denk aan gebruik van games, virtual reality, simulaties en blended learning.
• Extracurriculaire programma's: Denk aan trainingen in academische vaardigheden en studievaardigheden.

Variabelen die samenhangen met kenmerken van de student:

• Intelligentie en eerdere studieprestaties: Bijvoorbeeld gemiddelde cijfers op de middelbare school, scores op toelatingstoetsen.
• Strategieën: Bijvoorbeeld vaak naar colleges gaan, kunnen reguleren van de eigen inspanningen, strategische en doelmatige studiestrategieën beheersen.
• Motivatie: Bijvoorbeeld zelfeffectiviteit (self-efficacy), leerdoeloriëntatie en motivatie.
• Persoonlijkheid: Bijvoorbeeld consciëntieusheid, locus of control, optimisme.
• Context: Bijvoorbeeld financiële ondersteuning, betrokkenheid bij de onderwijsinstelling, sociaal-economische status.

De top 20

Hieronder volgen de 20 variabelen met de hoogste effectgroottes uit de synthese van Schneider en Preckel. Tussen haakjes is weergegeven onder welke categorie de betreffende variabele is gerubriceerd.

1. Peer assessment (Instructie: Assessment), d=+1.91
2. Performance self-efficacy (Student: Motivatie), d=+1.81
3. Teacher's preparation/organization of the course (Instructie: Stimuleren van betekenisvol leren), d=+1.39
4. Teacher's clarity and understandableness (Instructie: Presentatie), d=+1.35
5. Grade goal (Student: Motivatie), d=+1.12
6. Frequency of class attendance (Student: Strategieën), d =+0.98
7. High school GPA (Student: Intelligentie en eerdere studieprestaties), d=+0.90
8. Student self-assessment (Instructie: Assessment), d=+0.85
9. Teacher's stimulation of interest in the course and its subject matter (Instructie: Presentatie), d=+0.82
10. Admission test results (Student: Intelligentie en eerdere studieprestatie), d=+0.79
11. Teacher's encouragement of questions and discussion (Instructie: Sociale interactie), d=+0.77
12. Teacher's availability and helpfulness (Instructie: Sociale interactie), d=+0.77
13. Teacher's elocutionary skills (Instructie: Presentatie), d=+0.75
14. Clarity of course objectives and requirements (Instructie: Stimuleren van betekenisvol leren), d=+0.75
15. Effort regulation (Student: Strategieën), d=+0.75
16. Open-ended questions (Instructie: Social interaction), d=+0.73.
17. Teacher relates content to students (Instructie: Stimuleren van betekenisvol leren), d=+0.65.
18. Strategic approach to learning (Student: Strategies), d=+0.65
19. Achievement motivation (Student: Motivatie), d=+0.64
20. Teacher’s sensitivity to and concern with class level and progress (Instructie: Assessment), d=+0.63

De onderste 20

En hieronder de lijst van de variabelen met het kleinste of zelfs een negatief effect op studieprestaties.

85. Deep approach to learning (Student: Strategieën), d=+0.06
86. Age (Student: Persoonlijkheid), d=+0.06
87. Depression (Student: Persoonlijkheid ), d=+0.06
88. First-year training programs (Instruction: Extracurriculaire programma's), d=+0.05
89. Online learning (Instruction: Technologie), d=+0.05
90. Academic extrinsic motivation (Student: Motivatie), d=0.00
91. Pessimistic attributional style (Student: Motivatie), d=-0.02
92. Emotional stability (Student: Persoonlijkheid), d=-0.02
93. Extraversion (Student: Persoonlijkheid), d=-0.02
94. Task-related social conflict (Student: Context), d=-0.13
95. Relationship-related social conflict (Student: Context), d=-0.21
96. Academic stress (Student: Context), d=-0.22
97. Problem-based learning for knowledge acquisition (Instructie: Betekenisvol leren stimuleren), d=-0.22
98. Communication apprehension (Student: Persoonlijkheid), d=-0.23
99. Performance avoidance orientation (Student: Motivatie), d=-0.28
100. Stress (in general) (Student: Context), d=-0.28
101. Interesting but irrelevant details in a presentation (seductive detail effect) (Instructie: Presentatie), d=-0.30
102. Academic self-handicapping (Student: Strategieën), d=-0.37
103. Surface approach to learning (Student: Strategieën), d=-0.39
104. Test anxiety (Student: Persoonlijkheid), d=-0.43
105. Procrastination (Student: Strategieën), d=-0.52

Wijze van instructie doet ertoe

Schneider en Preckel concluderen op basis van hun synthese, wellicht weinig verrassend, dat wat docenten doen, de wijze waarop ze instructie verzorgen, een sterk effect heeft op studieprestaties. Vooral de variabelen in de categorieën sociale interactie, stimuleren van betekenisvol leren en presentatie blijken vaak een gemiddeld tot sterk effect op studieprestaties te hebben. Schneider en Preckel merken op dat het hier vaak gaat om aspecten uit de microstructuur van de leeromgeving, zoals het stellen van open vragen in plaats van gesloten vragen, interesse weken over het studiemateriaal bij studenten en behulpzaam zijn. 

De auteurs concluderen daarnaast dat het niet alleen uitmaakt wat docenten doen als ze instructie geven, maar dat het ook van belang is op welke wijze ze dat doen. In veel van de geïncludeerde meta-analyses was er sprake van één of meerdere signficante moderator effecten. Dat betekent dat er in die gevallen één of meer additionele variabelen waren die de variatie in gevonden effect sizes konden verklaren. Een voorbeeld: De meta-analyse van Adesope en Nesbit (2012) liet zien dat wanneer docenten hun gesproken uitleg ondersteunen met Powerpoint slides, dit effectiever is dan wanneer docenten alleen spreken (d=+0.26). Het maakt echter wel uit hoe docenten hun slides maken: wanneer deze slides vooral trefwoorden bevatten is dit effectiever dan wanneer de slides hele of halve zinnen bevatten (d=+0.99 vs d=+0.21). Ander voorbeeld: wanneer studenten concept maps moeten bestuderen heeft dit een positief effect op studieresultaten (d=+0.36). Maar het maakt wel uit of deze concept maps alleen de belangrijkste concepten bevatten (d=+0.60), dan wanneer ze ook details laten zien (d=+0.20).

Schneider en Preckel waarschuwen overigens terecht dat het baseren van keuzes wat betreft didactiek en instructie op basis van ranglijstjes zoals hierboven waarschijnlijk te simplistisch gedacht is. Gezien het feit dat bij veel van de geïncludeerde meta-analyses er één of meer significante moderatoren zijn gevonden, raden zij docenten aan om ook hiervan kennis te nemen.

Toch geven Schneider en Preckel aan dat docenten op basis van hun bevindingen door middel van vaak relatief kleine veranderingen de kwaliteit van hun onderwijs kunnen verbeteren. Allereerst wijzen ze daarbij naar de nummer 3 op hun lijst: goede voorbereiding door docenten en een goede organisatie. Omdat de effect size voor peer assessment geïnterpreteerd moet worden als dat er een zeer sterke correlatie bestaat tussen docent- en studentbeoordelingen, is goede voobereiding en goede organisatie de eerste variabele op de ranglijst waar de docent rechtstreeks invloed op kan uitoefenen. Verder merken ze op dat docenten relatief gemakkelijk de volgende principes in hun onderwijs kunnen inpassen:

• Stimuleren van frequente deelname aan hoorcolleges en werkgroepen (#6)
• Stimuleren van het stellen van vragen en discussie (#11)
• Open vragen stellen (#16)
• De inhoud van onderwijs relateren aan voorkennis of interesse van studenten (#17)
• Taakgerichte en verbeteringsgerichte feedback geven (#30)
• Vriendelijk en respectvol naar studenten zijn (#30)
• Tijdens het lesgeven gesproken woorden vergezeld laten gaan van visualisaties of geschreven woorden (#42)
• Op slides trefwoorden gebruiken in plaats van halve of hele zinnen
• Studenten concept maps laten maken en bespreken over de inhoud van de cursus (#45)
• Elk onderwijsonderdeel beginnen met een advance organizer (#64), en
• Afleidende en verleidende detais in presentaties vermijden (#101)

De rol van onderwijstechnologie

Uit de analyse van Scheider en Preckel blijkt dat het gebruik van onderwijstechnologie slechts een gering effect heeft op de studieprestaties van studenten. Daarnaast blijken de toepassingen van onderwijstechnologie die het meest veelbelovend zijn, juist hoge ontwikkel- en implementatiekosten te hebben (gebruik van games met virtual reality, #27, simulaties met virtual reality, #37 en intelligent tutoring systems, #47). Daarbij komt ook dat deze toepassingen zich vooral goed lenen voor zeer specifieke inhoud en onderwijsdoelen. Schneider en Preckel concluderen dan ook dat het inzetten van onderwijstechnologie niet ten koste moet gaan van de  andere vormen van instructie zoals hierboven genoemd. Schneider en Preckel pleiten er dan ook voor om onderwijstechnologie vooral de interactie in de hoorcollege- of werkgroepzaal te laten complementeren, zoals bijvoorbeeld bij blended learning gebeurt (#52). De conclusie die Schneider en Preckel trekken is duidelijk: er is geen bewijs dat onderwijstechnologie het onderwijs radicaal verbetert, maar onderwijstechnologie kan zeker effectief door docenten ingezet worden als past binnen een goed uitgedacht didactisch concept.

De synthese van Schneider en Preckel bevat nog meer inzichten die interessant zijn: bijvoorbeeld dat studiestrategieën van studenten sterker correleren met studieprestaties dan bijvoorbeeld de persoonlijkheid van studenten en dat het dus de moeite waard kan zijn om hen effectieve strategieën aan te leren. Wil je meer weten over deze zeer interessante studie? Ga dan naar deze link.

Schneider, M., & Preckel, F. (in press), Variables associated with achievement in Higher Education: A systematic review of meta-analyses. Psychological Bulletin. doi: 10.1037/bul0000098

Online in de collegezaal, maar mentaal offline?

En ja hoor, daar was ie weer: de laptops-wel-of-niet-toestaan-in-colleges-discussie. Net zoals de discussie over Zwarte Piet en het afsteken van vuurwerk, komt deze discussie eens in de zoveel tijd terug? De aanleiding: een nieuw onderzoek, uitgevoerd aan de Michigan State University, vond dat het gebruik van laptops tijdens colleges negatief samenhangt met tentamencijfers aan het eind van de cursus.

Iets nieuws onder de zon? Aan de ene kant niet: omdat, zoals de auteurs in het artikel zelf ook aangeven, de negatieve relatie tussen internetgebruik in colleges en studieprestaties al vaker is aangetoond. Opvallend is daarbij dat veel studenten zelf de indruk hebben dat het gebruik van internet tijdens colleges geen negatief effect heeft op hun studieprestaties, terwijl dit wél het geval blijkt te zijn. Een verklaring hiervoor is mogelijk dat studenten zelf niet goed in kunnen schatten hoe veel ze van internet gebruik maken tijdens colleges. Omdat veel eerder onderzoek gebruik maakt van dergelijke self-reports hebben de auteurs van deze nieuwe studie getracht een betere indruk van het internetgebruik van studenten tijdens colleges, door dit gebruik daadwerkelijk te registreren (bv. hoe vaak vroegen studenten een bepaalde webpagina op?). De studenten die deelnamen aan deze studie logden daarvoor eerst in op een proxy server, die vervolgens registreerde welke webpagina's door studenten werden opgevraagd. Hiermee konden de auteurs een meer accurate indruk krijgen van het internetgebruik van studenten tijdens colleges. Interessante toevoeging aan het onderzoek is daarnaast dat de auteurs ook hebben getracht de motivatie van studenten voor de cursus en hun interesse in de collegestof te meten. Hierdoor kunnen de auteurs ook een alternatieve verklaring onderzoeken voor de relatie tussen internetgebruik in de collegezaal en tentamencijfers: namelijk verveling. Misschien is het wel zo dat een deel van de studenten zich verveelt tijdens colleges en dat deze studenten daarom gaan Facebooken, YouTube-en, etc. Dan is verveling mogelijk de verklarende factor en niet het internetgebruik zelf. Dat is dan meer een uiting van deze verveling.

Wat kwam er dan uit deze studie? Allereerst de omvang van het internetgebruik door studenten tijdens de colleges. Ik moet zeggen dat ik hier wel van schrok. 37 minuten bleek de mediaan van de duur van het internetgebruik te zijn. Of te wel, als voor alle deelnemende studenten de tijd die ze tijdens éém college op internet doorbrachten gerangschikt wordt van laag naar hoog, blijkt 37 minuten het midden van deze verdeling te vormen. De colleges duurden in dit onderzoek 150 minuten, dus een groot deel van de studenten brengt een kwart of meer tijd van het college door op internet. En dat is nog niet alles, want de deelnemende studenten werd daarnaast nog gevraagd om aan te geven hoeveel tijd ze smartphone of tablet gebruikten om te appen of sms-en of sociale media te gebruiken. Daar besteedden deze studenten nog eens gemiddeld 27 en 19 minuten aan!

Wat doen studenten dan op internet tijdens colleges? Een deel van de tijd gebruiken studenten hun laptop wél voor studiegerelateerde zaken, zoals bekijken van de online leeromgeving of het zoeken op Wikipedia naar relevante onderwerpen (mediaan is 3.79 minuten per college). Het meeste deel van de tijd gebruiken studenten internet tijdens college voor sociale media (mediaan is 6.30 minuten). Daarnaast gebruiken ze internet ook geregeld om te e-mailen (mediaan 1.85 minuten).

Is het dan zo dat internetgebruik tijdens hoorcolleges inderdaad samenhangt met slechtere studieprestaties? Ja, in dit onderzoek werd aangetoond dat er een negatieve samenhang is tussen internetgebruik en tentamencijfers. Hierbij is gecontroleerd voor de mogelijke invloed van intelligentie, interesse en motivatie. Dus zelfs wanneer rekening gehouden wordt met de intelligentie van studenten en hun interesse in en motivatie voor het onderwerp, bestaat er een negatieve samenhang tussen internetgebruik tijdens colleges en studieprestaties. Het is dus niet zo dat verveling van studenten tijdens colleges volledig kan verklaren waarom er een negatieve samenhang is tussen internetgebruik en studieprestaties. De auteurs vinden zelfs dat motivatie niet en interesse slechts marginaal (p < .10) samenhangen met het gebruik van sociale media, e-mail, etc. tijdens hoorcolleges. Het is dus niet zo dat het de minder gemotiveerde of niet geïnteresseerde studenten zijn die tijdens hoorcolleges het meest gebruik maken van internet.

Interessante bevinding in dit onderzoek is overigens dat de studenten in dit onderzoek behoorlijk goed in staat bleken te zijn om hun eigen internetgebruik tijdens hoorcolleges te schatten. De schattingen van de studenten zaten behoorlijk dichtbij het daadwerkelijke internetgebruik.

De vraag die dan overblijft, is wat de implicaties van dit en ander onderzoek naar het gebruik van internet tijdens colleges moeten zijn? Moeten laptops (en andere devices) verbannen worden uit de collegezalen? Dat is een gevoelige kwestie onder docenten en studenten. Veel studenten vinden het verbieden van laptops betuttelend en ook veel docenten vinden het de eigen verantwoordelijkheid van studenten om te besluiten om laptops op zinvolle dan wel ontspannende wijze te gebruiken tijdens hoorcolleges.

Het is gemakkelijk om met de vinger naar de hoorcollegedocent in kwestie te wijzen: het zullen wel oersaaie colleges zijn geweest anders hadden de studenten vast niet zoveel geïnternet tijdens die colleges. Voor een deel mag je inderdaad van docenten verwachten dat zij in staat zijn om colleges te geven die de interesse van studenten wekken en waar misschien ook de aanwezige laptops op een nuttige manier gebruikt worden. Van de andere kant laat dit onderzoek ook zien dat er geen sterke relatie is tussen de interesse van de deelnemende studenten en hun internetgebruik: meer interesse leidt dus niet automatische tot minder internetgebruik en vice versa. En ja, het is inderdaad ook de eigen verantwoordelijkheid van de student: van een student mag je verwachten dat zij of hij nadenkt over wat raadzaam is bij het studeren en studenten moeten dan ook maar de consequenties aanvaarden van hun eventuele internetgebruik tijdens hoorcolleges.

Toch laat meer en meer onderzoek zien dat internetverslaving steeds vaker voorkomt en dat veel mensen daarom ook niet in staat zijn om de impuls om internet te gebruiken het hoofd te bieden.

Online of offline in de collegezaal? De discussie is vast nog niet uitgewoed, maar deze studie geeft zeker te denken.

Meta-analyse: Ook bij onderzoekend leren kan een leerling ondersteuning gebruiken

Onderzoekend leren is een vorm van onderwijs waarbij leerlingen uitgedaagd worden om zelf problemen op te lossen, hypotheses te formuleren of experimenten uit te voeren. Ze zijn dan als het ware onderzoekers-in-de-dop. Doel hiervan is dat zij dan kennis 'ontdekken' in plaats van dat deze kennis hen uitgelegd wordt door een docent.  Onderzoekend leren past in een constructivistische visie op leren.

Er is echter veel discussie of onderzoekend leren wel zo leerzaam en efficiënt is. Deze kritiek werd duidelijk verwoord in het veel geciteerde discussieartikel van Kirschner, Sweller en Clark (2006). Zij stellen dat onderzoekend leren niet effectief kan zijn omdat het onderzoekend leren het werkgeheugen te veel belast. Tijdens het onderzoekend leren ervaart de leerling al een dusdanig grote belasting van het werkgeheugen dat er te weinig capaciteit overblijft om nieuwe informatie op te slaan in het langetermijngeheugen, aldus Kirschner, Sweller en Clark (2006).

Critici van het artikel van Kirschner et al. menen echter dat deze redenering vooral geldt voor het 'pure' onderzoekend leren, waarbij er geen begeleiding of slechts minimale ondersteuning of voor de leerling is. In een rea reactie stelden Hmelo-Silver, Duncan en Chinn (2007) bijvoorbeeld dat veel vormen van onderzoekend leren wel effectief zijn omdat er juist véél ondersteuning voor de leerling is, bijvoorbeeld door scaffolding of uitleg van de docent. Recente meta-analyses lijken deze redenering te ondersteunen. Zo vonden Alfieri et al. (2011) dat onderzoekend leren zonder begeleiding minder effectief is dan directe instructie door de docent (d = -0.38), terwijl onderzoekend leren mét ondersteuning effectiever is dan directe instructie (d = +0.30). De geboden begeleiding tijdens onderzoekend leren lijkt dus een belangrijke rol te spelen bij het leerproces van leerlingen.

Maar welke begeleiding is dan effectief tijdens onderzoekend leren? Deze vraag staat centraal in een recente overzichtsstudie van de Twentse onderzoekers Lazonder en Harmsen (2016). Zij voerden het onderzoek uit voor het NRO en de resultaten van dit onderzoek zijn onlangs verschenen in Review of Educational Research (de Nederlandse samenvatting is te lezen op de site van het NRO). De auteurs voerden een meta-analyse uit waarbij ze onderzochten wat het effect van verschillende vormen van ondersteuning is op (1) leeractiviteiten tijdens het onderzoekend leren, (2) prestaties tijdens onderzoekend leren en (3) leerprestaties. Lazonder en Harmsen maken hierbij onderscheid tussen de onderstaande vormen van ondersteuning tijdens onderzoekend leren.

De meta-analyse van Lazonder en Harmsen biedt enkele belangrijke conclusies:

1. Onderzoekend leren met ondersteuning is effectiever dan onderzoekend leren met slechts minimale ondersteuning wat betreft leeractiviteiten (d = +0.66), prestaties tijdens onderzoekend leren (d = +0.71) en leerprestaties (d = +0.50).
2. Vooral wanneer gekeken wordt naar prestaties tijdens het onderzoekend leren (hoe succesvol zijn leerlingen in het uitvoeren van het omderzoek?) blijkt de aard van de geboden ondersteuning belangrijk te zijn. Volgens Lazonder en Harmsen blijken vooral specifieke, op de leerling toegesneden, vormen van ondersteuning effectief te zijn (bijvoorbeeld uitleg en scaffolds) in vergelijking tot meer algemene of generieke ondersteuning (process constraints of prompts).

Belangrijkste les uit het werk van Lazonder en Harmsen is dat leerlingen tijdens onderzoekend leren wel degelijk ondersteuning nodig hebben van de docent. De rol van de docent is dus bij onderzoekend leren ook belangrijk. Daarnaast is het ook van belang op welke wijze ondersteuning geboden wordt: meer specifieke ondersteuning is dan wellicht effectiever dan generieke, algemene ondersteuning.

Alfieri L., Brooks P.J., Aldrich N.J., & Tenenbaum H.R. (2011). Does discovery-based instruction enhance learning? Journal of Educational Psychology, 103, 1–18. doi:10.1037/a0021017

Hmelo-Silver, C. E., Duncan, R. G., & Chinn, C. A. (2007). Scaffolding and Achievement in Problem-Based and Inquiry Learning: A Response to Kirschner, Sweller, and Clark (2006). Educational Psychologist, 42, 99–10.

Kirschner, P. A., Sweller, J., & Clark, R. E. (2006). Why Minimal Guidance During Instruction Does Not Work: An Analysis of the Failure of Constructivist, Discovery, Problem-Based, Experiential, and Inquiry-Based Teaching. Educational Psychologist, 41, 75-86.

Lazonder, A. W. & Harmsen, R. (2016). Meta-Analysis of Inquiry-Based Learning: Effects of Guidance. Review of Educational Research, 86, 681-718.

Veni-subsidie voor Janneke van de Pol

Onderzoeker en docent Janneke van de Pol heeft van NWO een prestigieuze Veni-beurs gekregen voor haar project 'Do I know what you know? Promoting students' learning via accurate teacher judgments and adaptive support'. De Veni-beurzen zijn bestemd voor jonge, onlangs gepromoveerde, veelbelovende onderzoekers. De beurs bedraagt maximaal 250.000 euro, waarmee de onderzoeker gedurende drie jaar een eigen onderzoek kunnen uitvoeren.

Scientific summary of research proposal

Every student is different and thus has different needs to succeed in (future) education and working life. To stimulate each student's potential optimally, the Dutch government and Inspectorate call for providing adaptive support (support fitting students' needs). However, to deliver adaptive support, teachers must know what their students know. As it turns out, they do not. Consequently, students often do not receive the support needed, resulting in underachievement.
Surprisingly little is known about how teachers form judgments of students' knowledge and how to improve these. This project is the first to systematically investigate teacher judgment processes and directly translate these findings into a teacher-aid for improving judgment accuracy, adaptive support, and student learning. Central to this project is adolescents' text-learning ability, which is essential to most school subjects, (future) education and working life. However, 33% of Dutch students score below par and Dutch performance drops in international rankings. Fortifying this key ability is therefore crucial.
When judging students' knowledge e.g., while helping students during classroom seatwork, teachers often use information or cues (e.g., students' interest in a topic) that are not indicative of students' actual knowledge, leading to inefficient and non-adaptive support. Therefore, I will develop a teacher cue-aid (i.e., directions for teachers what cues they should use) helping to quickly and accurately gauge students' knowledge and subsequently provide adaptive support, which ultimately improves learning.
Study 1 determines which cues teachers should use to form accurate judgments. This enables development of the cue-aid, tested in Study 2. Study 3 validates the effect of better judgments on increased adaptivity and higher learning yield. The evidence-based cue-aid can be readily implemented in teacher training and flexibly applied to text learning in many subjects. It contributes to answering the government's and inspectorate's call for adaptive support, the essential foundation of teacher judgment accuracy.

Public summary of your research proposal
Do I know what you know?
High school teachers are often insufficiently aware of their students' knowledge. Therefore, students frequently receive inadequate individual support, resulting in suboptimal performance. This project focuses on investigating and promoting teacher judgment accuracy and subsequently support adaptivity and students' learning by training teachers to use more informative cues when making judgments.

Weet ik wat jij weet?
Docenten in het voortgezet onderwijs schatten de kennis van hun leerlingen vaak verkeerd in. Hierdoor krijgen leerlingen niet altijd adequate hulp, resulterend in suboptimale leeruitkomsten. Dit project beoogt de inschattingsvaardigheden van docenten en daarmee de door hen geboden hulp te verbeteren teneinde leeruitkomsten van leerlingen te verhogen.

Rubicon subsidie voor Anouschka van Leeuwen voor onderzoek naar learning analytics voor docenten

Anouschka van Leeuwen, onderzoeker en docent bij Onderwijskunde, heeft een NWO Rubiconbeurs verworven. Het programma Rubicon is bedoeld om jonge, veelbelovende wetenschappers de mogelijkheid te geven internationale onderzoekservaring op te doen. Dit is een belangrijke stap in een wetenschappelijke carrière.

Anouschka gaat de komende 1,5 jaar onderzoek doen aan Ruhr-Universität Bochum bij de onderzoeksgroep van prof. dr. Nikol Rummel en zal ook gaan samenwerken met dr. Vincent Aleven (Carnegie Melon University). Anouschka's project is getiteld: "From Overload to Overview: Learning Analytics to Aid Teachers" en richt zich op het inzetten van learning analytics om docenten te ondersteunnen bij het begeleiden van samenwerkend leren.

Engelstalige samenvatting
Collaborative learning is very effective, at least when adaptive supported is provided. Providing adaptive support, however, imposes on teachers the demanding if not impossible task of maintaining an overview of students’ collaborative activities, evaluating those, and intervening when necessary. When supported by computer software, collaboration leaves “digital traces”. The collection a
nd analysis of these traces (i.e., learning analytics; LA) has the potential to help teachers move from overload to overview of students’ collaboration. Moreover, LA cannot only aid teachers by mirroring student activities, but also automate evaluation and intervention. The question is which level of LA-aid is optimal to enable adaptive teacher support of collaboration.

This question is investigated with both simulation and classroom studies. In the simulation phase, LA dashboards are developed that 1) mirror, 2) evaluate, or 3) provide automatic interventions on student activities. The dashboards are developed by applying rapid prototyping, a novel approach in this area. Subsequently, the effects of dashboards on teacher behavior are evaluated with simulated classroom situations. The outcomes are used as input for the classroom studies, in which effects of the three LA aid levels are measured on changes in teacher behavior, outcomes of student collaboration, and student perceptions of received support.

Nederlandstalige samenvatting
Overload of overzicht: Samenwerking tussen docent en computer
Docenten hebben niet de middelen om samenwerkende groepen leerlingen uitgebreid te volgen en feedback te geven. Drie manieren om docenten hierbij middels learning analytics te ondersteunen, worden vergeleken op veranderingen in docentgedrag, studentpercepties van docentbegeleiding, en uitkomsten van de samenwerking.