Het beste onderwijsonderzoek van 2014

Op verzoek van het vakblad Didactief (koop dat blad!) schreef ik eind vorig jaar een artikel over het onderwijsonderzoek van 2014, en wat mij daarbij was opgevallen. Het stuk staat in het decembernummer. Omdat Didactief een laagdrempelige insteek heeft werd mijn manuscript enigszins 'vertaald' naar een tekst die voor de gemiddelde haastige leerkracht goed te behappen was. Hieronder staat de tekst zoals ik die zelf geschreven heb. Overigens: het onderzoek dat ik beschrijf is vast en zeker niet het 'beste' voor iedereen: het aanbod is zo groot dat een selectie noodzakelijk is en blijft. Als je zelf, op welke manier dan ook, tegen 'wow'-onderzoek aanloopt, laat het ons dan gerust weten: een weblog is niet alleen een manier om informatie te publiceren, maar evenzo een manier om erover te communiceren!

Het onderwijsonderzoek van 2014

Hypes komen, hypes gaan. Intussen draaide de wereld van het onderwijsonderzoek ook dit jaar weer rustig door. Net als voorgaande jaren is er veel, heel veel onderzoek gepubliceerd en het wordt nog altijd elk jaar meer. Het is allemaal niet bij te houden, maar gelukkig: u hoeft niet meer per se af te wachten tot Didactief op de mat valt. Het hele jaar door wordt er lustig geblogd, getweet en gefacebookt over nieuw en opmerkelijk onderzoek. Desondanks zijn de sociale media inmiddels ook zo dichtbevolkt dat ook daar wellicht de bomen het bos aan het zicht ontnemen. Aan mij is daarom gevraagd om het interessantste danwel meest relevante onderwijsonderzoek van 2014 toe te lichten. Dat is niet eenvoudig, alleen al om de reden dat onderzoeksresultaten vaak een tijdlang moeten ‘rijpen’: het kan jaren duren voordat onderzoek op haar juiste waarde wordt geschat (de omgekeerde weg bewandelen, van gewaardeerd naar afgeserveerd, is overigens ook mogelijk).  Het is dus onmogelijk om in deze brei aan te wijzen wat, samengevat, nu echt hét onderwijsonderzoek van 2014 is: die keuze is noodzakelijk subjectief. Ik heb me dan ook een beetje laten leiden door mijn eigen interesses, met name algemene trends op onderwijsgebied en de zaken waarvan ik vind dat het tijd wordt dat ze ontzenuwd worden. Maar ik heb ook hier en daar rondgevraagd, en zo ben ik tot mijn eindejaarslijstje gekomen. Het resultaat zal ik hier beknopt en in min of meer willekeurige volgorde bespreken.

MOOCs: de hype voorbij

Was 2014 het jaar van de MOOCs? Er werd in ieder geval weer heel veel over geschreven. Het aantal 'massive open online courses' groeit nog steeds maar gaandeweg lijkt de formule wat sleets te worden. En dat terwijl de revolutie in Nederland eigenlijk nog moet losbarsten, met universiteiten als die van Delft en Leiden als wegbereiders. Terwijl we in Nederland nog met de tenen het water bevoelen lijkt het zwembad intussen langzaam leeg te lopen. Welbeschouwd blijft inmiddels alleen de O van 'online' nog overeind staan. Zo massief en open zijn MOOCs niet. Een onderzoek van Anoush Margaryan en collega's ging in op de C, specifiek de instructiekwaliteiten van MOOCs. Een uitgebreide analyse van 76 verschillende MOOCs toonde: vorm wint het van functie. Alle MOOCs scoorden buitengewoon laag als het gaat om didactische uitgangspunten, zoals activeren van voorkennis en leerlingdifferentiatie. Slechts de presentatie van onderwijsmateriaal scoorde goed. Uit dit onderzoek komt duidelijk naar voren: het massieve open karakter hangt online onderwijs als een molensteen om de nek. Het is afwachten in welke richting deze op zichzelf heel interessante onderwijsvorm zal doorevolueren.

Speel je slim

2014 was het jaar waarin een flinke lijst vooraanstaande wetenschappers een open brief ondertekende die duidelijk maakte: zogenaamde 'brain games' zijn niet effectief. Er wordt goed verdiend aan spellen die erop gericht zijn je slimmer te maken (of 'mentaal fitter'). Ze werken niet2. Tegelijk wijzen de deskundigen op de noodzaak tot verder onderzoek hiernaar. Een mooi onderzoek hiernaar werd uitgevoerd door Valerie Shute en haar collega's. Shute deed qua onderzoeksmethode iets bijzonders, want ze vergeleek de populaire
brain game 'Lumosity' met het puzzelspel Portal 2. Proefpersonen speelden ruim 6 uur ofwel Lumosity ofwel Portal 2. Het onderzoeksartikel draagt de titel 'The power of play' en het waarom daarvan wordt snel duidelijk uit de resultaten. Het spelen van Lumosity had geen effect op cognitieve vaardigheden (zoals probleemoplossen) en niet-cognieve vaardigheden (zoals 'volharding'). Het spelen van Portal 2 had daarentegen flink positieve effecten op probleemoplossen, ruimtelijke vaardigheden, en volharding. Zet nu niet meteen leerlingen verplicht aan de puzzelspellen: de studie geeft een voorzichtig duwtje in een nieuwe richting. Verder onderzoek is nodig, maar duidelijk is: laat spellen die claimen je hersenen te trainen gerust links liggen en speel een extra potje Puzzle Quest.

Frusteren leidt tot leren

Moet je leerlingen geleidelijk met nieuwe leerstof in aanraking brengen, en dus alleen problemen geven die zij ook kunnen oplossen? Recent onderzoek laat zien dat het ook juist informatief voor leerlingen kan zijn om te werken met problemen die zij nog niét kunnen oplossen. Dat wordt 'productive failure' genoemd. In verschillende experimenten zijn varianten van 'de leerling op zichzelf aangewezen' versus ' de leerling wordt geholpen' met elkaar vergeleken. Telkens weer wordt gevonden dat het onder bepaalde omstandigheden nuttig kan zijn als leerlingen zich aan het begin van het leerproces bewust worden van de kennis en vaardigheden die zij nog missen. Hetzelfde geldt voor verwarring. In een onderzoek door Libl en Rummel ontvingen leerlingen expres tegenstrijdige informatie. In de gevallen waarin dat daadwerkelijk tot verwarring leidde bleek een positief leereffect op te treden.
Fouten maken en in de war raken zullen niet bij elke leerling het gewenste effect hebben, want ze kunnen tot veel frustratie leiden. Maar het dwingt wel om actief bezig te zijn met leermateriaal,  en geeft leerlingen inzicht in hun eigen tekortkomingen: een krachtig leermiddel. De vraag: “Wanneer wel, wanneer niet?” geeft daarbij veel ruimte voor verder onderzoek.

Weten wat de leerling weet 

Wat is nu echt een effectieve leermethode? Rijtjes stampen zeker niet, maar zogenaamde 'spaced repetion', het herhaald leren van hetzelfde materiaal over steeds langer wordende tijdsintervallen duidelijk wel (en dat weten we al jaren). Die methode wordt effecteif toegepast in verschillende opleidingen. Een recent onderzoek door Robert Lindsey en collega's liet zien dat de methode nog effectiever ingezet kan worden als wordt uitgegaan van de individuele leerling. De studie gebruikte geavanceerde technieken om via learning analytics om voor elke leerling afzonderlijk in te schatten welke herhalingsvragen voor die leerling effectief zouden zijn. De onderzoekers noemen dat een 'personalized review'. Het resultaat?  De
personalized review-methode leidde tot een stijging in de leerresultaten van maarliefst 16,5%  ten opzichte van standaardonderwijs, en een stijging van 10% ten opzichte van een spaced repetion-methode die gelijk was voor iedereen. De conclusie is dat het, ondanks mogelijke ethische bezwaren, de moeite loont om aandacht te besteden aan moderne analysemethodes die het mogelijk maken instructie aan te passen aan de individuele leerling. En dat is natuurlijk eigenlijk precies wat veel leerkrachten allang proberen te bewerkstelligen in hun eigen klas.

Eenentwintigste-eeuwse vaardigheden

Pablo Picasso

Leerling controle geven over hun eigen leerproces wordt tegenwoordig vaak gezien als essentieel om hen volwaardige eenentwintigste-eeuwse vaardigheden bij te brengen. Computers zijn uitermate geschikt om leerlingen die controle te geven. De vraag is dan: helpt dat hen ook om beter te leren? Matthew Burns en zijn collega's bekeken de resultaten van 18 studies die specifiek het effect van leerlingcontrole als onderwerp hadden. Hun antwoord is een eenduidig 'nee'. Of leerlingen controle wel of geen controle hebben over het tempo of de moeilijkheid van opdrachten blijkt helemaal geen effect op hun leren te hebben. In onderwijsland zien we maar al te vaak technologie als een panacee voor 'ouderwets' leren, maar de realiteit is weerbarstig. Zoals Picasso ooit zei over computers: “They are useless. They can only give you answers.”

Conclusie: de kracht van herhaling

Wat kunnen we verwachten in 2015? Reken er maar op dat onderzoekers zullen doorgaan met hun pogingen onze kennis over onderwijs uit te breiden. Het staat ook wel vast dat nieuwe hypes zullen opstaan en (waarschijnlijk) geruisloos weer uit het onderwijs verdwijnen. Nieuw is dat de in de psychologie ingezette trend van replicatieonderzoek – onderzoek waarbij een experiment wordt overgedaan om te checken of het gevonden resultaat nogmaals optreedt – ook onderwijsonderzoek zou kunnen bereiken. Een uitgebreide analyse door Matthew Makel en Jonathan Plucker van meer dan 160.000 artikelen afkomstig uit de 100 bekendste tijdschriften op het gebied van onderwijsonderzoek liet zien dat het percentage replicatieonderzoek een schamele 0,13 procent bedroeg. Tegenover elk replicatieonderzoek staan dus ruim 750 nieuwe onderzoeken: een wel erg scheve verhouding. Aangezien inmiddels wel duidelijk is dat  het effect van leerkracht, leermiddel en leermethode meestal bescheiden is kan het overdoen van onderzoek helemaal geen kwaad: kleine uitkomsten leiden soms al te makkelijk tot grote beweringen.
Al met al was 2014 een mooi jaar voor onderwijsonderzoek, en ook de vooruitzichten voor 2015 zijn uitstekend. Het belooft weer een interessant jaar te gaan worden. We houden u op de hoogte!

Verwijzingen

• Braga, M., Paccagnella, M., & Pellizari, M. (2014). Evaluating students' evaluations of professors. Economics of Education Review, 41, 71-88. doi:10.1016/j.econedurev.2014.04.002
• D'Mello, S. K., Lehman, B. Pekrun, R., & Graesser, A. C. (2014). Confusion Can be Beneficial For Learning. Learning & Instruction, 29(1), 153-170. doi:10.1016/j.learninstruc.2012.05.003
• Karich, A. C., Burns, M. K., Maki, K. E. (2014). Updated meta-analysis of learner control within educational technology. Review of Educational Research, 84, 392-410. doi:10.3102/0034654314526064
• Libl, K., & Rummel, N. (2014). Knowing what you don’t know makes failure productive. Learning and Instruction, 34, 74-85. doi:10.1016/j.learninstruc.2014.08.004
• Lindsey, R.V., Shroyer, J.D., Pashler, H., & Mozer, M.C. (2014). Improving students' long-term knowledge retention through personalized review. Psychological Science, 25(3), 639-647. doi: 10.1177/0956797613504302 – zie ook http://xyofeinstein.wordpress.com/2014/01/22/woord-van-de-dag-leren-via-personalised-review-om-beter-te-onthouden/
• Makel, M.C., & Plucker, J.A. (2014). Facts are more important than novelty: Replication in the educational sciences. Educational Researcher, 43(6), 304-316. doi:10.3102/0013189X1545513
• Margaryan, A., Bianco, M., & Littlejohn, A. (2015). Instructional quality of Massive Open Online Courses (MOOCs). Computers & Education, 80, 77-83. doi:10.106/j.compedu.2014.08.005
• Shute, V. J., Ventura, M., & Ke, F. (2015). The power of play: The effects of Portal 2 and Lumosity on cognitive and noncognitive skills. Computers & Education, 80, 58-67. doi:10.1016/j.compedu.2014.08.013