De TED show met Ken Robinson: een analyse

It is difficult to make predictions, especially about the future.

Niels Bohr

I never worry about the future.  It comes soon enough.

Albert Einstein

Inleiding

Ken Robinson (1950-)

De jaarlijkse TED-conferentie en alle afgeleide takken daarvan mogen zich in grote en groeiende populariteit verheugen. Als het over onderwijs gaat is er iemand die ook voor TED-begrippen boven de rest uit lijkt te stijgen. De videoregistratie van zijn optredens (op dit moment drie) zijn miljoenen malen bekeken. Het commentaar is universeel positief. 'Inspirerend', 'overtuigend', 'mind blowing', of simpelweg 'wow!': het is slechts een greep uit de reacties. Ik heb het over Sir Ken Robinson, een 63-jarige Engelse emeritus-hoogleraar die van het spreken (en schrijven) over zijn visie op onderwijs zijn vak heeft gemaakt. Robinson's achtergrond is specialist op het gebied van dramaturgie en de creatieve vakken, en hun rol in het onderwijs. Dat zijn vakken die in het algemeen in weinig aanzien staan. Het overheidsbeleid is al jaren gericht op het verstevigen en aanscherpen van eisen aan kennis van rekenen en taal. Muziek, dans, tekenen, handvaardigheid... wie zich in Nederland op school voor deze disciplines interesseert kiest een in de publieke opinie nauwelijks serieus te nemen 'pretpakket'. Recent is de term 'pretstudie' door de minister toegevoegd aan dit jargon. Die moeten weg want het perspectief op de arbeidsmarkt is voor dergelijke studies ongunstig. De term 'werkschuw tuig' valt nog net niet.
Robinson was in 1998 voorzitter van een commissie die aan de Britse overheid advies uitbracht over de rol van creatieve vakken en cultuur in het onderwijs. Het rapport van de commissie verscheen in mei 1999 onder de titel All Our Futures (het is hier te downloaden). Een belangrijke conclusie in het rapport is dat creativiteit en cultureel onderwijs ondergewaardeerd worden.Wat verder opvalt is dat heel veel elementen die in Robinson's TED talks naar voren komen (zoals talentontwikkeling, de dynamiek van intelligentie, het belang van het helpen ontwikkelen van creativiteit) al in dit rapport in detail besproken worden. Robinson put hier in zijn toespraken rijkelijk uit, zonder het ook maar eenmaal te noemen. Op basis van zijn werk werd Robinson uitgenodigd door de organisatie van de TED-conferenties om over zijn ideeën te komen praten. Hij deed dit in 2006, en naar aanleiding van het succes daarvan nogmaals in 2010 en in 2013.

In dit stuk bespreek ik de drie toespraken die Ken Robinson tot nu toe hield tijdens TED-conferenties, hier en daar afgewisseld met persoonlijk commentaar. Ik was vooral benieuwd wat overblijft als je de toespraken ontdoet van alle franje. Daarom heb ik de Engelse transcripties van de toespraken bestudeerd en niet naar de videobeelden gekeken, om beter te focussen op de inhoud en niet op de wijze van oreren. Na de bespreking probeer ik een overzicht te geven van retorische stijlmiddelen waarvan Robinson zich bedient, waarna ik conclusies probeer te trekken.

De toespraken¹

27 februari 2006: "Schools kill creativity"
"It's been great, isn't it?" Zo begint Ken Robinson zijn bekendste toespraak. Het is alsof hij persoonlijk het gesprek met iedereen afzonderlijk aangaat. Na een grapje is het publiek om. Ken zegt dat we de toekomst niet kennen. Dat is lastig voor onderwijs, want we kennen de wereld waarvoor we kinderen van nu opleiden nog niet. Wat Ken wel weet is dat elk kind unieke talenten bezit en dat ons huidige onderwijs dat talent meedogenloos verspilt. En dat terwijl juist creativiteit in deze tijd zo'n belangrijke vaardigheid is, eigenlijk op hetzelfde niveau als geletterdheid. Volwassen worden, dat betekent tot nu toe een verlies van creatief vermogen, en lef. We zijn als volwassene veel te bang om fouten te maken, en onbezonnen durf is juist de bron van creatieve innovatie. Robinson wisselt dit soort serieuze bespiegelingen af met persoonlijke anecdotes waarin humor de boventoon voert.
Waar je ook komt, het is duidelijk dat rekenvaardigheden belangrijker worden gevonden dan - pak 'm beet - dansvaardigheid. Robinson vindt dat merkwaardig. Hij ziet onze focus op het behalen van academische vaardigheden als de belangrijkste oorzaak. We vinden het hoofd belangrijker dan elk ander lichaamsdeel (hier laat Robinson een kans om de uitspraak aan te halen van Woody Allen: "The brain? It's my second favorite organ" liggen). Het heeft volgens hem twee oorzaken: de focus op werk - waarvan regelmatig wordt gezegd dat die zijn oorsprong kent in de opkomst van het industriele tijdperk - en de al genoemde rol van academische vaardigheid (als toppunt van intelligentie). Robinson vindt dat het hoog tijd is dat we intelligentie herdefinieren, om talent en creativiteit een belangrijker rol te geven. Hij verluchtigt dit punt met een op zijn minst discutabele anekdote  over het verschil tussen mannen en vrouwen in het vermogen om te multitasken, en met een uitgebreide anekdote over Gillian Lynne. Lynne kon zich als kind moeilijk concentreren en had ook moeite met stilzitten. Robinson suggereert dat we tegenwoordig waarschijnlijk pillen tegen ADHD zouden voorschrijven, maar ADHD bestond nog niet in de jaren 30. In zijn andere toespraken wordt duidelijk dat Robinson ADHD een cultuurziekte vindt, een uitspraak die hem niet door iedereen in dank wordt afgenomen. De dokter die Gillian Lynne onderzocht constateerde dat haar talent dansen was. Ze zou uitgroeien tot een beroemde ballerina en bekende choreograaf (onder andere van The Phantom of the Opera).  Ons onderwijssysteem is niet op mensen zoals Lynne ingericht, en dat zal in de toekomst een probleem worden (het valt me op dat Robinson dit stelt, terwijl hij eerder beweerde dat juist het kenmerk van de toekomst is dat we er niets van weten).

Gillian Lynne (1926-)

Als uitsmijter citeert Robinson de bioloog Jonas Salk: "If all the insects were to disappear from the earth, within 50 years all life on Earth would end. If all human beings disappeared from the earth, within 50 years all forms of life would flourish." Krachtige woorden. Het enige probleem is dat ik nergens een goede bron van deze uitspraak heb kunnen vinden. Sterker: de vroegste bron die ik heb gevonden is Sir Ken zelf! Ik heb Robinson via Twitter gevraagd naar de bron die hij gebruikt heeft, maar geen antwoord gekregen. Het citaat lijkt hier puur als stijlmiddel te zijn gebruikt. We zullen dit vaker tegenkomen.
De toespraak sluit af met de wens dat we onderwijs gebruiken om kinderen te helpen de toekomst aan te kunnen.

Kortom: het huidige onderwijs benut het potentieel van getalenteerde en creatieve kinderen niet, en dat is een onwenselijke situatie.

14 februari 2010: "The learning revolution"
Het optreden in 2010 is een voortzetting van de toespraak in 2006, en in zekere zin ook een herhaling van zetten. Robinson spreekt van een crisis van 'human resources' (in aansluiting op de crisis van 'natural resources' waar Al Gore eerder over sprak bij TED). Daarna citeert Robinson Jeremy Benham, maar dat is onjuist, want het citaat ("There are two types of people in the world: those who divide the world into two types and those who do not") is afkomstig van Robert Benchley. Dat is een opvallend opportune vergissing, want de Engelse filosoof Benham past veel beter in het straatje van Robinson dan de Amerikaanse humorist Benchley.
Robinson vindt het jammer dat zo weinig mensen doen wat ze echt leuk vinden in het leven. De oorzaak? Vooral het onderwijs, natuurlijk. "Education dislocates very many people from their natural talents." Het gaat de laatste tijd wel beter maar er vinden vooral her en der onderwijshervormingen plaats. Ken vindt het allemaal veel te mager: we hebben geen hervorming nodig, maar een revolutie. Een onderwijsrevolutie.

Horloges:
alleen voor oude mensen?

Dat doe je niet zomaar. Innovatie is moeilijk omdat we nogal gehecht zijn aan onze gewoontes. Neem het polshorloge. Wie draagt het nog? De jongere generatie niet, in ieder geval: die kijkt liever op de telefoon. Het is geen heel sterk voorbeeld -- het argument 'X is voor oude mensen' wordt voor zo'n beetje elke wat oudere technologie wel eens gebruikt, ook e-mail bijvoorbeeld -- maar Robinson ziet het als een analogie van onderwijs: ons denken is verankerd in een traditioneel beeld van school, met name het idee van lineariteit. Maar het leven is niet lineair, het is organisch. Hier herhaalt Robinson zijn eerdere ideeën over de manier waarop onderwijs ons richting de universiteit wil loodsen. Intelligentie is meer dan het tonen van academische vaardigheden. Hij licht dit toe aan de hand van een brandweerman die als kind al brandweerman wilde worden, en in weerwil van alle goedbedoelde adviezen ('je vergooit je leven!') toch brandweerman werd (en later zijn leraar uit een autowrak redt). Het is een mooi verhaal maar klinkt wel wat geromantiseerd.
Daarna valt Robinson standaardisatie aan, wat hij een 'fast food model of education' noemt. In 2013 gaat hij hier specifieker (en naar mijn idee sterker) op in, met name het Amerikaanse 'No Child Left Behind'-project waarin standaardisatie centraal staat. Intelligentie is veel te gevarieerd om in een standaard onderwijsmodel te gieten. Dan is er geen ruimte voor talent en voor passie. Om passie ruimte te geven moeten we af van het industriële model van onderwijs, en het omzetten in een organisch agricultureel proces. Dat wil zeggen: we moeten de omstandigheden creëren waaronder elk individueel talent en elke individuele passie optimaal tot bloei kunnen komen. Robinson doet een beroep op mensen 'in business, in multimedia, in the Internet' om een onderwijsrevolutie te bewerkstelligen. Wat hij van hen verwacht blijft enigszins vaag. Veel meer dan 'get involved' krijgen we niet te horen. Wel maakt Robinson nog een vluchtige opmerking waarin hij thuisonderwijs verdedigt, als kinderen daar zelf voor kiezen. Ik vraag me af of elke ouder daarop zit te wachten! Robinson sluit zijn voordracht stijlvol af met het gedicht He Wishes for the Cloths of Heaven van Yeats.

Kortom: er is een revolutie nodig in het onderwijs. We moeten af van de ambitie iedereen klaar te stomen voor de universiteit en van standaardisatie.

23 april 2013: "How to escape education's death valley"
Robinson's meest recente toespraak is wederom een herhaling en voortzetting van dat wat hij in 2006 en 2010 ook al noemde. Hij valt met de deur in huis: de tragische ironie van het 'No Child Left Behind'-project is dat het juist velen gedesillusioneerd achterlaat. Erger: ook in de klas wemelt het van de leerlingen die niets met onderwijs hebben. Er wordt veel geld besteed aan het verbeteren van onderwijs, maar niet aan de juiste dingen. Het huidige onderwijssysteem is in zekere zin 'onmenselijk'. Standaardisatie is zo'n onmenselijke maatregel. Mensen verschillen van elkaar, daar kan het systeem niet mee overweg. Standaardisatie en 'teaching to the test' zijn ook funest voor het bevorderen van (onze natuurlijke) nieuwsgierigheid. "[Testing] should support learning. It shouldn't obstruct it." Robinson slaat de spijker op zijn kop hier. Tenslotte zijn mensen ook creatief, en ook daar kan een gestandaardiseerd systeem niet mee omgaan. Wat mij opviel is dat Robinson het woord 'talent' in 2013 niet meer gebruikt (slechts eenmaal) terwijl hij het in zijn toespraak van 2010 maarliefst acht keer noemt.
Het kan ook allemaal anders. Robinson haalt Finland aan, en sluit daarmee achter een lange rij onderwijsinnovators aan. In Finland vallen leerlingen niet uit. Aan gestandaardiseerde tests wordt vrijwel niet gedaan. Een vereiste voor zo'n systeem is dat de leerkracht een echte professional is. Een masterstudie is het minimum. Daarnaast moet je onderwijs teruggeven aan degenen die het onderwijs verzorgen. Oftewel: minder management, minder overheidsbemoeienis, minder stringent beleid. Ken herhaalt nog maar eens dat school organisch en dynamisch is, en niet lineair en statisch. Hij komt met een prachtige analogie op de proppen: Death Valley, een van de droogste plaatsen op Aarde. Niets groeit daar. Maar die ene keer dat het er wel regent schieten de gewassen er uit de grond. Al die tijd lagen de zaadjes te wachten op de juiste omstandigheden. Dat is de taak van onderwijsleiders: een 'climate of possibility' creëren. Het is een mooie metafoor, en een herhaling van het agriculturele model dat Robinson in 2010 introduceerde.

Friedrich Fröbel (1782-1852)

Het is alleen niet echt nieuw, want het lijkt als twee druppels water op de tuinmanfilosofie van Friedrich Fröbel. Niet voor niets is Fröbels belangrijkste ontwikkeling de Kindergarten ('Kindertuin') geweest! Robinson had hier met gemak Fröbel kunnen citeren, maar presenteert hier alsof het om een nieuw idee gaat.
Na de Death Valley-metafoor sluit Robinson af met een citaat dat hij toeschrijft aan de grote Amerikaan Benjamin Franklin ("All mankind is divided into three classes: those who are immovable, those who are movable; and those who move"). Na wat zoekwerk is snel duidelijk dat er geen bron bestaat voor dit citaat en dat het vrijwel zeker niet van Franklin afkomstig is.

Kortom: we moeten naar een nieuw onderwijssysteem toe, een waar standaardisatie en controle afwezig zijn en waar nieuwsgierigheid en creativiteit (en wellicht ook talent) tot bloei kunnen komen.

Het retorisch vernuft

Een belangrijke reden dat de toespraken van Ken Robinson zo'n doorslaand succes zijn is de manier waarop hij zich presenteert: hij praat schijnbaar nonchalant en voor-de-vuist-weg, alsof je met hem aan een bar zit. Verder gebruikt hij verschillende retorische stijlelementen om zijn verhaal te ondersteunen. Ik som hier een aantal op, in de overtuiging dat ik er nog wat over het hoofd zie. Voor docenten en anderen is naar mijn idee veel inspiratie te putten uit deze stijlelementen.

• Het publiek. De zaal toont zich zeer welwillend tegenover Ken. Ik weet uit ervaring hoe een actief publiek kan helpen bij het  presenteren. Zelfs een open deur als 'kinderen verschillen van elkaar' wordt met applaus ontvangen.
• Interactie met het publiek. In aansluiting op het vorige punt: Robinson bespeelt het publiek handig door te grossieren in tussenzinnetjes als "you know?", "don't you agree?" en "am I right?".
• Humor. Robinson opent elke toespraak met een paar grappige opmerkingen. De humor is uiterst zorgvuldig over de toespraken gedoseerd. Het is precies goed, hoewel wellicht niet elke grap even geslaagd is. Ook de timing die hij gebruikt is erg goed, met pauzes op het juiste moment.
• Anekdotes. De verhalen die Robinson vertelt om zijn punt duidelijk te maken zijn wat veel mensen bijblijft na afloop. Het zijn stuk voor stuk persoonlijke verhalen ("I met this woman a few years ago...") met een heldere boodschap. Zoals ik eerder opmerkte: het komt soms wat geromantiseerd over. De anekdote staat duidelijk in dienst van het verhaal.
• Krachtige statements. "Human resources are like natural resources; they're often buried deep." "Children are not suffering from a psychological condition. They're suffering from childhood." Het zijn uitspraken die blijven hangen en die zo op een tegeltje aan de wand kunnen. De statements zijn ook zo algemeen dat er eigenlijk weinig tegenin te brengen valt. Robinson sluit hiermee aan bij een lange rij onderwijsfilosofen die ergens bij Confucius begint.
• Gebruik van citaten. Een goed citaat werkt als een fijne afsluiting. Hierboven heb ik geconstateerd dat Robinson minder in accuraatheid dan in doeltreffendheid geïnteresseerd lijkt te zijn. Het effect is er niet minder om.
• Het gebruik van analogieën. Het agriculturele 'Death Valley'-model van onderwijs, het fast-foodmodel van onderwijs: het zijn krachtige metaforen die bijna niets aan de verbeelding overlaten.
• Dingen in drieën. Robinson is expert in het geven van opsommingen waarbij er drie elementen zijn. Hij doet dit in al zijn toespraken, met als klap op de vuurpijl die van 2013, waarin hij dit... driemaal doet.

Conclusies

Als je de drie toespraken beschouwt, dan zie je dat Robinson's kritiek op het onderwijs met de jaren specifieker is geworden. Van: er wordt talent verspild tot: standaardisatie leidt tot stagnatie. Wat opvalt is dat hij vooral problemen signaleert, maar slechts in zeer algemene termen praat als het erom gaat wat concreet moet gebeuren. Wat dat betreft zijn het vooral vergezichten die hij schetst. Is wat Robinson beweert nieuw? Niet echt. Ten eerste lijken zijn uitspraken over onderwijs op uitspraken van de 'Progressieve Education'-beweging van John Dewey kenmerkten. Dat was zo'n 100 jaar geleden. Ten tweede bouwt Robinson voort op conclusies die hijzelf al trok in het "All our futures"-rapport. Dat rapport is een stuk inhoudelijker, maar tegelijk natuurlijk ook een stuk minder behapbaar als een toespraak van 18 minuten.
Ken Robinson is een begenadigd spreker die met veel gevoel voor drama en met krachtige retoriek zijn punt weet te maken. Hij doet me wel ergens denken aan Ronald Emmerich, als regisseur van films als The day after tomorrow en 2012 geliefd bij een groot publiek, door critici verguisd. Zo ver is het gelukkig zeker nog niet met Ken, maar ik zou het zeker waarderen als hij zijn woorden nog zorgvuldiger kiest, zich meer richt op oplossingen en minder op problemen, en wat minder focust op het creëren van dramatisch effecten.

Bronnen

• "Ken Robinson says schools kill creativity" (TED Talk, juni 2006)
• "The Learning revolution" (TED Talk, februari 2010)
• "How to escape education's death valley" (mei 2013)
• National Advisory Committee on Creative and Cultural Education (1999). All our futures: Creativity, culture, and education.

Noot
1 - Ik heb geprobeerd te achterhalen wanneer de TED talks precies zijn uitgesproken, maar dit blijkt vreemd genoeg lastig te achterhalen. De TED Talks vinden plaats in februari, maar worden meestal pas in mei op internet geplaatst. Daarom wordt mei regelmatig genoemd als de maand waarin de toespraak plaatsvond.

De (nog) niet gerealiseerde potentie van onderwijstechnologie voor het rekenonderwijs?

Moeten we hoge verwachtingen hebben van het inzetten van onderwijstechnologie in het rekenonderwijs? Een recente meta-analyse suggereert dat misschien niet realistisch is.

Al jaren wordt er door overheden en scholen flink geïnvesteerd in nieuwe technologie. Nieuwe technologische toepassingen zoals interactieve whiteboards, tablets, smart phones vinden hierdoor hun weg meer en meer naar het klaslokaal. Dat het inzetten van technologie in het onderwijs big business is, blijkt wel uit het feit dat de Amerikaanse overheid in 2009 besloot 650 miljoen dollar beschikbaar te stellen voor onderwijstechnologie.

Dit roept de vraag op wat deze investeringen opleveren. Er wordt geïnvesteerd in onderwijstechnologie met het doel om het onderwijs te verbeteren, om het leerproces van leerlingen beter te ondersteunen en om leraren te helpen nog beter onderwijs te verzorgen. Lukt dat ook? Dat is de vraag die de honderden, zo niet duizenden, studies die de afgelopen decennia zijn uitgevoerd naar de effecten van onderwijstechnologie proberen te beantwoorden.

Om uit die enorme hoeveelheid studies zinnige conclusies te kunnen trekken - sommige studies vinden immers een positief effect, anderen geen effect, en weer anderen een negatief effect - voeren onderzoekers regelmatig meta-analyses uit. Met een meta-analyse proberen onderzoekers het effect van een interventie, van een nieuwe toepassing, samen te vatten met één maat, de effectgrootte. Deze effectgrootte wordt berekend door de uitkomsten van de studies die worden opgenomen in de meta-analyse te combineren. Hierbij krijgen grotere en betrouwbaardere studies meer gewicht dan kleinere en onbetrouwbaardere studies.

Cognitive Tutor, één van de programma's die is opgenomen in de meta-analyse van Cheung en Slavin (2013).

Een recente meta-analyse, uitgevoerd door Cheung en Slavin (2013), probeert de vraag te beantwoorden wat het effect van onderwijstechnologische toepassingen is op de rekenprestaties van leerlingen in het basis- en voortgezet onderwijs. Dat effect blijkt niet groot te zijn. Cheung en Slavin vonden een effectgroote van +0.16. Een positief effect van onderwijstechnologie weliswaar, maar wel een zeer bescheiden effect: leerlingen die met onderwijstechnologie werken tijdens het rekenonderwijs presteren beter dan kinderen die daar niet mee werken. Dit verschil is echter relatief klein.

De indeling van effect groottes zoals gehanteerd door Hattie.

In de terminologie van Hattie's Visisble Learning (2009) gaat het hier om een effectgrootte die ruim onder de door hem gehanteerde grens van +0.40 blijft. Effectgroottes boven +0.40 zijn volgens Hattie betekenisvolle effecten; effecten van daadwerkelijk effectieve interventies. Blijft een interventie onder deze grens, dan is het de vraag of implementatie van deze interventie wel zinvol is.

Deze bevinding staat veraf van de positieve verwachtingen die de evangelisten van onderwijstechnologie hebben. Hoe kan het dat - althans in het rekenonderwijs - de effecten van onderwijstechnologie zo bescheiden zijn? De effectgrootte die Cheung en Slavin vinden, is ook behoorlijk lager dan die eerder door andere auteurs werd gevonden. Zo vonden Li en Ma (2011) een effectgrootte van +0.28, Kulik en Kulik (1991) een effectgrootte van +0.39 en Khalili en Shashaani (1994) zelfs een effectgrootte van +0.52 van onderwijstechnologie op prestaties in het rekenonderwijs. Hattie (2009) vond in zijn review van alle meta-analyses naar de effecten van onderwijstechnologie een effectgroote van +0.37. Hoe is dit te verklaren?

Het moge duidelijk zijn dat Cheung and Slavin niet de eersten zijn die een meta-analyse uitvoeren naar de effecten van onderwijstechnologie in het rekenonderwijs. Ze beschrijven in hun artikel daarom ook uitgebreid op welke vlakken hun meta-analyse afwijkt van eerdere meta-analyses en waarom hun meta-analyse een betrouwbaarder resultaat oplevert. Volgens Cheun en Slavin bevatten eerdere meta-analyses duidelijke tekortkomingen; tekortkomingen die hun meta-analyse niet heeft. Deze zijn onder andere:

1. Geen controlegroep: In eerdere meta-analyses zijn vaak studies opgenomen waarbij geen gebruik gemaakt wordt van een controlegroep; een controlegroep waarbij de leerlingen "onderwijs-zoals-gebruikelijk" kregen. Zonder zo'n controlegroep is het onmogelijk om toename in rekenprestaties met zekerheid toe te schrijven aan onderwijstechnologie. Zo'n toename kan dan ook veroorzaakt worden door andere factoren dan de onderwijstechnologie, bijvoorbeeld rijping of groei.
2. Korte duur: Veel studies naar het gebruik van onderwijstechnologie betreffen studies waarbij slechts voor korte tijd (soms slechts één les) met de onderwijstechnologie gewerkt wordt. Door slechts voor een korte periode met onderwijstechnologie te werken, bestaat het risico dat de gevonden effect grootte slechts toe te schrijven is aan de nieuwigheid van de onderwijstechnologie. Pas wanneer voor langere tijd met onderwijstechnologie gewerkt wordt, met andere woorden als de nieuwigheid er voor leerlingen en leraren vanaf is, is volgens Cheung en Slavin écht vast te stellen wat het effect ervan is voor het onderwijs. In de meta-analyse van Cheun en Slavin zijn daarom alleen studies opgenomen die 12 weken of langer duurden.
3. Verschillen tussen onderzoeksgroepen bij aanvang van de studie: Volgens Cheung en Slavin is het van belang dat bij aanvang van een onderzoek wordt vastgesteld of de onderzoeksgroepen vergelijkbaar zijn. Wanneer de rekenprestaties in de ene groep bij aanvang van het onderzoek al hoger zijn dan de andere groep, dan is geen eerlijke vergelijking mogelijk. Daarom namen Cheung en Slavin in hun meta-analyse alleen studies op waarbij er een zogenaamde voormeting werd gedaan, zodat was vast te stellen of de onderzoeksgroepen bij aanvang wel vergelijkbaar waren.

Het moge duidelijk zijn: Cheung en Slavin zijn streng. Alleen studies die aan strenge criteria voldoen, zijn opgenomen in deze meta-analyse. Op basis van een zoektocht in verschillende databases localiseerden Cheung en Slavin meer dan 700 studies die mogelijk in aanmerking zou komen voor opname in de meta-analyse. Uiteindelijk konden daarvan slechts 74 aan de strenge criteria van Cheung en Slavin voldoen. En op basis van deze 74 studies moeten we concluderen dat onderwijstechnologie een kleine, maar positieve bijdrage levert aan het verbeteren van de rekenprestaties van leerlingen in het basis- en het voorgezet onderwijs.

Zal de iPad een groter effect hebben op het onderwijs?

Moeten we dan accepteren dat tot nu toe de effecten van onderwijstechnologie in het rekenonderwijs slechts bescheiden zijn? De uitkomsten van de meta-analyse laten weinig ruimte voor een andere conclusie. Dat wil uiteraard niet zeggen dat onderwijstechnologie niet de potentie heeft om een grotere bijdrage te gaan leveren aan het verbeteren van het rekenonderwijs. Ook onderwijstechnologie ontwikkelt zich in een snel tempo; nieuwe toepassingen worden met grote regelmaat beschikbaar en met veel enthousiasme door sommige leraren ingezet in het onderwijs. Wie weet hoe het klaslokaal van 2020 eruit zal zien en op welke manier onderwijstechnologie dan - misschien beter dan toe nu toe - het onderwijs veranderd en verbeterd zal hebben?

Referenties

Cheung, A. C. K., & Slavin, R. E. (2013). The effectiveness of educational technology applications for enhancing mathematics achievement in K-12 classrooms: A meta-analysis. Educational Research Review, 9, 88-113. doi: j.edurev.2013.01.001

Hattie, J. (2009). Visible learning: A synthesis of over 800 meta-analyses relating to achievement. New York: Routledge.

Khalili, A., & Shashaani, L. (1994). The effectiveness of computer applications: A meta-analysis. Journal of Research on Computing in Education, 27, 48–62.

Kulik, C. L. C., & Kulik, J. A. (1991). Effectiveness of computer-based instruction: An updated analysis. Computers in Human Behavior, 7, 75–94.

Li, Q., & Ma, X. (2011). A meta-analysis of the effects of computer technology on school students’ mathematics learning. Educational Psychology Review, 22, 215–243.

Vroeger waren we slimmer. Of niet?

Het was een klein bericht op de wetenschapspagina in de NRC van 2 mei. De kop luidde: "Mensen zijn nu slomer dan 100 jaar geleden". Het bericht gaat over een zeer recent gepubliceerd artikel in het blad Intelligence. Auteurs zijn Woodley, te Nijenhuis, en Murphy. Nadat ik contact had gezocht met Woodley en te Nijenhuis ontving ik van hen een preprint van het artikel. De auteurs waren zeer bereidwillig en tonen zich open voor discussie.

Idiocracy

Het artikel trok vooral mijn aandacht omdat het niet zozeer gaat over sloomheid, maar over intelligentie. Onze voorouders in de negentiende eeuw zouden een hoger IQ hebben gehad dan wij. Zo'n bewering is opmerkelijk, want er is redelijk wat consensus over het idee dat we steeds hoger scoren op IQ-tests. De normering daarvan (je score is afhankelijk van wat anderen die op jou lijken scoren op zo'n test) moet elke zoveel jaar worden bijgesteld omdat anders de gemiddelde score op de test niet meer 100 zou zijn. Dat effect is vastgesteld in de jaren 80 door James Flynn en wordt daarom het Flynn effect genoemd. Oorzaken van het Flynn effect zijn onder andere betere voeding, beter onderwijs, en meer hygiene. Kortom: onze leefomstandigheden zijn sterk veranderd. Het onderzoek van Woodley waarover NRC bericht gaat hier lijnrecht tegenin. Het Flynn effect werpt als het ware een rookgordijn op. Weliswaar stijgt het gemeten IQ, maar in werkelijkheid is ons IQ aan het dalen! Dat idee is niet nieuw, want Retherford en Sewell merkten deze mogelijkheid al in 1988 op. De oorzaak zou genetisch van aard zijn, namelijk door dysgenetica (ik leg hieronder uit wat dat is). Dysgenetica is in ieder geval ook het uitgangspunt van de aardige (en ietwat verontrustende) komische film Idiocracy uit 2006.
Tot nu toe kwamen dergelijke opmerkingen voort uit redeneringen en inferenties, maar het ontbrak aan hard bewijs. Dat bewijs denken de auteurs nu te kunnen leveren. Dat zou interessant zijn, want dysgenetica heeft op zijn zachtst gezegd geen goede reputatie; ook is het bewijs voor stijgen dan wel dalen van onze intelligentie zeer tegenstrijdig. UvA-onderzoeker Jan te Nijenhuis, mede-auteur van het paper, noemde het artikel in een email aan mij zelfs een "intellectuele atoombom onder het hele Flynn effect." Een boude bewering, die natuurlijk op de enige scepsis kan rekenen.

Francis Galton (1822-1911)

Het artikel opent met een lofzang op het Victoriaanse tijdperk: een tijd waarin wetenschap en maatschappij tot bloei kwamen, en een tijd van spectaculaire economische groei (in de Westerse wereld, tenminste). De auteurs stellen dat IQ een goede voorspeller van werkprestatie is en dat een populatie met een gemiddeld hogere intelligentie productiever en creatiever zal zijn dan een met een lagere intelligentie. Omdat de Victoriaanse tijd een van productie en creativiteit was is de hypothese dat de Victorianen slimmer waren dan wij. Het is niet het sterkste staaltje logica, maar sluit naadloos bij eerdergenoemde opvatting van Retherford en Sewell aan. De man die het Victoriaanse tijdperk tot in de porieen belichaamt is Francis Galton. Galton, ook wel 'de laatste homo universalis' genoemd, staat aan de basis van uitvindingen als het hondenfluitje, de weerkaart, de vingerafdruk als identificatiemiddel, correlatie en regressie, en eugenetica (ook de bekende uitdrukking 'nature versus nurture' is door Galton bedacht). Eugenetica heeft in de twintigste eeuw een uiterst onprettige bijsmaak gekregen en wordt daarom alom vermeden. Dat de onderzoekers dysgenetica (als theorie enigszins verwant aan eugenetica) als belangrijkste argument gebruiken is daarom opmerkelijk en in zekere zin ook dapper. Jensen, naar wie de auteurs regelmatig verwijzen, liep vroeger onder politiebegeleiding rond. Het is nog maar relatief kort geleden dat dit soort discussies uiterst gevoelig lag, en nog steeds voelt praten over 'genetische verzwakking' nogal ongemakkelijk. Toen Herrnstein en Murray in 1996 in hun boek The Bell Curve de bestaande klassenstructuur toeschreven aan verschil in intelligentie (g) was Amerika te klein.

Omslag The Bell Curve

De theorie en de veronderstellingen zijn duidelijk, maar tot nu toe heeft het altijd aan concreet bewijs ontbroken. Dit artikel stelt het bewijs eindelijk te kunnen leveren. Hoe? Via de door de tijd heen gemeten (gemiddelde) reactietijd. "Reactietijd? Maar wat heeft dat met intelligentie te maken?" denkt u wellicht. Een flink deel van het artikel is erop gericht aan te tonen dat de correlatie (het lineaire verband) tussen 'general intelligence' (g) en reactietijd behoorlijk is (en negatief, want hoe hoger reactietijd, hoe lager g). In het artikel staan verder weinig inhoudelijke argumenten. Dat is jammer, want ik kan me indenken dat niet iedereen onder de indruk zal zijn van het argument dat gemiddeld langere reactietijden (we hebben het over honderdsten van seconden) impliceren dat we 'dommer' zijn geworden. We hebben te maken met de volgende logica:

1. Als reactietijden langer zijn geworden (vanaf 1880 tot nu) en
2. Als reactietijd in verband staat met g dan:
3. g is lager geworden van 1880 tot nu.

Dat klinkt eenvoudig, toch?  Schijn bedriegt! Wat volgt in het artikel is een uitgebreide statistische verhandeling die taai is, heel taai. Grondige kennis van meta-analyse is een vereiste, want je verdwaalt makkelijk in de 'benchmark estimates' en 'random-effects meta regression'. Ik dacht zelf een fout in de berekeningen te hebben gezien (er werd gebruik gemaakt van een correlatie r als percentage verklaarde variantie, terwijl dat volgens mij r² moest zijn), maar de eerste auteur liet me per kerende post weten dat dit bij meta-analyse juist wel de gewoonte is! Ik moet me daarom beperken tot een kort overzicht van de beschrijving, waarna ik mijn conclusies zal trekken.

De auteurs betrekken in hun meta-analyse 16 studies: de eerste stamt uit 1889, de laatste uit 2006 (de data waar het om gaat is rond die tijden ook verzameld). Op die studies wordt van alles toegepast om de data ervan goed met elkaar vergelijkbaar te maken. Dat is de essentie van meta-analyse: het wegen van onderzoeksdata. Een kleine studie is onbetrouwbaarder dan een grote, en legt daarom een wat kleiner gewicht in de schaal (dit is ook meteen hoe ver de uitleg in het statistiekboek van Field gaat). Als je dan het jaartal van de studie (x-as) afzet tegen het effect (de reactietijd, y-as) krijg je onderstaand plaatje.

In de grafiek zijn grote stipjes grote studies en kleine stipjes kleine. De lijn is een regressielijn die gebaseerd is op een 'random-effects meta-regression model'. Je ziet: reactietijd stijgt door de jaren heen, maar ook: 1) er zijn vrij weinig datapunten en 2) er zijn nogal wat afwijkingen van de lijn af.
Wat is de correlatie tussen reactietijd en intelligentie? Een studie uit 2001 suggereert een correlatie van -0,31 - vrij klein dus. Het artikel besteedt ruim een pagina aan het verzamelen van 'correctiefactoren' om dit getal bij te stellen. De argumenten in dat stuk zijn buitengewoon lastig te volgen, maar het komt er telkens op neer dat je op verschillende manieren het verband tussen reactietijd en intelligentie in onderzoek telkens iets te laag inschat. Dat leidt tot een stapeling van 4 correctiefactoren. Als je die toepast op de correlatie van -0,31 kom je uiteindelijk uit op een 'echte' correlatie van -,54. Dat is niet denderend, maar wel een stuk beter natuurlijk. De auteurs stellen dat zij daarmee aantonen dat reactietijd 54 procent van g meet (en ik kreeg dit bevestigd van de eerste auteur). Als je dit toepast op de regressie die je in het plaatje ziet, dan kun je daaruit afleiden (op een manier die ik wederom niet goed kan volgen) dat g gedaald is in iets meer dan 100 jaar met 14 IQ-punten, oftewel 1,23 IQ-punten per decennium: we zijn dommer geworden!
De vraag is natuurlijk: hoe komt het dat onze reactietijd omhoog is gegaan als je studies met elkaar vergelijkt. De dysgenetische verklaring is dat meer mensen met een relatief slechte gezondheid ouder worden dan vroeger. Die mensen maken deel uit van de groepen die meedoen aan onderzoek. Het zou kunnen, maar er zijn nogal wat 'artefacten' die de gegevens lastiger interpreteerbaar maken. Zo wordt hier gebruik gemaakt van gemiddelde reactietijden. Reactietijden zijn 'scheef verdeeld' en daarom is de mediaan eigenlijk informatiever. Maar de mediaan wisten de auteurs niet voor alle studies, en daarom gebruiken ze die niet. Daarnaast hangt de analyse van schattingen aan elkaar. Door het stapelen van geschatte getallen kan de uiteindelijke schatting er best ver naast zitten. Of het echt om een daling van 14 IQ-punten gaat is dus maar de vraag. Tenslotte kun je vraagtekens zetten bij een daling van het IQ en 'cleverness'. Wat drukt IQ nu eigenlijk echt uit? In dit artikel wordt het bestaan van g als vaste waarde voor 'algemene intelligentie' gewoon verondersteld, maar recente intelligentiemodellen beslaan veel meer dan louter 'g'. Dit alles maakt dat ik er niet van overtuigd ben dat de Victorianen veel slimmer waren dan wij - maar misschien ben ik niet slim genoeg om het te begrijpen.
Vooralsnog heeft de 'bom' onder het Flynn-effect op mij meer het effect van een gillende keukenmeid.

Bronnen

• Field, A. (2013). Discovering statistics using IBM SPSS Statistics. Sage. 
• Herrnstein, R.J., & Murray, C. (1996). The Bell Curve: Intelligence and class structure in American life.
• NRC (2 mei 2013). "Mensen zijn nu slomer dan 10 jaar geleden."
• Retherford, R. D., & Sewell, W. H. (1988). "Intelligence and family size reconsidered." Social Biology, 35, 1−40. 
• Thompson, J. (2013). The Victorians were cleverer than us! http://drjamesthompson.blogspot.nl/2013/04/the-victorians-were-cleverer-than-us.html
• Woodley, M.A., te Nijenhuis, J., & Murphy, R. (2013). Were the Victorians cleverer than us? The decline in general intelligence estimated from a meta-analysis of the slowing of simple reaction time. Intelligence.  doi:10.1016/j.intell.2013.04.006

Aanvulling (16-5-2013): een Engelse blogpost over het artikel is ook skeptisch, en doet de intrigerende suggestie het reactietijdapparaat dat door Francis Galton werd ontwikkeld na te bouwen. Wie pakt de handschoen op?

Welke informatie plaats je als docent wel en niet op Facebook?

Als docent actief zijn op Facebook, is dat eigenlijk een goed idee? En welke informatie moet je dan wel en niet op je profielpagina plaatsen?

In een column op het DUB schreef ik al eens over de relatief positieve ervaringen die we bij de opleiding Onderwijskunde hebben met het gebruiken van Facebook voor ons onderwijs. Op die column kwamen behoorlijk wat reacties. Bijvoorbeeld van een aantal studenten die zich zorgen maakten over hun privacy en over het benadelen van studenten die geen gebruik maken van Facebook. Maar hoe zit dat eigenlijk voor docenten? Is het verstandig als docenten actief zijn op Facebook? Moet je als docent vriendschapsverzoeken van studenten toestaan? En welke informatie kun je beter wel en beter niet plaatsen op je profielpagina?

Als docent zo'n profielfoto op Facebook nemen?

Zoals we eerder al constateerden, begint er een behoorlijk constante stroom van onderzoek naar het gebruik van sociale media in het onderwijs op gang te komen. Zo blijken aankomende studenten Facebook actief te gebruiken bij het zoeken en vinden van informatie over de studie en universiteit waarin zij geïnteresseerd zijn. In de nieuwste uitgave van het tijdschrift Cyberpsychology, Behavior, and Social Networking, richten Sleigh, Smith en Laboe zich op de docent die op Facebook actief is. Zij legden aan 77 studenten zes verschillende fictieve Facebook-profielen van mannelijke docenten voor:

1. Professioneel: De docent deelt vooral informatie over zijn werk.
2. Politiek liberaal: De docent laat met zijn profiel merken politiek actief te zijn voor de Democratische partij.
3. Politiek conservatief: De docent laat met zijn profiel merken politiek actief te zijn voor de Republikeinse partij.
4. Religieus: Uit het profiel van de docent blijkt dat hij religieus is.
5. Sociaal: De is de docent als party animal. De docent laat in zijn profiel merken van uitgaan, drank, enzovoorts te houden.
6. Familiegericht: De docent deelt op zijn Facebook profiel informatie over zijn gezin.

Het fictieve profiel liet daarbij ook de foto zien van een 39-jarige, glimlachende man. Bij het sociale profiel werd een foto van dezelfde man met een glas bier getoond en bij het familiegerichte profiel was er een foto van deze man met een jongetje te zien.

Hoe reageerden studenten op deze verschillende Facebook profielen? Studenten gaven aan dat de "sociale" docent hen het meest aardig leek en dat ze dachten dat deze docent vast populair zou zijn bij zijn studenten. De "sociale" docent werd door studenten echter ook als een minder goede docent gezien en studenten verwachtten ook dat de cursussen van deze docent relatief gemakkelijk zouden zijn. Ook dachten studenten dat deze docent minder respect van zijn collega's zou genieten dan de andere docenten. Hoewel studenten het profiel van de sociale docent interessant vonden, vonden ze ook dat deze docent minder persoonlijke informatie moest delen op zijn Facebook profiel.

De verwachting van Sleigh et al. was dat de professionele docent als de betere docent zou worden gezien, omdat de informatie op zijn profielpagina het meest overeenstemt met wat studenten toepasselijke informatie vinden. Deze verwachting bleek maar gedeeltelijk uit te komen. De professionele docent werd wel als een betere docent beoordeeld dan de sociale docent, maar niet in vergelijking met de andere profielen.

De Facebook profielen van docenten lijken dus de percepties van studenten te beïnvloeden. Wat betekent dat nu voor ons docenten? Waarschijnlijk kom je met je boerenverstand al een heel eind. Het delen van persoonlijke en professionele informatie kan geen kwaad, zolang je het maar niet te gek maakt. En neem dus geen profielfoto waarop je met een glas bier te zien bent, want dan verlies je het respect van je collega's! ;-)

Sleigh, M. J., Smith, A. W., Laboe, J. (2013, in press). Professors' Facebook content affects students' perceptions and expectations. Cyberpsychology, Behavior, and Social Networking. doi: 10.1089/cyber.2012.0561