Online in de collegezaal, maar mentaal offline?

En ja hoor, daar was ie weer: de laptops-wel-of-niet-toestaan-in-colleges-discussie. Net zoals de discussie over Zwarte Piet en het afsteken van vuurwerk, komt deze discussie eens in de zoveel tijd terug? De aanleiding: een nieuw onderzoek, uitgevoerd aan de Michigan State University, vond dat het gebruik van laptops tijdens colleges negatief samenhangt met tentamencijfers aan het eind van de cursus.

Iets nieuws onder de zon? Aan de ene kant niet: omdat, zoals de auteurs in het artikel zelf ook aangeven, de negatieve relatie tussen internetgebruik in colleges en studieprestaties al vaker is aangetoond. Opvallend is daarbij dat veel studenten zelf de indruk hebben dat het gebruik van internet tijdens colleges geen negatief effect heeft op hun studieprestaties, terwijl dit wél het geval blijkt te zijn. Een verklaring hiervoor is mogelijk dat studenten zelf niet goed in kunnen schatten hoe veel ze van internet gebruik maken tijdens colleges. Omdat veel eerder onderzoek gebruik maakt van dergelijke self-reports hebben de auteurs van deze nieuwe studie getracht een betere indruk van het internetgebruik van studenten tijdens colleges, door dit gebruik daadwerkelijk te registreren (bv. hoe vaak vroegen studenten een bepaalde webpagina op?). De studenten die deelnamen aan deze studie logden daarvoor eerst in op een proxy server, die vervolgens registreerde welke webpagina's door studenten werden opgevraagd. Hiermee konden de auteurs een meer accurate indruk krijgen van het internetgebruik van studenten tijdens colleges. Interessante toevoeging aan het onderzoek is daarnaast dat de auteurs ook hebben getracht de motivatie van studenten voor de cursus en hun interesse in de collegestof te meten. Hierdoor kunnen de auteurs ook een alternatieve verklaring onderzoeken voor de relatie tussen internetgebruik in de collegezaal en tentamencijfers: namelijk verveling. Misschien is het wel zo dat een deel van de studenten zich verveelt tijdens colleges en dat deze studenten daarom gaan Facebooken, YouTube-en, etc. Dan is verveling mogelijk de verklarende factor en niet het internetgebruik zelf. Dat is dan meer een uiting van deze verveling.

Wat kwam er dan uit deze studie? Allereerst de omvang van het internetgebruik door studenten tijdens de colleges. Ik moet zeggen dat ik hier wel van schrok. 37 minuten bleek de mediaan van de duur van het internetgebruik te zijn. Of te wel, als voor alle deelnemende studenten de tijd die ze tijdens éém college op internet doorbrachten gerangschikt wordt van laag naar hoog, blijkt 37 minuten het midden van deze verdeling te vormen. De colleges duurden in dit onderzoek 150 minuten, dus een groot deel van de studenten brengt een kwart of meer tijd van het college door op internet. En dat is nog niet alles, want de deelnemende studenten werd daarnaast nog gevraagd om aan te geven hoeveel tijd ze smartphone of tablet gebruikten om te appen of sms-en of sociale media te gebruiken. Daar besteedden deze studenten nog eens gemiddeld 27 en 19 minuten aan!

Wat doen studenten dan op internet tijdens colleges? Een deel van de tijd gebruiken studenten hun laptop wél voor studiegerelateerde zaken, zoals bekijken van de online leeromgeving of het zoeken op Wikipedia naar relevante onderwerpen (mediaan is 3.79 minuten per college). Het meeste deel van de tijd gebruiken studenten internet tijdens college voor sociale media (mediaan is 6.30 minuten). Daarnaast gebruiken ze internet ook geregeld om te e-mailen (mediaan 1.85 minuten).

Is het dan zo dat internetgebruik tijdens hoorcolleges inderdaad samenhangt met slechtere studieprestaties? Ja, in dit onderzoek werd aangetoond dat er een negatieve samenhang is tussen internetgebruik en tentamencijfers. Hierbij is gecontroleerd voor de mogelijke invloed van intelligentie, interesse en motivatie. Dus zelfs wanneer rekening gehouden wordt met de intelligentie van studenten en hun interesse in en motivatie voor het onderwerp, bestaat er een negatieve samenhang tussen internetgebruik tijdens colleges en studieprestaties. Het is dus niet zo dat verveling van studenten tijdens colleges volledig kan verklaren waarom er een negatieve samenhang is tussen internetgebruik en studieprestaties. De auteurs vinden zelfs dat motivatie niet en interesse slechts marginaal (p < .10) samenhangen met het gebruik van sociale media, e-mail, etc. tijdens hoorcolleges. Het is dus niet zo dat het de minder gemotiveerde of niet geïnteresseerde studenten zijn die tijdens hoorcolleges het meest gebruik maken van internet.

Interessante bevinding in dit onderzoek is overigens dat de studenten in dit onderzoek behoorlijk goed in staat bleken te zijn om hun eigen internetgebruik tijdens hoorcolleges te schatten. De schattingen van de studenten zaten behoorlijk dichtbij het daadwerkelijke internetgebruik.

De vraag die dan overblijft, is wat de implicaties van dit en ander onderzoek naar het gebruik van internet tijdens colleges moeten zijn? Moeten laptops (en andere devices) verbannen worden uit de collegezalen? Dat is een gevoelige kwestie onder docenten en studenten. Veel studenten vinden het verbieden van laptops betuttelend en ook veel docenten vinden het de eigen verantwoordelijkheid van studenten om te besluiten om laptops op zinvolle dan wel ontspannende wijze te gebruiken tijdens hoorcolleges.

Het is gemakkelijk om met de vinger naar de hoorcollegedocent in kwestie te wijzen: het zullen wel oersaaie colleges zijn geweest anders hadden de studenten vast niet zoveel geïnternet tijdens die colleges. Voor een deel mag je inderdaad van docenten verwachten dat zij in staat zijn om colleges te geven die de interesse van studenten wekken en waar misschien ook de aanwezige laptops op een nuttige manier gebruikt worden. Van de andere kant laat dit onderzoek ook zien dat er geen sterke relatie is tussen de interesse van de deelnemende studenten en hun internetgebruik: meer interesse leidt dus niet automatische tot minder internetgebruik en vice versa. En ja, het is inderdaad ook de eigen verantwoordelijkheid van de student: van een student mag je verwachten dat zij of hij nadenkt over wat raadzaam is bij het studeren en studenten moeten dan ook maar de consequenties aanvaarden van hun eventuele internetgebruik tijdens hoorcolleges.

Toch laat meer en meer onderzoek zien dat internetverslaving steeds vaker voorkomt en dat veel mensen daarom ook niet in staat zijn om de impuls om internet te gebruiken het hoofd te bieden.

Online of offline in de collegezaal? De discussie is vast nog niet uitgewoed, maar deze studie geeft zeker te denken.

Wij van WC Eend: Een infographic van Samsung over VR in het onderwijs

Onlangs was ik in het Waterliniemuseum bij Fort Vechten (snel gaan kijken, erg mooi geworden!) waar ik kennis kon maken met een leuke toepassing van Virtual Reality. Je krijgt met een VR headset een mooie indruk van hoe de Hollandse Waterlinie in het landschap gelegen is.

Toevallig vond ik een paar dagen geleden vond ik een infographic van Samsung over de mogelijkheden van Virtual Reality in het onderwijs. Uiteraard heeft Samsung belang bij het stimuleren van VR, want zij kunnen hieraan verdienen. Ik heb enkele van mijn bedenkingen bij de infographic geplaatst.

Hoewel ik denk dat VR zeker een bijdrage kan leveren aan het onderwijsproces vind ik de bovenstaande infographic dus iets te positief en te onduidelijk. Ik vermoed dat de infographic zo positief is, omdat Samsung graag veel VR headsets wil verkopen. Ik ben wel erg benieuwd welke toepassingen het basis- en voortgezet onderwijs gaan bereiken in de komende jaren.

Geen effect van leerlingcontrole bij gebruik onderwijstechologie

Een relatief vaak genoemd voordeel van het gebruiken van onderwijstechnologie is dat hiermee leerlingen controle kan worden gegeven over het eigen leerproces. Intuïtief zou je kunnen vermoeden dat door het geven van controle over het eigen leerproces, leerlingen meer gemotiveerd raken en hun zelfregulerend vermogen versterkt wordt, wat het leerproces ten goede komt. Is dit echter wel zo? Een recente meta-analyse doet vermoeden van niet.

Naar aanleiding van een meta-analyse van Cheung en Slavin (2013) schreven we een tijd terug over de nog niet gerealiseerde potentie van onderwijstechnologie. De meta-analyse van Cheung en Slavin toonde namelijk aan dat de effecten van onderwijstechnologie voor de  het stimuleren van rekenvaardigheden van leerlingen tot dusver zeer beperkt zijn. Cheung en Slavin vonden een effectgrootte van +0.16 en toonden daarmee aan dat onderwijstechnologie een positief maar zeer beperkt effect heeft op de rekenvaardigheden van leerlingen.

Heeft het nut om leerlingen met behulp van onderwijstechnologie controle te geven over het eigen leerproces?

Bij een meta-analyse kunnen de verschillen tussen studies soms echter erg groot zijn. Waar in de ene studie een klein of zelfs negatief effect gevonden wordt, kan in de andere studie een groot effect gevonden worden. Dat kan veroorzaakt worden door verschillende factoren. Eén van de voor de hand liggende factoren is de onderwijstechnologie zelf: de ene toepassing is beter ontworpen, heeft meer effectieve onderdelen dan de andere toepassing. Een onlangs verschenen meta-analyse zoomt verder in op één van de kenmerken waarop toepassingen van onderwijstechnologie van elkaar verschillen, namelijk leerlingcontrole (learner control).

Leerlingcontrole kan gedefinieerd worden als de mate waarin de leerling tijdens het werken met onderwijstechnologie de vrijheid heeft om eigen keuzes te maken tijdens het leerproces. Bijvoorbeeld door zelf te kunnen kiezen welke taak of opdracht de leerling gaat uitvoeren of hoeveel oefenopgaven hij/zij gaat maken. Leerlingcontrole kan variëren van geen controle (de toepassing bepaalt het verloop van het leerproces en maakt alle relevante keuzes) tot volledige leerlingcontrole (de leerling maakt alle keuzes). In veel onderwijstechnologische toepassingen is leerlingcontrole een belangrijk uitgangspunt. De gedachte is dat wanneer leerlingen controle hebben over het eigen leerproces, dit het leerproces ten goede zal komen bijvoorbeeld doordat leerlingcontrole de motivatie en het zelfregulerend vermogen van leerlingen bevordert.

De recent verschenen meta-analyse van Karich, Burns en Maki (2014) vat het onderzoek naar de effecten van leerlingcontrole samen. In totaal vonden Karich et al. 85 studies naar de effecten van leerlingcontrole bij onderwijstechnologie. Een groot aantal studies veel echter af vanwege hun beperkte methodologische kwaliteit of omdat ze te weinig kwantitatieve gegevens rapporteerden voor het berekenen van effectgroottes. Na deze screening restten nog 18 studies.

De conclusie zijn duidelijk en ontnuchterend. Uit de meta-analyse van Karich et al. blijkt dat leerlingcontrole geen effect heeft op de leerprestaties van leerlingen (g = +0.05). Hierbij maakt het geen verschil welke specifieke toepassing van ondewijstechnologie het betreft of over welk aspect van het leerproces de leerling controle krijgt (bv. tempo, moeilijkheid van opdrachten). Karich et al. concluderen verder dat leerlingcontrole een groter effect lijkt het hebben op zogenaamde 'behavioral outcomes' (motivatie, time on task) dan leeruitkomsten.

De resultaten van deze meta-analyse laten zien dat wanneer met behulp van onderwijstechnologie getracht wordt leerlingen controle gegeven wordt over het eigen leerproces dit geen noemenswaardige effecten heeft op leerprestaties. Zoals de auteurs ook aangeven moet toekomstig onderzoek uitwijzen of alternatieve manieren van het geven van controle aan leerlingen hier wellicht beter in slagen.

Karich, A. C., Burns, M. K., Maki, K. E. (2014). Updated meta-analysis of learner control within educational technology. Review of Educational Research, 84, 392-410. doi:10.3102/0034654314526064

De (nog) niet gerealiseerde potentie van onderwijstechnologie voor het rekenonderwijs?

Moeten we hoge verwachtingen hebben van het inzetten van onderwijstechnologie in het rekenonderwijs? Een recente meta-analyse suggereert dat misschien niet realistisch is.

Al jaren wordt er door overheden en scholen flink geïnvesteerd in nieuwe technologie. Nieuwe technologische toepassingen zoals interactieve whiteboards, tablets, smart phones vinden hierdoor hun weg meer en meer naar het klaslokaal. Dat het inzetten van technologie in het onderwijs big business is, blijkt wel uit het feit dat de Amerikaanse overheid in 2009 besloot 650 miljoen dollar beschikbaar te stellen voor onderwijstechnologie.

Dit roept de vraag op wat deze investeringen opleveren. Er wordt geïnvesteerd in onderwijstechnologie met het doel om het onderwijs te verbeteren, om het leerproces van leerlingen beter te ondersteunen en om leraren te helpen nog beter onderwijs te verzorgen. Lukt dat ook? Dat is de vraag die de honderden, zo niet duizenden, studies die de afgelopen decennia zijn uitgevoerd naar de effecten van onderwijstechnologie proberen te beantwoorden.

Om uit die enorme hoeveelheid studies zinnige conclusies te kunnen trekken - sommige studies vinden immers een positief effect, anderen geen effect, en weer anderen een negatief effect - voeren onderzoekers regelmatig meta-analyses uit. Met een meta-analyse proberen onderzoekers het effect van een interventie, van een nieuwe toepassing, samen te vatten met één maat, de effectgrootte. Deze effectgrootte wordt berekend door de uitkomsten van de studies die worden opgenomen in de meta-analyse te combineren. Hierbij krijgen grotere en betrouwbaardere studies meer gewicht dan kleinere en onbetrouwbaardere studies.

Cognitive Tutor, één van de programma's die is opgenomen in de meta-analyse van Cheung en Slavin (2013).

Een recente meta-analyse, uitgevoerd door Cheung en Slavin (2013), probeert de vraag te beantwoorden wat het effect van onderwijstechnologische toepassingen is op de rekenprestaties van leerlingen in het basis- en voortgezet onderwijs. Dat effect blijkt niet groot te zijn. Cheung en Slavin vonden een effectgroote van +0.16. Een positief effect van onderwijstechnologie weliswaar, maar wel een zeer bescheiden effect: leerlingen die met onderwijstechnologie werken tijdens het rekenonderwijs presteren beter dan kinderen die daar niet mee werken. Dit verschil is echter relatief klein.

De indeling van effect groottes zoals gehanteerd door Hattie.

In de terminologie van Hattie's Visisble Learning (2009) gaat het hier om een effectgrootte die ruim onder de door hem gehanteerde grens van +0.40 blijft. Effectgroottes boven +0.40 zijn volgens Hattie betekenisvolle effecten; effecten van daadwerkelijk effectieve interventies. Blijft een interventie onder deze grens, dan is het de vraag of implementatie van deze interventie wel zinvol is.

Deze bevinding staat veraf van de positieve verwachtingen die de evangelisten van onderwijstechnologie hebben. Hoe kan het dat - althans in het rekenonderwijs - de effecten van onderwijstechnologie zo bescheiden zijn? De effectgrootte die Cheung en Slavin vinden, is ook behoorlijk lager dan die eerder door andere auteurs werd gevonden. Zo vonden Li en Ma (2011) een effectgrootte van +0.28, Kulik en Kulik (1991) een effectgrootte van +0.39 en Khalili en Shashaani (1994) zelfs een effectgrootte van +0.52 van onderwijstechnologie op prestaties in het rekenonderwijs. Hattie (2009) vond in zijn review van alle meta-analyses naar de effecten van onderwijstechnologie een effectgroote van +0.37. Hoe is dit te verklaren?

Het moge duidelijk zijn dat Cheung and Slavin niet de eersten zijn die een meta-analyse uitvoeren naar de effecten van onderwijstechnologie in het rekenonderwijs. Ze beschrijven in hun artikel daarom ook uitgebreid op welke vlakken hun meta-analyse afwijkt van eerdere meta-analyses en waarom hun meta-analyse een betrouwbaarder resultaat oplevert. Volgens Cheun en Slavin bevatten eerdere meta-analyses duidelijke tekortkomingen; tekortkomingen die hun meta-analyse niet heeft. Deze zijn onder andere:

1. Geen controlegroep: In eerdere meta-analyses zijn vaak studies opgenomen waarbij geen gebruik gemaakt wordt van een controlegroep; een controlegroep waarbij de leerlingen "onderwijs-zoals-gebruikelijk" kregen. Zonder zo'n controlegroep is het onmogelijk om toename in rekenprestaties met zekerheid toe te schrijven aan onderwijstechnologie. Zo'n toename kan dan ook veroorzaakt worden door andere factoren dan de onderwijstechnologie, bijvoorbeeld rijping of groei.
2. Korte duur: Veel studies naar het gebruik van onderwijstechnologie betreffen studies waarbij slechts voor korte tijd (soms slechts één les) met de onderwijstechnologie gewerkt wordt. Door slechts voor een korte periode met onderwijstechnologie te werken, bestaat het risico dat de gevonden effect grootte slechts toe te schrijven is aan de nieuwigheid van de onderwijstechnologie. Pas wanneer voor langere tijd met onderwijstechnologie gewerkt wordt, met andere woorden als de nieuwigheid er voor leerlingen en leraren vanaf is, is volgens Cheung en Slavin écht vast te stellen wat het effect ervan is voor het onderwijs. In de meta-analyse van Cheun en Slavin zijn daarom alleen studies opgenomen die 12 weken of langer duurden.
3. Verschillen tussen onderzoeksgroepen bij aanvang van de studie: Volgens Cheung en Slavin is het van belang dat bij aanvang van een onderzoek wordt vastgesteld of de onderzoeksgroepen vergelijkbaar zijn. Wanneer de rekenprestaties in de ene groep bij aanvang van het onderzoek al hoger zijn dan de andere groep, dan is geen eerlijke vergelijking mogelijk. Daarom namen Cheung en Slavin in hun meta-analyse alleen studies op waarbij er een zogenaamde voormeting werd gedaan, zodat was vast te stellen of de onderzoeksgroepen bij aanvang wel vergelijkbaar waren.

Het moge duidelijk zijn: Cheung en Slavin zijn streng. Alleen studies die aan strenge criteria voldoen, zijn opgenomen in deze meta-analyse. Op basis van een zoektocht in verschillende databases localiseerden Cheung en Slavin meer dan 700 studies die mogelijk in aanmerking zou komen voor opname in de meta-analyse. Uiteindelijk konden daarvan slechts 74 aan de strenge criteria van Cheung en Slavin voldoen. En op basis van deze 74 studies moeten we concluderen dat onderwijstechnologie een kleine, maar positieve bijdrage levert aan het verbeteren van de rekenprestaties van leerlingen in het basis- en het voorgezet onderwijs.

Zal de iPad een groter effect hebben op het onderwijs?

Moeten we dan accepteren dat tot nu toe de effecten van onderwijstechnologie in het rekenonderwijs slechts bescheiden zijn? De uitkomsten van de meta-analyse laten weinig ruimte voor een andere conclusie. Dat wil uiteraard niet zeggen dat onderwijstechnologie niet de potentie heeft om een grotere bijdrage te gaan leveren aan het verbeteren van het rekenonderwijs. Ook onderwijstechnologie ontwikkelt zich in een snel tempo; nieuwe toepassingen worden met grote regelmaat beschikbaar en met veel enthousiasme door sommige leraren ingezet in het onderwijs. Wie weet hoe het klaslokaal van 2020 eruit zal zien en op welke manier onderwijstechnologie dan - misschien beter dan toe nu toe - het onderwijs veranderd en verbeterd zal hebben?

Referenties

Cheung, A. C. K., & Slavin, R. E. (2013). The effectiveness of educational technology applications for enhancing mathematics achievement in K-12 classrooms: A meta-analysis. Educational Research Review, 9, 88-113. doi: j.edurev.2013.01.001

Hattie, J. (2009). Visible learning: A synthesis of over 800 meta-analyses relating to achievement. New York: Routledge.

Khalili, A., & Shashaani, L. (1994). The effectiveness of computer applications: A meta-analysis. Journal of Research on Computing in Education, 27, 48–62.

Kulik, C. L. C., & Kulik, J. A. (1991). Effectiveness of computer-based instruction: An updated analysis. Computers in Human Behavior, 7, 75–94.

Li, Q., & Ma, X. (2011). A meta-analysis of the effects of computer technology on school students’ mathematics learning. Educational Psychology Review, 22, 215–243.