Hoe vaak multitasken de Digital Natives?

Op dit blog schreven we al eerder over "Digital Natives". Digital Natives, bewoners van het digitale tijdperk, zouden over vaardigheden beschikken waarover Digital Immigrants, nieuwkomers vanuit het oude, internetloze tijdperk, niet beschikken. Eén van die vaardigheden zou de vaardigheid om te kunnen multitasken zijn. Hoewel multitasken vaak als een positieve vaardigheid wordt gezien, zijn er meer en meer geluiden te horen over de negatieve effecten van mulitasken, bijvoorbeeld op het leerproces van leerlingen.

Maar hoe gangbaar is multitasken nu eigenlijk? Wanneer studenten aan een opdracht voor hun studie werken, multitasken zij dan veel of juist niet. In veel onderzoek wordt gebruik gemaakt van zelfrapportage om hier een indruk van te krijgen. Uiteraard kleven er aan dergelijke maten verschillende nadelen. Judd (2013) hanteerde een andere manier om zicht te krijgen op het multitasken van studenten. Gedurende een maand verzamelde Judd gegevens over het computergebruik in een computerzaal voor studenten van een Australische universiteit. Van elke student die plaats nam achter een pc werd gelogd welke aplicatie(s) hij/zij startte, welke documenten geopend werden en welke websites bezocht werden. Zo kon heel gedetailleerd geanalyseerd welk gedrag studenten vertoonden terwijl ze werkten in deze computerzaal.

Judd maakt onderscheid in drie typen patronen (zie onderstaande Figuur). Type i: een gebruiker die niet switcht tussen taken. Type ii: een gebruiker die serieel aan taken werkt. En type iii: een gebruiker die multitaskt.

De resultaten van Judd laten zien dat type iii patronen veel voorkomen. Judd vond in zijn data dat er in 70% van alle geanalyseerde sessies van studenten achter een pc sprake was van een zekere mate van multitasken.

Interessant is ook dat Judd sequentiële analyse toepaste op zijn data. Hij vond dat patroon i (1 in de onderstaande figuren) en patroon iii (3 in de onderstaande figuren) stabiele patronen zijn. Met andere woorden de kans dat iemand die niet multitaskt gedurende een bepaalde periode, in de volgende periode ook niet multitaskt is vrij groot, namelijk 0.80 (zie bovenste pijl in de a figuur hieronder). De kans dat wanneer een student in een bepaalde periode wel multitaskt in de volgende periode ook multitaskt is vergelijkbaar, 0.79. In de b figuur zie je overigens wat de kansen zijn als je niet naar de eerst volgende periode kijkt maar de periode daarna. Ook dan zie je dat de kansen vrij groot zijn dat een student ofwel niet multitaskt (0.69) ofwel wél multitaskt (0.69). Het lijkt dus zo te zijn dat bij patroon i en iii het gaat om vrij stabiele gedragspatronen.

De studenten in dit onderzoek kunnen beschouwd worden als Digital Natives. Het blijkt dat zij behoorlijk veel multitasken wanneer ze voor hun studie met een pc werken. En wanneer zij multitasken, dan doe ze dat gedurende langere periodes. Dit onderzoek laat helaas niet zien wat voor gevolgen dat heeft voor hun academische prestaties, maar gezien eerder onderzoek moeten we daar misschien niet te optimistisch over zijn.

Referentie
Judd, T. (2013). Making sense of multitasking: Key behaviors. Computers & Education, 63, 358-367. doi:  10.1016/j.compedu.2012.12.017

De gouden standaard in onderwijsonderzoek: Het debat gaat verder

Eens in de zoveel tijd laait de discussie weer op over de eisen waaraan goed onderwijsonderzoek zou moeten voldoen. In 2006 brak in Nederland de Onderwijsraad een lans voor evidence based onderwijsonderzoek: Er moet gestreefd worden naar zo hard mogelijk bewijs over wat werkt in het onderwijs. Hoe men dat bereikt? Met zogenaamde randomized controlled trails. Oftewel: studies waarbij deelnemers willekeurig (random) worden toegewezen aan een experimentele conditie of een controle conditie. Door een dergelijke opzet kunnen causale uitspraken worden gedaan over de werking van een interventie. Men kan dan vaststellen of een interventie invloed heeft op bijvoorbeeld leerprestaties van leerlingen. Met "zachtere" onderzoeksopzetten, bijvoorbeeld correlationele studies waarbij gezocht wordt naar verbanden tussen variabelen, kunnen geen causale relaties vastgesteld worden.

Het advies van de Onderwijsraad lokte enkele stevige reacties, waaronder een discussie tussen Kirschner en Gravemeijer enerzijds en Bosker anderzijds in het tijdschrift Pedagogische Studiën.

De nieuwste uitgave van Journal of Educational Psychology bevat een artikel dat de discussie weer nieuw leven in kan blazen. Reinhart, Haring, Levin, Patall en Robinson (2013) analyseerden de onderzoeksartikelen die tussen 2000 en 2010 verschenen in vijf vooraanstaande wetenschappelijke tijdschriften. Ze zijn erg kritisch over de "hardheid" van de gehanteerde onderzoeksopzetten en zijn ook erg kritisch over de uitspraken die onderzoekers met "zachte" onderzoeksopzetten (lees: correlationele onderzoeken) zich permitteren. Volgens Reinhart et al. worden dan toch vaak uitspraken gedaan die suggereren dat er een causale relatie bestaat tussen de onderzochte variabelen:

"The present line of research continues to show that at the same time intervention studies are becoming less prevalent in the education research literature, researchers are more inclined to include causal statements in nonintervention, observational/correlational studies. Potentially related to this is the increasing use of statistical modeling techniques. As was reported in the present study, over the past 10 years, there has been almost a 40% increase in modeling use in such articles that also include implications for practice"

Uit het onderzoek van Reinhart et al. blijkt dus dat het aantal randomized controlled trials daalde in de periode van 2000-2010. Daarnaast  bleken onderzoekers steeds meer genegen om causale uitspraken te doen over hun bevindingen. De auteurs zijn stellig in hun mening hierover: Met een correlationele onderzoeksopzet kunnen geen causale uitspraken gedaan worden. Daarnaast moet men dan ook voorzichtig zijn met het geven van adviezen voor de onderwijspraktijk. In feite, betogen Reinhart et al., is het niet mogelijk om op basis van correlationeel onderzoek gefundeerde, waardevolle adviezen voor de onderwijspraktijk te formuleren.

De auteurs geven ook een voorbeeld van een onderzoek dat zulke misplaatste uitspraken doet:

"It included a survey in which teachers rated their current relationships with students (e.g., closeness and conflict), and parents rated their child's behavior problems at home. ... this is a nonintervention observational study (referred to here as an observational/correlational study), as opposed to an intervention study. The authors concluded that “high quality teacher-child relationships appeared to buffer children from the risks normally associated with early internalizing behavior problems.” According to that conclusion, there is an implied causal relationship between teacher–child relationship and child behavior problems: If teachers had better relationships with children, then the children demonstrated fewer behavior problems later."

Te strenge leerkracht, dus daardoor gedragsproblemen?

De uitspraak dat wanneer leerkrachten betere relaties met de kinderen in hun klas hebben, de kinderen minder gedragsproblemen zullen vertonen veronderstelt volgens Reinhart et al. ten onrechte een causale relatie tussen de leerkracht-leerling relatie en gedragsproblemen van leerlingen. Adviezen op basis van deze onterecht veronderstelde causale relatie ("docenten moeten investeren in de relatie met leerlingen om zo gedragsproblemen te voorkomen") zijn volgens Reinhart et al. misplaatst.

Reinhart et al. schrijven de toename van het aantal correlationele studies ten koste van het aantal randomized controlled trials toe aan het toenemend gebruik van geavanceerde statistische methoden zoals multilevel analyse en structural equation modelling. Hoewel deze methoden zeer bruikbaar zijn, waarschuwen Reinhart et al.: 

"Educational researchers need to keep in mind that despite their many advantages, advanced statistical models cannot magically manufacture causal conclusions from observational or correlational data."

Ze vragen zich af:

"Is there something “magical” about modeling that increases the likelihood of researchers making  silky smooth “if-then” statements out of a sour morass of correlations?"

Reinhart et al. geven ook een voorzichtige verklaring waarom onderzoekers zich laten verleiden tot het doen van causale uitspraken:

"Making the news “sexy” frequently means glossing over crucial distinctions, like the classic distinction between correlation and causation (correlation is never as sexy as causation even on its best day)"

Met andere woorden: causale uitspraken verkopen nou eenmaal beter. Een nogal cynische verklaring.

De discussie over welke onderzoeksmethode het meest waardevol is voor onderwijsonderzoek is dus nog steeds springlevend en met dit artikel wordt het vuurtje weer lekker opgestookt. Ik ben benieuwd wie zich geroepen voelt te reageren.


Referentie:
Reinhart, A. L., Haring, S. H., Levin, J. R., Patall, E. A., Robinson, D. H. (2013). Models of Not-So-Good Behavior: Yet Another Way to Squeeze Causality and Recommendations for Practice Out of Correlational Data. Journal of Educational Psychology, 105, 241-247. doi: 10.1037/a0030368

Onderwijskunde in Utrecht is een topopleiding

Een tijdje geleden is de jaarlijkse Keuzegids van Nederlandse Universiteiten verschenen. De beste Bacheloropleidingen kregen dit keer op basis van het totaal aantal behaalde punten in de keuzegids het predikaat 'topopleiding'. In totaal werden 59 opleidingen aangewezen als topopleiding. Daarvan zijn 13 opleidingen aan de Universiteit Utrecht. Tot ons genoegen is onze opleiding Onderwijskunde een van die 13 opleidingen. De consequentie? We mogen een jaar lang onszelf als een van de beste bacheloropleidingen van Nederland beschouwen. Daarnaast mogen we het 'kwaliteitszegel' dat je hiernaast ziet afbeelden waar we dat maar willen. Dat doen we dus ook! Uiteraard streven we ernaar de kwalificatie topopleiding ook in volgende jaren te prolongeren.