Wat draagt bij aan studieprestaties van studenten?

Eens in de zo veel tijd kom je een nieuw artikel tegen waarin zo veel interessante informatie staat dat het je even duizelt. Ik was al een tijdje van plan om het artikel "Variables Associated With Achievement in Higher Education: A Systematic Review of Meta-Analyses" van de auteurs Michael Schneider en Franzis Preckel te lezen en ben blij dat ik dat nu eindelijk gedaan heb. Het artikel is nog "in press" bij het tijdschrift Psychological Bulletin, maar kan ook alvast gelezen worden via deze link.

Zoals de titel suggereert gaat het om een review van meta-analyses naar de samenhang tussen een groot aantal variabelen (denk aan duidelijkheid van cursusdoelen, motivatie van studenten, enthousiasme van de docent, intelligentie, etc.) en studieprestaties van studenten in het hoger onderwijs. De afgelopen decennia is er een groot aantal studies uitgevoerd naar de samenhang tussen allerlei variabelen en studieprestaties en voor elk van die variabelen zijn weer meerdere meta-analyses die proberen de samenhang met studieprestaties vast te stellen aan de hand van een effectgrootte (effect size). Een interessant voorbeeld van zo'n meta-analyse vind je bijvoorbeeld hier. Het artikel van Schneider en Preckel is interessant omdat zij een synthese van deze meta-analyses hebben uitgevoerd. Dit stelt hen in staat om de effectgroottes van een groot aantal variabelen, 105 om precies te zijn, onderling te vergelijken. Dit leidt in hun artikel tot een ranglijst van variabelen in meer of mindere mate samenhangen met studieprestaties.

Visible learning revisited

Als je dit bekend in de oren klinkt, een ranglijst van variabelen gebaseerd op effectgroottes, dan kan dat kloppen. John Hattie heeft iets dergelijks bijvoorbeeld ook gedaan in zijn boek Visible Learning: A synthesis of over 800 meta-analyses relating to achievement. Schneider en Preckel kiezen echter een wat andere benadering voor hun synthese dan Hattie gebruikte in zijn boek. In veel gevallen zijn er voor een specifieke variabele, laten we zeggen voor het gebruik van blended learning, meerdere meta-analyses. Hattie koos er in die gevallen in zijn boek dan voor om de effectgroottes uit deze meta-analyses statistisch te combineren tot één effectgrootte. Schneider en Preckel wijzen en er terecht op dat deze aanpak een probleem creëert: een oude meta-analyse naar de effecten van blended learning kan uiteraard alleen gebruik maken van de oudere studies op dit terrein, terwijl een nieuwere meta-analyse gebruik kan maken van zowel de nieuwere als de oudere studies. Dat betekent dat wanneer je effectgroottes van twee of meer meta-analyses gaat samenvoegen, je het risico loopt dat oudere studies oververtegenwoordigd zijn: ze zijn waarschijnlijk gebruikt in zowel de oude als de nieuwe meta-analyses. En nieuwe studies zijn dan ondervertegenwoordigd: die zijn waarschijnlijk alleen gebruikt in de nieuwe meta-analyses. Schneider en Preckel hebben dit opgelost door in tegenstelling tot Hattie geen overall effectgrootte te berekenen, maar zich voor elke variabele alleen te baseren op de meta-analyse waarin het grootste aantal studies was opgenomen (en dat was vaak de meest recente meta-analyse).

De synthese

In totaal betrokken Schneider en Preckel 38 meta-analyses in hun synthese (de oudste uit 1980, de meest recente uit 2014). In totaal identificeerden ze 105 variabelen in de volgende categorieën:

Variabelen die samenhangen met de wijze van instructie:

• Sociale interactie: Denk aan samenwerkend leren, gebruiken van open vragen in plaats van gesloten vragen tijdens het lesgeven, behulpzaamheid van de docent.
• Stimuleren van betekenisvol leren: Denk aan voorbereiding door de docent, organisatie van cursussen, duidelijke cursusdoelen, uitdagend onderwijs.
• Assessment: Denk aan kwaliteit van toetsing, gebruik van peer assessment en self assessment.
• Presentatie: Denk aan interesse wekken in de leerstof, presentatievaardigheden van de docent, enthousiasme van de docent.
• Gebruik van technologie en ICT: Denk aan gebruik van games, virtual reality, simulaties en blended learning.
• Extracurriculaire programma's: Denk aan trainingen in academische vaardigheden en studievaardigheden.

Variabelen die samenhangen met kenmerken van de student:

• Intelligentie en eerdere studieprestaties: Bijvoorbeeld gemiddelde cijfers op de middelbare school, scores op toelatingstoetsen.
• Strategieën: Bijvoorbeeld vaak naar colleges gaan, kunnen reguleren van de eigen inspanningen, strategische en doelmatige studiestrategieën beheersen.
• Motivatie: Bijvoorbeeld zelfeffectiviteit (self-efficacy), leerdoeloriëntatie en motivatie.
• Persoonlijkheid: Bijvoorbeeld consciëntieusheid, locus of control, optimisme.
• Context: Bijvoorbeeld financiële ondersteuning, betrokkenheid bij de onderwijsinstelling, sociaal-economische status.

De top 20

Hieronder volgen de 20 variabelen met de hoogste effectgroottes uit de synthese van Schneider en Preckel. Tussen haakjes is weergegeven onder welke categorie de betreffende variabele is gerubriceerd.

1. Peer assessment (Instructie: Assessment), d=+1.91
2. Performance self-efficacy (Student: Motivatie), d=+1.81
3. Teacher's preparation/organization of the course (Instructie: Stimuleren van betekenisvol leren), d=+1.39
4. Teacher's clarity and understandableness (Instructie: Presentatie), d=+1.35
5. Grade goal (Student: Motivatie), d=+1.12
6. Frequency of class attendance (Student: Strategieën), d =+0.98
7. High school GPA (Student: Intelligentie en eerdere studieprestaties), d=+0.90
8. Student self-assessment (Instructie: Assessment), d=+0.85
9. Teacher's stimulation of interest in the course and its subject matter (Instructie: Presentatie), d=+0.82
10. Admission test results (Student: Intelligentie en eerdere studieprestatie), d=+0.79
11. Teacher's encouragement of questions and discussion (Instructie: Sociale interactie), d=+0.77
12. Teacher's availability and helpfulness (Instructie: Sociale interactie), d=+0.77
13. Teacher's elocutionary skills (Instructie: Presentatie), d=+0.75
14. Clarity of course objectives and requirements (Instructie: Stimuleren van betekenisvol leren), d=+0.75
15. Effort regulation (Student: Strategieën), d=+0.75
16. Open-ended questions (Instructie: Social interaction), d=+0.73.
17. Teacher relates content to students (Instructie: Stimuleren van betekenisvol leren), d=+0.65.
18. Strategic approach to learning (Student: Strategies), d=+0.65
19. Achievement motivation (Student: Motivatie), d=+0.64
20. Teacher’s sensitivity to and concern with class level and progress (Instructie: Assessment), d=+0.63

De onderste 20

En hieronder de lijst van de variabelen met het kleinste of zelfs een negatief effect op studieprestaties.

85. Deep approach to learning (Student: Strategieën), d=+0.06
86. Age (Student: Persoonlijkheid), d=+0.06
87. Depression (Student: Persoonlijkheid ), d=+0.06
88. First-year training programs (Instruction: Extracurriculaire programma's), d=+0.05
89. Online learning (Instruction: Technologie), d=+0.05
90. Academic extrinsic motivation (Student: Motivatie), d=0.00
91. Pessimistic attributional style (Student: Motivatie), d=-0.02
92. Emotional stability (Student: Persoonlijkheid), d=-0.02
93. Extraversion (Student: Persoonlijkheid), d=-0.02
94. Task-related social conflict (Student: Context), d=-0.13
95. Relationship-related social conflict (Student: Context), d=-0.21
96. Academic stress (Student: Context), d=-0.22
97. Problem-based learning for knowledge acquisition (Instructie: Betekenisvol leren stimuleren), d=-0.22
98. Communication apprehension (Student: Persoonlijkheid), d=-0.23
99. Performance avoidance orientation (Student: Motivatie), d=-0.28
100. Stress (in general) (Student: Context), d=-0.28
101. Interesting but irrelevant details in a presentation (seductive detail effect) (Instructie: Presentatie), d=-0.30
102. Academic self-handicapping (Student: Strategieën), d=-0.37
103. Surface approach to learning (Student: Strategieën), d=-0.39
104. Test anxiety (Student: Persoonlijkheid), d=-0.43
105. Procrastination (Student: Strategieën), d=-0.52

Wijze van instructie doet ertoe

Schneider en Preckel concluderen op basis van hun synthese, wellicht weinig verrassend, dat wat docenten doen, de wijze waarop ze instructie verzorgen, een sterk effect heeft op studieprestaties. Vooral de variabelen in de categorieën sociale interactie, stimuleren van betekenisvol leren en presentatie blijken vaak een gemiddeld tot sterk effect op studieprestaties te hebben. Schneider en Preckel merken op dat het hier vaak gaat om aspecten uit de microstructuur van de leeromgeving, zoals het stellen van open vragen in plaats van gesloten vragen, interesse weken over het studiemateriaal bij studenten en behulpzaam zijn. 

De auteurs concluderen daarnaast dat het niet alleen uitmaakt wat docenten doen als ze instructie geven, maar dat het ook van belang is op welke wijze ze dat doen. In veel van de geïncludeerde meta-analyses was er sprake van één of meerdere signficante moderator effecten. Dat betekent dat er in die gevallen één of meer additionele variabelen waren die de variatie in gevonden effect sizes konden verklaren. Een voorbeeld: De meta-analyse van Adesope en Nesbit (2012) liet zien dat wanneer docenten hun gesproken uitleg ondersteunen met Powerpoint slides, dit effectiever is dan wanneer docenten alleen spreken (d=+0.26). Het maakt echter wel uit hoe docenten hun slides maken: wanneer deze slides vooral trefwoorden bevatten is dit effectiever dan wanneer de slides hele of halve zinnen bevatten (d=+0.99 vs d=+0.21). Ander voorbeeld: wanneer studenten concept maps moeten bestuderen heeft dit een positief effect op studieresultaten (d=+0.36). Maar het maakt wel uit of deze concept maps alleen de belangrijkste concepten bevatten (d=+0.60), dan wanneer ze ook details laten zien (d=+0.20).

Schneider en Preckel waarschuwen overigens terecht dat het baseren van keuzes wat betreft didactiek en instructie op basis van ranglijstjes zoals hierboven waarschijnlijk te simplistisch gedacht is. Gezien het feit dat bij veel van de geïncludeerde meta-analyses er één of meer significante moderatoren zijn gevonden, raden zij docenten aan om ook hiervan kennis te nemen.

Toch geven Schneider en Preckel aan dat docenten op basis van hun bevindingen door middel van vaak relatief kleine veranderingen de kwaliteit van hun onderwijs kunnen verbeteren. Allereerst wijzen ze daarbij naar de nummer 3 op hun lijst: goede voorbereiding door docenten en een goede organisatie. Omdat de effect size voor peer assessment geïnterpreteerd moet worden als dat er een zeer sterke correlatie bestaat tussen docent- en studentbeoordelingen, is goede voobereiding en goede organisatie de eerste variabele op de ranglijst waar de docent rechtstreeks invloed op kan uitoefenen. Verder merken ze op dat docenten relatief gemakkelijk de volgende principes in hun onderwijs kunnen inpassen:

• Stimuleren van frequente deelname aan hoorcolleges en werkgroepen (#6)
• Stimuleren van het stellen van vragen en discussie (#11)
• Open vragen stellen (#16)
• De inhoud van onderwijs relateren aan voorkennis of interesse van studenten (#17)
• Taakgerichte en verbeteringsgerichte feedback geven (#30)
• Vriendelijk en respectvol naar studenten zijn (#30)
• Tijdens het lesgeven gesproken woorden vergezeld laten gaan van visualisaties of geschreven woorden (#42)
• Op slides trefwoorden gebruiken in plaats van halve of hele zinnen
• Studenten concept maps laten maken en bespreken over de inhoud van de cursus (#45)
• Elk onderwijsonderdeel beginnen met een advance organizer (#64), en
• Afleidende en verleidende detais in presentaties vermijden (#101)

De rol van onderwijstechnologie

Uit de analyse van Scheider en Preckel blijkt dat het gebruik van onderwijstechnologie slechts een gering effect heeft op de studieprestaties van studenten. Daarnaast blijken de toepassingen van onderwijstechnologie die het meest veelbelovend zijn, juist hoge ontwikkel- en implementatiekosten te hebben (gebruik van games met virtual reality, #27, simulaties met virtual reality, #37 en intelligent tutoring systems, #47). Daarbij komt ook dat deze toepassingen zich vooral goed lenen voor zeer specifieke inhoud en onderwijsdoelen. Schneider en Preckel concluderen dan ook dat het inzetten van onderwijstechnologie niet ten koste moet gaan van de  andere vormen van instructie zoals hierboven genoemd. Schneider en Preckel pleiten er dan ook voor om onderwijstechnologie vooral de interactie in de hoorcollege- of werkgroepzaal te laten complementeren, zoals bijvoorbeeld bij blended learning gebeurt (#52). De conclusie die Schneider en Preckel trekken is duidelijk: er is geen bewijs dat onderwijstechnologie het onderwijs radicaal verbetert, maar onderwijstechnologie kan zeker effectief door docenten ingezet worden als past binnen een goed uitgedacht didactisch concept.

De synthese van Schneider en Preckel bevat nog meer inzichten die interessant zijn: bijvoorbeeld dat studiestrategieën van studenten sterker correleren met studieprestaties dan bijvoorbeeld de persoonlijkheid van studenten en dat het dus de moeite waard kan zijn om hen effectieve strategieën aan te leren. Wil je meer weten over deze zeer interessante studie? Ga dan naar deze link.

Schneider, M., & Preckel, F. (in press), Variables associated with achievement in Higher Education: A systematic review of meta-analyses. Psychological Bulletin. doi: 10.1037/bul0000098