Meta-analyse: Hoe interpersoonlijke ondersteuning motivatie, welzijn en prestaties kan verhogen

Zelfdeterminatie theorie (self-determination theory, SDT) is een invloedrijke motivatietheorie die stelt dat door de vervulling van de basale menselijke behoeften van autonomie, competentie en verbondenheid de motivatie van individuen versterkt kan worden. Daarnaast kan volgens deze theorie het vervullen van deze basisbehoeften het welzijn en prestaties van leerlingen verbeteren. 

Een recente meta-analyse gepubliceerd in het Journal of Personality and Social Psychology laat zien hoe interpersoonlijke ondersteuning, dat wil zeggen ondersteuning door anderen zoals leerkrachten, medeleerlingen of ouders, deze resultaten kan bereiken. De onderzoekers analyseerden voor deze meta-analyse maar liefst 4.561 effectgroottes van 881 onafhankelijke steekproeven, die meer dan 443.000 individuen omvatten.

Hun bevindingen? Steun voor autonomie, competentie en verbondenheid hangen sterk samen met vervullen van deze basisbehoeften. Bovendien hangt deze ondersteuning positief samen met welzijn hangt deze ondersteuning matig samen met prestaties.

In essentie onderstreept deze meta-analyse de kracht van interpersoonlijke ondersteuning bij het vormgeven van onze onderwijsomgevingen. Door gedrag in te zetten dat autonomie, competentie en verbondheid ondersteunt, is het mogelijk om het welzijn en de onderwijsprestaties van leerlingen te versterken.

Het abstract

People’s motivational processes, well-being, and performance are likely to be facilitated through the support of others. Self-determination theory argues that interpersonal supports for autonomy, competence, and relatedness are crucial to achieve these outcomes. In the present study, we provide a comprehensive examination of this formulation based on a meta-analytic database consisting of 4,561 effect sizes from 881 independent samples

(N = 443,556). Our results indicate that supports for autonomy, competence, and  relatedness were strongly positively related with the satisfaction of these basic needs and strongly negatively related to their frustration. Interpersonal supports for basic needs were strongly positively related with subjective well-being and exhibited small to moderate positive associations with performance. Moderation analyses showed general stability of

effects across cultures, although correlations of autonomy support to autonomous  motivation weakened as a function of individualism. The opposite pattern was observed for the correlation between relatedness support and intrinsic motivation. Some effects also declined as a function of sample age and lag in measurements. We also find that competence- and relatedness-supportive behaviors explained incremental variance in basic need satisfaction even after controlling for the more established effects of autonomy support. In addition, lateral need supports explained incremental variance in basic need satisfaction after controlling for vertical sources of support. In sum, our results are consistent with the premise that to support optimal motivation, well-being, and

performance, a broad set of behaviors that nurture all three basic needs, together with  different sources of interpersonal support, should be considered to yield the most benefit

Meta-analyse toont positieve effecten van Montessori onderwijs

In Nederland zijn er ruim 150 Montessori basisscholen. In Montessori onderwijs wordt veel gebruik gemaakt van concrete materialen. Het materiaal is zelfcorrigerend: kinderen kunnen er zelfstandig mee werken en fouten maken. Montessori onderwijs moedigt kinderen aan om zelfstandig te zijn en verantwoordelijkheid te nemen voor hun eigen leren. Dit wordt gestimuleerd door het creëren van een omgeving waarin kinderen vrij kunnen bewegen en zelf kunnen kiezen welke activiteiten ze willen doen. In verschillende studies zijn de effecten van Montessori onderwijs onderzocht. Een nieuwe meta-analyse van Demangeon, Claudel-Valentin, Aubry en Tazouti zet het beschikbare onderzoek op een rij. De meeste geïncludeerde studies betroffen studies waarin de effecten van Montessori onderwijs werden vergeleken met traditioneel onderwijs. De resultaten van deze meta-analyse laten zien dat Montessori onderwijs positieve effecten heeft op sociale vaardigheden (g = +0.22) en leerprestaties (g = 1.10). 

Het abstract

This meta-analysis examines the effects of Montessori Education (ME) on five dimensions of development and learning in preschool and school-age children. It includes data from 33 experimental or quasi-experimental studies comparing ME with other pedagogical approaches (268 effect sizes; n = 21,67). These studies were conducted in North-America, Asia and Europe, and published between 1991 and 2021. Effect size estimated using Hedges’ unbiased g, and a 3-level multilevel meta-analytic approach applied due to the dependency among the effect sizes obtained from the same study. Results showed that ME’s effects on development and learning are positive and vary from moderate to high, depending on the dimension considered: cognitive abilities (g = 0.17), social skills (g = 0.22), creativity (g = 0.25), motor skills (g = 0.27), and academic achievement (g = 1.10). Analyses of different moderators did not reveal differences by school level, type of publication and continent.

Meta-analyse: De samenhang tussen persoonlijkheidskenmerken en leerprestaties verschilt per domein

De ijverige, nauwkeurig werkende leerling haalt goede cijfers; de drukke, gezellige leerling haalt minder goede cijfers. Dit soort ideeën lijken vooroordelen, maar onderzoek naar de relatie tussen persoonskenmerken en leerprestaties is voor een deel in lijn met deze ideeën. Een nieuwe meta-analyse in Educational Psychology Review onderzocht de relatie tussen persoonskenmerken (volgens de bekende Big Five) en leerprestaties en keek daarbij onder andere ook naar verschillen tussen domeinen (taal vs. STEM). Deze overzichtsstudie laat zien dat persoonlijkheidskenmerken inderdaad samenhangen met leerprestaties, maar dat de mate waarin en de richting van de samenhang per domein kan verschillen. Het kenmerk openheid blijkt bijvoorbeeld een sterkere voorspeller voor leerprestaties in het taal- dan in het STEM-domein. Hetzelfde geldt voor extraversie en vriendelijkheid. Neuroticisms blijkt dan weer een sterkere negatieve samenhang met leerprestaties in het STEM-domein dan in het taaldomein te hebben. Consciëntieusheid blijkt zowel voor het taal- en het STEM-domein leerprestaties te voorspellen.

Het abstract

Students’ academic achievement is a central predictor of a long list of important educational outcomes, such as access to higher education and socioeconomic success. Prior studies have extensively focused on identifying variables that are related to academic achievement and an important variable in this context appears to be students’ personality. Notably, although findings from more recent studies suggested that the association between student achievement and personality varies by the subject domain (language vs. STEM) and the type of achievement measure (grades vs. test scores), systematic meta-analytical evidence is still lacking. To address this gap in the educational research literature, we conducted a meta-analysis based on 78 studies, with 1491 effect sizes representing data from 500,218 students and 110 samples from elementary to high school. We used a random-effects model with robust variance estimation to calculate mean effect sizes and standard deviations. We found moderating effects of measure or domain for all five personality traits, with differences in the direction of the effects. Our results highlight the importance of the domain and measure when examining how personality traits relate to academic achievement in school. The combination of subject domain and achievement was also found to be relevant for some of the traits. These findings emphasize that subject domains and types of achievement measures should be explicitly considered when investigating the personality saturation of student achievement. We discuss implications for future research, highlighting that there is no “best” or “more objective” achievement measure but, instead, that achievement measures should be chosen based on the research question of interest.

Maak kennis met Onderwijswetenschappen: Nanocolleges over braingym, multitasken en de effecten van de schoolsluitingen

Vandaag en morgen zijn de open dagen van de Universiteit Utrecht. De kans om kennis te maken met de opleiding Onderwijswetenschappen. Vind je het leuk om wat mee te krijgen over onderwerpen waar onderwijswetenschappers zich mee bezighouden? Dan zijn de volgende drie nanocolleges interessant om te bekijken!

Braingym

Multitasken

De effecten van de schoolsluitingen

Lockdowns en schoolsluitingen hadden negatieve invloed op zelfeffectiviteit docenten-in-opleiding

Veel onderzoek naar de impact van schoolsluitingen en lockdowns richt zich op de gevolgen voor leerlingen. Maar ook voor docenten-in-opleiding hadden de schoolsluitingen en lockdowns een impact: onderwijs op de lerarenopleiding ging niet door of moest online gegeven worden en stages op school gingen niet door of moesten anders ingevuld worden. Een recente studie in Teaching and Teacher Education onderzoekt de impact van de schoolsluitingen op de zelfeffectiviteit van docenten-in-opleiding. Deze studie van Symesa, Lazaridesa en Hußnera onderzocht 201 docenten-in-opleiding. De resultaten van de studie laten zien dat zelfeffectiviteit van docenten-in-opleiding in een semester met schoolsluitingen minder toenam dan een vergelijkbaar cohort dat niet getroffen werd door schoolsluitingen. De auteurs nemen aan dat dit veroorzaakt wordt doordat deze docenten-in-opleiding minder praktische ervaring op konden doen. 

Het abstract

This study used latent growth curve models to examine the impact of the COVID-19 pandemic on the development of teacher self-efficacy in student teachers. Results indicate that the teacher self-efficacy of student teachers taught during the first COVID-19 lockdown increased significantly less across a semester compared to student teachers taught prior to the pandemic, who gained practical experience in schools. There may be a cohort of student teachers at risk of entering the profession with lower self-efficacy than is typical. Universities and schools may wish to provide additional practical experiences to compensate for the missed opportunities during the COVID-19 pandemic.

 

Helpen games om wiskundeangst te verminderen?

Als je wiskundeangst hebt, dan vertoon je negatieve emoties bij het denken aan rekenen of wiskunde op een dusdanige manier dat het ook je prestaties beïnvloedt. Het idee bestaat dat het inzetten van game-based learning bij kan dragen aan het verminderen van wiskundeangst. In een recente meta-analyse zetten Dondio, Gusev en Rocha het beschikbare onderzoek op een rij. Deze meta-analyse is onlangs verschenen in het tijdschrift Computers & Education. Deze meta-analyse laat zien dat het effect van games op het reduceren van wiskundeangst klein is. Dit geldt vooral voor digitale games, bij "gewone" spellen, zoals kaart- of bordspellen, lijkt het reducerende effect wat groter te zijn.

Het abstract

In this paper, we present the first meta-analysis of the effectiveness of game-based interventions in reducing students’ levels of maths anxiety. After searching for randomised studies relevant to game-based intervention for maths anxiety, 22 effect sizes with 913 participants described in 15 peer-review articles met the selection criteria. A random-effects meta-analysis indicated a reduction of maths anxiety with a small-effect size (mean effect size ES = −0.24, CI = [ − 0.47, −0.01], marginally significant at 0.05 level but not robust to a leave-one-out sensitivity analysis. Several factors moderated the results: non-digital games were more effective, while digital games had a negligible mean effect size of ES = −0.10, CI = [ − 0.24, 0.03]. The effect size was also moderated by the total duration of the intervention, to the advantage of longer interventions, and by the type of gameplay: games had a greater effect on maths anxiety reduction when they promoted collaborative and social interactions. Such features were mainly present in non-digital games, while all bar one of the digital intervention used single-player games. The results obtained, particularly weak for digital games, indicated the need to develop and test games explicitly designed for math-anxious students to increase the impact of game-based interventions for anxious students. This will require the investigation of the relationship between game features and maths anxiety through analysing the behaviour of anxious and non-anxious students at play. Among the features that an anxiety-aware game could employ, we suggest collaborative gameplay, social interactions, adaptability, features promoting intrinsic motivation and embedding real-time measurements of maths anxiety.

Schoolsluitingen vergrootten verschillen tussen leerlingen in Hongarije

Ook al zijn de schoolsluitingen al weer even geleden er verschijnt nog regelmatig onderzoek naar de effecten van deze schoolsluitingen. In de nieuwste uitgave van Learning & Instruction is een onderzoek naar de effecten van de schoolsluitingen op Hongaarse basisschoolleerlingen verschenen. Dit onderzoek onder 55.000 leerlingen liet zien dat ook in Hongarije de schoolsluiting negatieve effecten had op de ontwikkeling van leerlingen. Zo vonden de auteurs dat de schoolsluitingen een negatieve invloed hadden op beginnende gecijferdheid. Het onderzoek liet verder zien dat de negatieve effecten het grootst waren in de onderbouw. Bovendien bleken de schoolsluitingen de kansenongelijkheid verder te vergroten: de impact was het grootst op leerlingen met een lage SES.

Het abstract

Remote learning during the COVID pandemic has led to short- and long-term consequences for students' learning. So far, data on learning loss in early schooling have been limited. In this paper, we evaluate the effect of remote learning on 1st graders' school readiness skills and 2nd–8th graders’ performance in mathematics, reading and science using rich data collected in Hungary before and during the pandemic (n ≈ 55,000). The results show that kindergarten children and 1st–4th-grade students were significantly negatively affected by COVID restrictions compared to their older peers. This difference was extremely large in schools with a high share of disadvantaged students. More specifically, 1st–4th-grade low-SES students made little or no progress while learning from home.

Dagdromen tijdens colleges: Hoe vaak komt het voor en welk effect heeft het?

 

Na één van de eerste hoorcolleges die ik gaf liep ik na afloop door de zaal om te zien of er spullen waren achtergebleven en toen viel me op dat de bankjes op de achterste rijen bezaaid waren met kranten (dit was dus nog voordat iedereen een laptop of smartphone meenam de collegezaal in): deze studenten hadden blijkbaar tijdens het college wat anders gedaan dan meedoen en aantekeningen maken. En als er studenten de krant lezen tijdens het college, dan zijn er vast ook studenten die op andere manieren niet betrokken waren bij het college, bijvoorbeeld doordat ze aan het dagdromen waren. 

Onderwijsonderzoekers hebben meermaals onderzoek gedaan naar de frequentie van deze task-unrelated thoughts tijdens onderwijsactiviteiten in het hoger onderwijs. Ook is er meermaals onderzocht wat de impact hiervan is op leerprestaties. Dit onderzoek is recentelijk samengevat door Wong en collega's (2022): zij publiceerden in Contemporary Educational Psychology een meta-analyse waarin ze de vraag stellen hoe vaak dit dagdromen of deze task-unrelated thoughts voorkomt en wat de impact hiervan is op leerprestaties. 

De uitkomsten van dit onderzoek zijn dat studenten ongeveer 30% van de tijd task-unrelated thoughts hebben tijdens onderwijsactiviteiten. Het maakt daarbij niet uit om welke activiteiten het gaat: dit percentage ligt ongeveer even hoog voor het bekijken van een videocollege, het bijwonen van een hoorcollege of het lezen van een onderwijstekst. Helaas zijn er weinig studies die het dagdromen en de impact daarvan onderzoek tijdens andere onderwijsvormen zoals practica of interactieve werkgroepen. Wat het onderzoek wel duidelijk laat zien is dat deze task-unrelated thoughts negatief samenhangen met leerprestaties. De gemiddelde correlatie tussen task-unrelated thoughts en leerprestaties is -0.27.Het artikel bevat geen praktische implicaties (Wat kun je doen om te zorgen dat studenten minder dagdromen?), maar de auteurs geven wel aan dat het percentage van 30% als een benchmark zou kunnen dienen: als dit zo'n beetje het gemiddelde is, dan is het interessant om voor andere onderwijsvormen te onderzoeken of het percentage task-unrelated thought lager of hoger is dan 30% of om te onderzoeken of specifieke didactische ingrepen leiden tot lagere percentages.

Het abstract

The “costs” of task-unrelated thought (often referred to as mind-wandering) on performance in educational contexts have received growing theoretical and empirical attention in the last decade. Published articles on task-unrelated thought in educational contexts usually point out two important claims: 1) that task-unrelated thought occurs often during learning and 2) that task-unrelated thought shares a negative relationship with learning outcomes. However, the corresponding rates and effect sizes reported in the literature have been quite variable to date. We thus adopted a multi-level meta-analytic approach in order to provide baseline metrics for the frequency of task-unrelated thought in educational contexts and its relationship with learning outcomes across different learning tasks and assessments. Our analysis suggests that students are off-task about 30% of the time during educationally relevant activities, and the average relationship between task-unrelated thought and learning outcomes was in line with a small-to-medium practical effect, −0.27. No differences were observed between learning tasks and various moderators. The average rates and correlation values reported in this meta-analysis can be used as a benchmark for future research aiming to assess task-unrelated thought in education.

Make up your mind: Tweede meta-analyse laat sterker effect mindset interventies zien

Nog maar kort geleden verscheen er in Psychological Bulletin een meta-analyse over de effecten van mindset interventies op leerprestaties. Deze meta-analyse vond een klein effect van zulke interventies op leerprestaties en liet zien dat de gerapporteerde effecten groter waren wanneer auteurs zelf betrokken waren bij mindset interventies. 

Nu is er vrijwel gelijktijdig een tweede meta-analyse verschenen in hetzelfde tijdschrift. Opvallend is dat de onderzoekers onder leiding van Jeni Burnette wel een positief effect van mindset interventies rapporteren.

Het abstract

As growth mindset interventions increase in scope and popularity, scientists and policymakers are asking: Are these interventions effective? To answer this question properly, the field needs to understand the meaningful heterogeneity in effects. In the present systematic review and meta-analysis, we focused on two key moderators with adequate data to test: Subsamples expected to benefit most and implementation fidelity. We also specified a process model that can be generative for theory. We included articles published between 2002 (first mindset intervention) through the end of 2020 that reported an effect for a growth mindset intervention, used a randomized design, and featured at least one of the qualifying outcomes. Our search yielded 53 independent samples testing distinct interventions. We reported cumulative effect sizes for multiple outcomes (i.e., mindsets, motivation, behavior, end results), with a focus on three primary end results (i.e., improved academic achievement, mental health, or social functioning). Multilevel metaregression analyses with targeted subsamples and high fidelity for academic achievement yielded, d = 0.14, 95% CI [.06, .22]; for mental health, d = 0.32, 95% CI [.10, .54]. Results highlighted the extensive variation in effects to be expected from future interventions. Namely, 95% prediction intervals for focal effects ranged from −0.08 to 0.35 for academic achievement and from 0.07 to 0.57 for mental health. The literature is too nascent for moderators for social functioning, but average effects are d = 0.36, 95% CI [.03, .68], 95% PI [−.50, 1.22]. We conclude with a discussion of heterogeneity and the limitations of meta-analyses.

Hoe zijn deze verschillen te verklaren? Op het eerste gezicht maken deze meta-analyses andere keuzes: de meta-analyse van Burnette et al. heeft bijvoorbeeld minder studies geïncludeerd dan de studie van Macnamara en Burgoygne. Bovendien onderzoekt de meta-analyse van Burnette et al. niet alleen de effecten van mindset interventies op leerprestaties, maar bijvoorbeeld ook op mentaal welbevinden. Deze tweede meta-analyse kijkt dus breder naar de effecten van mindset interventies dan cognitieve leeruitkomsten. Nadere lezing van beide artikelen zal ongetwijfeld nog meer technische verschillen tussen beide meta-analyses aan het licht brengen. Dat is wellicht voor een andere blogpost. Voor nu is het in ieder geval interessant om te zien dat hoewel deze meta-analyse ook een bescheiden effect van mindset interventies op leerprestaties vindt, er wel een behoorlijk effect op mentaal welbevinden wordt gevonden in deze meta-analyse.

Meta-analyse: Word je van community engaged learning een beter mens?

Veel universiteiten, en de Universiteit Utrecht is daar geen uitzondering op, zetten voor hun onderwijs en onderzoek in op het versterken de samenwerking tussen de samenleving en de universiteit. In het universitaire onderwijs worden er steeds vaker onderwijsactiviteiten of -project georganiseerd onder de noemer service learning of community engaged learning. Community engaged learning of service learning worden bovendien gezien als onderwijsvormen die bijdragen aan de vorming van studenten die bijvoorbeeld kunnen samenwerken met individuen met diverse achtergronden en die een positieve bijdrage kunnen leveren aan de samenleving. In een zeer recente meta-analyse van kwantitatieve studies en een meta-synthese van kwalitatieve studies wordt onderzocht wat het effect van deze vorm van onderwijs is op het empatisch vermogen van studenten. Zijn deze studenten bijvoorbeeld na het deelnemen aan community engaged learning beter in staat om zich in anderen te verplaatsen? Deze vormen van onderwijs lijken inderdaad een klein maar positief effect te hebben op het empathisch vermogen van studenten. Het aantal studies dat gebruikt maakte van een controlegroep en de methodologische kwaliteit van veel studies liet echter wel te wensen over. Een ander gevaar is dat in veel studies vooral gebruik wordt gemaakt van zelfrapportage. De auteurs doen dan ook een oproep aan onderzoekers van deze vormen van onderwijs om beter onderzoek te doen: "the field of research on service learning and empathy needs to address issues with the rigour of quantitative studies". 

Het abstract

Higher education institutions seek not only to prepare students for their chosen profession, but also to develop graduates that are civic minded and make a positive social impact. The purpose of this paper is to review the literature on whether participation in service-learning leads to students reporting increased empathy. The study also examines the features within a service-learning placement that contribute to development of empathy. The review followed the 2020 Preferred Reporting Items for Systematic Review and Meta-Analysis (PRISMA) statement. The authors searched Scopus, ERIC (EBSCOhost), PsycInfo, CINAHL, Web of Science, Medline Complete, Google Scholar and specific service-learning journals not indexed in major databases for studies published before Nov 23, 2020 that met the Bringle and Hatcher (1995) definition of service-learning and measured change in, or development of, empathy. Of 662 records identified, 35 met the inclusion criteria and were included in the review. Overall, across the 14 studies included in the meta-analysis, there was a significant small effect for increase in empathy for those who participated in service-learning compared to those who did not (g = 0.261) and from pre to post service-learning (g = 0.176). Across the 21 qualitative studies, the main feature which appeared to contribute to the development of students’ empathy was direct interactions with the community. This paper provides insight into the efficacy of service-learning as a pedagogy and contributes to our understanding of the educational value of service-learning for universities. We conclude with avenues for future research and implications for practice.

Wist je trouwens dat de bachelor Onderwijswetenschappen ook een cursus heeft die is gebaseerd op de principes van community engaged learning? In deze podcast kun je daar meer over horen! 

Vroeger waren we slimmer. Of niet?

Het was een klein bericht op de wetenschapspagina in de NRC van 2 mei. De kop luidde: "Mensen zijn nu slomer dan 100 jaar geleden". Het bericht gaat over een zeer recent gepubliceerd artikel in het blad Intelligence. Auteurs zijn Woodley, te Nijenhuis, en Murphy. Nadat ik contact had gezocht met Woodley en te Nijenhuis ontving ik van hen een preprint van het artikel. De auteurs waren zeer bereidwillig en tonen zich open voor discussie.

Idiocracy

Het artikel trok vooral mijn aandacht omdat het niet zozeer gaat over sloomheid, maar over intelligentie. Onze voorouders in de negentiende eeuw zouden een hoger IQ hebben gehad dan wij. Zo'n bewering is opmerkelijk, want er is redelijk wat consensus over het idee dat we steeds hoger scoren op IQ-tests. De normering daarvan (je score is afhankelijk van wat anderen die op jou lijken scoren op zo'n test) moet elke zoveel jaar worden bijgesteld omdat anders de gemiddelde score op de test niet meer 100 zou zijn. Dat effect is vastgesteld in de jaren 80 door James Flynn en wordt daarom het Flynn effect genoemd. Oorzaken van het Flynn effect zijn onder andere betere voeding, beter onderwijs, en meer hygiene. Kortom: onze leefomstandigheden zijn sterk veranderd. Het onderzoek van Woodley waarover NRC bericht gaat hier lijnrecht tegenin. Het Flynn effect werpt als het ware een rookgordijn op. Weliswaar stijgt het gemeten IQ, maar in werkelijkheid is ons IQ aan het dalen! Dat idee is niet nieuw, want Retherford en Sewell merkten deze mogelijkheid al in 1988 op. De oorzaak zou genetisch van aard zijn, namelijk door dysgenetica (ik leg hieronder uit wat dat is). Dysgenetica is in ieder geval ook het uitgangspunt van de aardige (en ietwat verontrustende) komische film Idiocracy uit 2006.
Tot nu toe kwamen dergelijke opmerkingen voort uit redeneringen en inferenties, maar het ontbrak aan hard bewijs. Dat bewijs denken de auteurs nu te kunnen leveren. Dat zou interessant zijn, want dysgenetica heeft op zijn zachtst gezegd geen goede reputatie; ook is het bewijs voor stijgen dan wel dalen van onze intelligentie zeer tegenstrijdig. UvA-onderzoeker Jan te Nijenhuis, mede-auteur van het paper, noemde het artikel in een email aan mij zelfs een "intellectuele atoombom onder het hele Flynn effect." Een boude bewering, die natuurlijk op de enige scepsis kan rekenen.

Francis Galton (1822-1911)

Het artikel opent met een lofzang op het Victoriaanse tijdperk: een tijd waarin wetenschap en maatschappij tot bloei kwamen, en een tijd van spectaculaire economische groei (in de Westerse wereld, tenminste). De auteurs stellen dat IQ een goede voorspeller van werkprestatie is en dat een populatie met een gemiddeld hogere intelligentie productiever en creatiever zal zijn dan een met een lagere intelligentie. Omdat de Victoriaanse tijd een van productie en creativiteit was is de hypothese dat de Victorianen slimmer waren dan wij. Het is niet het sterkste staaltje logica, maar sluit naadloos bij eerdergenoemde opvatting van Retherford en Sewell aan. De man die het Victoriaanse tijdperk tot in de porieen belichaamt is Francis Galton. Galton, ook wel 'de laatste homo universalis' genoemd, staat aan de basis van uitvindingen als het hondenfluitje, de weerkaart, de vingerafdruk als identificatiemiddel, correlatie en regressie, en eugenetica (ook de bekende uitdrukking 'nature versus nurture' is door Galton bedacht). Eugenetica heeft in de twintigste eeuw een uiterst onprettige bijsmaak gekregen en wordt daarom alom vermeden. Dat de onderzoekers dysgenetica (als theorie enigszins verwant aan eugenetica) als belangrijkste argument gebruiken is daarom opmerkelijk en in zekere zin ook dapper. Jensen, naar wie de auteurs regelmatig verwijzen, liep vroeger onder politiebegeleiding rond. Het is nog maar relatief kort geleden dat dit soort discussies uiterst gevoelig lag, en nog steeds voelt praten over 'genetische verzwakking' nogal ongemakkelijk. Toen Herrnstein en Murray in 1996 in hun boek The Bell Curve de bestaande klassenstructuur toeschreven aan verschil in intelligentie (g) was Amerika te klein.

Omslag The Bell Curve

De theorie en de veronderstellingen zijn duidelijk, maar tot nu toe heeft het altijd aan concreet bewijs ontbroken. Dit artikel stelt het bewijs eindelijk te kunnen leveren. Hoe? Via de door de tijd heen gemeten (gemiddelde) reactietijd. "Reactietijd? Maar wat heeft dat met intelligentie te maken?" denkt u wellicht. Een flink deel van het artikel is erop gericht aan te tonen dat de correlatie (het lineaire verband) tussen 'general intelligence' (g) en reactietijd behoorlijk is (en negatief, want hoe hoger reactietijd, hoe lager g). In het artikel staan verder weinig inhoudelijke argumenten. Dat is jammer, want ik kan me indenken dat niet iedereen onder de indruk zal zijn van het argument dat gemiddeld langere reactietijden (we hebben het over honderdsten van seconden) impliceren dat we 'dommer' zijn geworden. We hebben te maken met de volgende logica:

1. Als reactietijden langer zijn geworden (vanaf 1880 tot nu) en
2. Als reactietijd in verband staat met g dan:
3. g is lager geworden van 1880 tot nu.

Dat klinkt eenvoudig, toch?  Schijn bedriegt! Wat volgt in het artikel is een uitgebreide statistische verhandeling die taai is, heel taai. Grondige kennis van meta-analyse is een vereiste, want je verdwaalt makkelijk in de 'benchmark estimates' en 'random-effects meta regression'. Ik dacht zelf een fout in de berekeningen te hebben gezien (er werd gebruik gemaakt van een correlatie r als percentage verklaarde variantie, terwijl dat volgens mij r² moest zijn), maar de eerste auteur liet me per kerende post weten dat dit bij meta-analyse juist wel de gewoonte is! Ik moet me daarom beperken tot een kort overzicht van de beschrijving, waarna ik mijn conclusies zal trekken.

De auteurs betrekken in hun meta-analyse 16 studies: de eerste stamt uit 1889, de laatste uit 2006 (de data waar het om gaat is rond die tijden ook verzameld). Op die studies wordt van alles toegepast om de data ervan goed met elkaar vergelijkbaar te maken. Dat is de essentie van meta-analyse: het wegen van onderzoeksdata. Een kleine studie is onbetrouwbaarder dan een grote, en legt daarom een wat kleiner gewicht in de schaal (dit is ook meteen hoe ver de uitleg in het statistiekboek van Field gaat). Als je dan het jaartal van de studie (x-as) afzet tegen het effect (de reactietijd, y-as) krijg je onderstaand plaatje.

In de grafiek zijn grote stipjes grote studies en kleine stipjes kleine. De lijn is een regressielijn die gebaseerd is op een 'random-effects meta-regression model'. Je ziet: reactietijd stijgt door de jaren heen, maar ook: 1) er zijn vrij weinig datapunten en 2) er zijn nogal wat afwijkingen van de lijn af.
Wat is de correlatie tussen reactietijd en intelligentie? Een studie uit 2001 suggereert een correlatie van -0,31 - vrij klein dus. Het artikel besteedt ruim een pagina aan het verzamelen van 'correctiefactoren' om dit getal bij te stellen. De argumenten in dat stuk zijn buitengewoon lastig te volgen, maar het komt er telkens op neer dat je op verschillende manieren het verband tussen reactietijd en intelligentie in onderzoek telkens iets te laag inschat. Dat leidt tot een stapeling van 4 correctiefactoren. Als je die toepast op de correlatie van -0,31 kom je uiteindelijk uit op een 'echte' correlatie van -,54. Dat is niet denderend, maar wel een stuk beter natuurlijk. De auteurs stellen dat zij daarmee aantonen dat reactietijd 54 procent van g meet (en ik kreeg dit bevestigd van de eerste auteur). Als je dit toepast op de regressie die je in het plaatje ziet, dan kun je daaruit afleiden (op een manier die ik wederom niet goed kan volgen) dat g gedaald is in iets meer dan 100 jaar met 14 IQ-punten, oftewel 1,23 IQ-punten per decennium: we zijn dommer geworden!
De vraag is natuurlijk: hoe komt het dat onze reactietijd omhoog is gegaan als je studies met elkaar vergelijkt. De dysgenetische verklaring is dat meer mensen met een relatief slechte gezondheid ouder worden dan vroeger. Die mensen maken deel uit van de groepen die meedoen aan onderzoek. Het zou kunnen, maar er zijn nogal wat 'artefacten' die de gegevens lastiger interpreteerbaar maken. Zo wordt hier gebruik gemaakt van gemiddelde reactietijden. Reactietijden zijn 'scheef verdeeld' en daarom is de mediaan eigenlijk informatiever. Maar de mediaan wisten de auteurs niet voor alle studies, en daarom gebruiken ze die niet. Daarnaast hangt de analyse van schattingen aan elkaar. Door het stapelen van geschatte getallen kan de uiteindelijke schatting er best ver naast zitten. Of het echt om een daling van 14 IQ-punten gaat is dus maar de vraag. Tenslotte kun je vraagtekens zetten bij een daling van het IQ en 'cleverness'. Wat drukt IQ nu eigenlijk echt uit? In dit artikel wordt het bestaan van g als vaste waarde voor 'algemene intelligentie' gewoon verondersteld, maar recente intelligentiemodellen beslaan veel meer dan louter 'g'. Dit alles maakt dat ik er niet van overtuigd ben dat de Victorianen veel slimmer waren dan wij - maar misschien ben ik niet slim genoeg om het te begrijpen.
Vooralsnog heeft de 'bom' onder het Flynn-effect op mij meer het effect van een gillende keukenmeid.

Bronnen

• Field, A. (2013). Discovering statistics using IBM SPSS Statistics. Sage. 
• Herrnstein, R.J., & Murray, C. (1996). The Bell Curve: Intelligence and class structure in American life.
• NRC (2 mei 2013). "Mensen zijn nu slomer dan 10 jaar geleden."
• Retherford, R. D., & Sewell, W. H. (1988). "Intelligence and family size reconsidered." Social Biology, 35, 1−40. 
• Thompson, J. (2013). The Victorians were cleverer than us! http://drjamesthompson.blogspot.nl/2013/04/the-victorians-were-cleverer-than-us.html
• Woodley, M.A., te Nijenhuis, J., & Murphy, R. (2013). Were the Victorians cleverer than us? The decline in general intelligence estimated from a meta-analysis of the slowing of simple reaction time. Intelligence.  doi:10.1016/j.intell.2013.04.006

Aanvulling (16-5-2013): een Engelse blogpost over het artikel is ook skeptisch, en doet de intrigerende suggestie het reactietijdapparaat dat door Francis Galton werd ontwikkeld na te bouwen. Wie pakt de handschoen op?

Een placebo-effect bij een kennistest

Iedereen kent het placebo-effect. Het is een fenomeen uit de geneeskunde dat je misschien nog het beste kunt typeren als 'de kracht van geloof'. In sommige gevallen is het om je beter te voelen of om zelfs te genezen voldoende om een pil te slikken, ook al bevat die pil geen werkzame stof. Het effect is zo sterk dat huisartsen er regelmatig gebruik van maken. Ze schrijven dan bijvoorbeeld antibiotica voor als er sprake is van een eenvoudige virusinfectie (zie een recent artikel in de Daily Mail). De patiënt keert tevreden huiswaarts, want 'de pillen zullen hun werk wel doen'.
Hoe kan het dat placebo's werken? Er zijn twee verklaringen, die beide een redelijk gelijkwaardige rol lijken te spelen. Ten eerste creëer je met het toedienen van een placebo een verwachting. Daardoor richt degene die het placebo ontvangt zich niet meer op ziekte-symptomen maar veel meer op symptomen die met genezing te maken hebben. Met de pil verleg je dus iemands aandacht. De tweede verklaring heeft met conditioneren te maken. Uit eerdere ervaringen weet je lichaam dat het slikken van pillen geassocieerd is met lichamelijk herstel. Je lichaam heeft dus geleerd hoe het reageert op pillen, en wat voor pil je ook slikt, er volgt een herstelreactie.

Ulrich Weger

Zou het placebo-effect alleen optreden bij het slikken van pillen, of zou het ook in andere situaties kunnen optreden, bijvoorbeeld als het gaat om kennis? Die intrigerende vraag is het onderwerp van een onderzoek dat recent is gepubliceerd in The Quarterly Journal of Experimental Psychology. Het is een samenwerkingsproject van Ulrich Weger en Stephen Loughnan, verbonden aan universiteiten in Duitsland en Australië. Weger en Loughnan beschrijven een experiment dat zij uitvoerden waarin psychologiestudenten op de computer een test voor algemene kennis maakten. De test bestond uit twintig vierkeuzevragen, en de vragen waren van het niveau "Wie schilderde de Guernica?" (Picasso, Dali, Miro, of El Greco). Tweemaal twintig studenten deden mee, en zij werden willekeurig verdeeld over twee condities: een placeboconditie en een controleconditie. De crux zit natuurlijk in de experimentele procedure die studenten in beide condities ondergingen, met name de placeboconditie. Er werd een heel specifieke procedure uitgevoerd in drie stappen.

1. Opwarmfase. Net voordat voorbeeldvragen op het scherm verschenen verscheen eerst het juiste antwoord op het scherm. Als proefpersoon hoefde je dan dus eigenlijk alleen maar een check uit te voeren.
2. Callibratiefase. De tijd dat het juiste antwoord op het scherm verscheen werd geleidelijk ingekort, naar zo kort dat de antwoorden niet meer leesbaar waren. Tegen proefpersonen werd gezegd dat de woorden onbewust nog wel verwerkt werden (en daarvoor is ook bewijs vanuit de psychologische literatuur over 'priming'). Zodra dit moment bereikt was begon het echte experiment.
3. Experimentfase. Het correcte antwoord flitste voorafgaand aan elke vraag kort in beeld. Tenminste, dat dachten de goed opgewarmde en gecallibreerde proefpersonen. In werkelijkheid flitste telkens een willekeurige reeks letters in beeld voorafgaand aan elke vraag.

De controleconditie was in dit experiment vrijwel gelijk aan de experimentconditie, op 1 detail na: de studenten in deze conditie kregen niet te horen dat ze 'onbewust geprimed' zouden worden met het juiste antwoord, maar dat ze alleen een korte flits zouden zien voorafgaan aan een vraag om zo de vraag aan te kondigen. De verwachting van de onderzoekers was dat als er een succesvol placebo-effect zou optreden, studenten in de experimentconditie hoger zouden scoren dan studenten in de controleconditie. Net zoals een pil zonder werkzame stof invloed kan hebben op het herstelproces zou een instructie zonder werkzaam bestanddeel dan invloed op de cognitieve prestatie hebben. Dat is precies wat zij vonden. Studenten in de experimentconditie scoorden op de test gemiddeld 9,85 (standaarddeviatie 1,87) en studenten in de controleconditie gemiddeld 8,37 (standaarddeviatie1,77), een statistisch significant verschil. (overigens, de onderzoekers zeggen hier niets over, maar ik vind de behaalde scores in beide condities aan de lage kant!)
Weger en Laughnan verklaren in hun discussie dit mooie resultaat door te wijzen op het verminderen van inhibitie in de placebo-conditie. Normaal zijn mensen terughoudend als ze twijfelen over het juiste antwoord op een vraag. Als je het idee hebt 'ik ben geprimed!', dan zou die terughoudendheid wel eens minder kunnen worden. Het zou aardig zijn om te onderzoeken of je dit effect kunt repliceren in andere situaties waarin verwachtingen over je eigen prestaties een rol spelen, bijvoorbeeld het bekende 'stereotype threat'.
Aantonen dat de verwachting van een proefpersoon invloed heeft op de resultaten op een kennistoets is een interessante en waardevolle bevinding. Wat  echter naar mijn idee vooral waardevol is aan het onderzoek van Weger en Loughnan is niet per se het onderzoek zelf, maar meer de vragen die het oproept. Zij openen een nieuwe weg naar onderzoek naar verwachtingseffecten met hun onderzoekstaak (bijvoorbeeld: hoe lang blijft zo'n placebo-effect 'hangen', en: naar welke cognitieve taken kun je dit nog uitbreiden?). De experimentele manipulatie die de onderzoekers introduceren geeft onderwijsonderzoekers een krachtig instrument in handen.

Bronnen

• de Bruyckere, P. (26-3-2013). Placebo-effect leidt tot betere schoolresultaten. http://xyofeinstein.wordpress.com/2013/03/26/placebo-effect-leidt-tot-betere-schoolresultaten-onderzoek/
• Daily Mail (28-3-2013). Nearly ALL doctors have given patients a placebo - either to keep them happy or reassure them. http://www.dailymail.co.uk/health/article-2296437/Nearly-ALL-doctors-given-patients-placebo-psychological-benefits.html
• De Bruyckere, P., & Hulshof, C.D. (2013). Jongens zijn slimmer dan meisjes. Antwerpen: LannooCampus. http://www.lannoocampus.be/jongens-zijn-slimmer-dan-meisjes
• Weger, U.W., & Loughnan, S. (2013). Mobilizing unused resources: Using the placebo concept to enhance cognitive performance. The Quarterly Journal of Experimental Psychology, 66(1), 23-28. doi: 10.1080/17470218.2012.751117