Vroeger waren we slimmer. Of niet?

Het was een klein bericht op de wetenschapspagina in de NRC van 2 mei. De kop luidde: "Mensen zijn nu slomer dan 100 jaar geleden". Het bericht gaat over een zeer recent gepubliceerd artikel in het blad Intelligence. Auteurs zijn Woodley, te Nijenhuis, en Murphy. Nadat ik contact had gezocht met Woodley en te Nijenhuis ontving ik van hen een preprint van het artikel. De auteurs waren zeer bereidwillig en tonen zich open voor discussie.

Idiocracy

Het artikel trok vooral mijn aandacht omdat het niet zozeer gaat over sloomheid, maar over intelligentie. Onze voorouders in de negentiende eeuw zouden een hoger IQ hebben gehad dan wij. Zo'n bewering is opmerkelijk, want er is redelijk wat consensus over het idee dat we steeds hoger scoren op IQ-tests. De normering daarvan (je score is afhankelijk van wat anderen die op jou lijken scoren op zo'n test) moet elke zoveel jaar worden bijgesteld omdat anders de gemiddelde score op de test niet meer 100 zou zijn. Dat effect is vastgesteld in de jaren 80 door James Flynn en wordt daarom het Flynn effect genoemd. Oorzaken van het Flynn effect zijn onder andere betere voeding, beter onderwijs, en meer hygiene. Kortom: onze leefomstandigheden zijn sterk veranderd. Het onderzoek van Woodley waarover NRC bericht gaat hier lijnrecht tegenin. Het Flynn effect werpt als het ware een rookgordijn op. Weliswaar stijgt het gemeten IQ, maar in werkelijkheid is ons IQ aan het dalen! Dat idee is niet nieuw, want Retherford en Sewell merkten deze mogelijkheid al in 1988 op. De oorzaak zou genetisch van aard zijn, namelijk door dysgenetica (ik leg hieronder uit wat dat is). Dysgenetica is in ieder geval ook het uitgangspunt van de aardige (en ietwat verontrustende) komische film Idiocracy uit 2006.
Tot nu toe kwamen dergelijke opmerkingen voort uit redeneringen en inferenties, maar het ontbrak aan hard bewijs. Dat bewijs denken de auteurs nu te kunnen leveren. Dat zou interessant zijn, want dysgenetica heeft op zijn zachtst gezegd geen goede reputatie; ook is het bewijs voor stijgen dan wel dalen van onze intelligentie zeer tegenstrijdig. UvA-onderzoeker Jan te Nijenhuis, mede-auteur van het paper, noemde het artikel in een email aan mij zelfs een "intellectuele atoombom onder het hele Flynn effect." Een boude bewering, die natuurlijk op de enige scepsis kan rekenen.

Francis Galton (1822-1911)

Het artikel opent met een lofzang op het Victoriaanse tijdperk: een tijd waarin wetenschap en maatschappij tot bloei kwamen, en een tijd van spectaculaire economische groei (in de Westerse wereld, tenminste). De auteurs stellen dat IQ een goede voorspeller van werkprestatie is en dat een populatie met een gemiddeld hogere intelligentie productiever en creatiever zal zijn dan een met een lagere intelligentie. Omdat de Victoriaanse tijd een van productie en creativiteit was is de hypothese dat de Victorianen slimmer waren dan wij. Het is niet het sterkste staaltje logica, maar sluit naadloos bij eerdergenoemde opvatting van Retherford en Sewell aan. De man die het Victoriaanse tijdperk tot in de porieen belichaamt is Francis Galton. Galton, ook wel 'de laatste homo universalis' genoemd, staat aan de basis van uitvindingen als het hondenfluitje, de weerkaart, de vingerafdruk als identificatiemiddel, correlatie en regressie, en eugenetica (ook de bekende uitdrukking 'nature versus nurture' is door Galton bedacht). Eugenetica heeft in de twintigste eeuw een uiterst onprettige bijsmaak gekregen en wordt daarom alom vermeden. Dat de onderzoekers dysgenetica (als theorie enigszins verwant aan eugenetica) als belangrijkste argument gebruiken is daarom opmerkelijk en in zekere zin ook dapper. Jensen, naar wie de auteurs regelmatig verwijzen, liep vroeger onder politiebegeleiding rond. Het is nog maar relatief kort geleden dat dit soort discussies uiterst gevoelig lag, en nog steeds voelt praten over 'genetische verzwakking' nogal ongemakkelijk. Toen Herrnstein en Murray in 1996 in hun boek The Bell Curve de bestaande klassenstructuur toeschreven aan verschil in intelligentie (g) was Amerika te klein.

Omslag The Bell Curve

De theorie en de veronderstellingen zijn duidelijk, maar tot nu toe heeft het altijd aan concreet bewijs ontbroken. Dit artikel stelt het bewijs eindelijk te kunnen leveren. Hoe? Via de door de tijd heen gemeten (gemiddelde) reactietijd. "Reactietijd? Maar wat heeft dat met intelligentie te maken?" denkt u wellicht. Een flink deel van het artikel is erop gericht aan te tonen dat de correlatie (het lineaire verband) tussen 'general intelligence' (g) en reactietijd behoorlijk is (en negatief, want hoe hoger reactietijd, hoe lager g). In het artikel staan verder weinig inhoudelijke argumenten. Dat is jammer, want ik kan me indenken dat niet iedereen onder de indruk zal zijn van het argument dat gemiddeld langere reactietijden (we hebben het over honderdsten van seconden) impliceren dat we 'dommer' zijn geworden. We hebben te maken met de volgende logica:

1. Als reactietijden langer zijn geworden (vanaf 1880 tot nu) en
2. Als reactietijd in verband staat met g dan:
3. g is lager geworden van 1880 tot nu.

Dat klinkt eenvoudig, toch?  Schijn bedriegt! Wat volgt in het artikel is een uitgebreide statistische verhandeling die taai is, heel taai. Grondige kennis van meta-analyse is een vereiste, want je verdwaalt makkelijk in de 'benchmark estimates' en 'random-effects meta regression'. Ik dacht zelf een fout in de berekeningen te hebben gezien (er werd gebruik gemaakt van een correlatie r als percentage verklaarde variantie, terwijl dat volgens mij r² moest zijn), maar de eerste auteur liet me per kerende post weten dat dit bij meta-analyse juist wel de gewoonte is! Ik moet me daarom beperken tot een kort overzicht van de beschrijving, waarna ik mijn conclusies zal trekken.

De auteurs betrekken in hun meta-analyse 16 studies: de eerste stamt uit 1889, de laatste uit 2006 (de data waar het om gaat is rond die tijden ook verzameld). Op die studies wordt van alles toegepast om de data ervan goed met elkaar vergelijkbaar te maken. Dat is de essentie van meta-analyse: het wegen van onderzoeksdata. Een kleine studie is onbetrouwbaarder dan een grote, en legt daarom een wat kleiner gewicht in de schaal (dit is ook meteen hoe ver de uitleg in het statistiekboek van Field gaat). Als je dan het jaartal van de studie (x-as) afzet tegen het effect (de reactietijd, y-as) krijg je onderstaand plaatje.

In de grafiek zijn grote stipjes grote studies en kleine stipjes kleine. De lijn is een regressielijn die gebaseerd is op een 'random-effects meta-regression model'. Je ziet: reactietijd stijgt door de jaren heen, maar ook: 1) er zijn vrij weinig datapunten en 2) er zijn nogal wat afwijkingen van de lijn af.
Wat is de correlatie tussen reactietijd en intelligentie? Een studie uit 2001 suggereert een correlatie van -0,31 - vrij klein dus. Het artikel besteedt ruim een pagina aan het verzamelen van 'correctiefactoren' om dit getal bij te stellen. De argumenten in dat stuk zijn buitengewoon lastig te volgen, maar het komt er telkens op neer dat je op verschillende manieren het verband tussen reactietijd en intelligentie in onderzoek telkens iets te laag inschat. Dat leidt tot een stapeling van 4 correctiefactoren. Als je die toepast op de correlatie van -0,31 kom je uiteindelijk uit op een 'echte' correlatie van -,54. Dat is niet denderend, maar wel een stuk beter natuurlijk. De auteurs stellen dat zij daarmee aantonen dat reactietijd 54 procent van g meet (en ik kreeg dit bevestigd van de eerste auteur). Als je dit toepast op de regressie die je in het plaatje ziet, dan kun je daaruit afleiden (op een manier die ik wederom niet goed kan volgen) dat g gedaald is in iets meer dan 100 jaar met 14 IQ-punten, oftewel 1,23 IQ-punten per decennium: we zijn dommer geworden!
De vraag is natuurlijk: hoe komt het dat onze reactietijd omhoog is gegaan als je studies met elkaar vergelijkt. De dysgenetische verklaring is dat meer mensen met een relatief slechte gezondheid ouder worden dan vroeger. Die mensen maken deel uit van de groepen die meedoen aan onderzoek. Het zou kunnen, maar er zijn nogal wat 'artefacten' die de gegevens lastiger interpreteerbaar maken. Zo wordt hier gebruik gemaakt van gemiddelde reactietijden. Reactietijden zijn 'scheef verdeeld' en daarom is de mediaan eigenlijk informatiever. Maar de mediaan wisten de auteurs niet voor alle studies, en daarom gebruiken ze die niet. Daarnaast hangt de analyse van schattingen aan elkaar. Door het stapelen van geschatte getallen kan de uiteindelijke schatting er best ver naast zitten. Of het echt om een daling van 14 IQ-punten gaat is dus maar de vraag. Tenslotte kun je vraagtekens zetten bij een daling van het IQ en 'cleverness'. Wat drukt IQ nu eigenlijk echt uit? In dit artikel wordt het bestaan van g als vaste waarde voor 'algemene intelligentie' gewoon verondersteld, maar recente intelligentiemodellen beslaan veel meer dan louter 'g'. Dit alles maakt dat ik er niet van overtuigd ben dat de Victorianen veel slimmer waren dan wij - maar misschien ben ik niet slim genoeg om het te begrijpen.
Vooralsnog heeft de 'bom' onder het Flynn-effect op mij meer het effect van een gillende keukenmeid.

Bronnen

• Field, A. (2013). Discovering statistics using IBM SPSS Statistics. Sage. 
• Herrnstein, R.J., & Murray, C. (1996). The Bell Curve: Intelligence and class structure in American life.
• NRC (2 mei 2013). "Mensen zijn nu slomer dan 10 jaar geleden."
• Retherford, R. D., & Sewell, W. H. (1988). "Intelligence and family size reconsidered." Social Biology, 35, 1−40. 
• Thompson, J. (2013). The Victorians were cleverer than us! http://drjamesthompson.blogspot.nl/2013/04/the-victorians-were-cleverer-than-us.html
• Woodley, M.A., te Nijenhuis, J., & Murphy, R. (2013). Were the Victorians cleverer than us? The decline in general intelligence estimated from a meta-analysis of the slowing of simple reaction time. Intelligence.  doi:10.1016/j.intell.2013.04.006

Aanvulling (16-5-2013): een Engelse blogpost over het artikel is ook skeptisch, en doet de intrigerende suggestie het reactietijdapparaat dat door Francis Galton werd ontwikkeld na te bouwen. Wie pakt de handschoen op?