Naar de content

Startpakket ontcijferen

Recensie van ‘Het best verkochte boek ooit * (* met deze titel)’ van Sanne Blauw

Free Images, Ariel da Silva Parreira

We zijn dol op opiniepeilingen, indexen en ranglijstjes. En als de uitkomst ons niet bevalt, hebben we de dooddoener lies, damned lies and statistics paraat. Journalist Sanne Blauw wil cijfers de plek geven die ze toekomen: “Niet op een voetstuk, niet bij het afval, maar waar ze horen: naast de woorden.”

21 december 2018

In de dagelijkse nieuwsstroom wemelt het van de gênante fouten op het gebied van statistiek, en zelfs elementair rekenwerk in verschillende media deugt vaak niet. Voor iemand met verstand van getallen is het een onophoudelijke ergernis – of bron van vermaak, al naar gelang je temperament.

Een van de journalisten die deze berichtgeving regelmatig onder de loep neemt is Sanne Blauw. Zij is correspondent Ontcijferen bij De Correspondent. Dat is een journalistieke website zonder advertenties, maar met betalende leden. Elke correspondent heeft een publiekelijk geformuleerde missie. Die van Blauw is om cijfers in het nieuws in het juiste perspectief te zetten.

Bekering

Het best verkochte boek ooit * (* met deze titel) is ook het verslag van een persoonlijke ontwikkeling. Blauw beschrijft zichzelf als van origine een echte cijfernerd, voor wie de studie econometrie een logische keuze was. Maar tijdens een veldonderzoek in Bolivia, waar ze probeert obligate spreadsheets te vullen met cijfertjes over het geluk en het inkomen van de lokale bewoners, ontdekt ze dat de persoonlijke verhalen van die bewoners veel interessanter, en informatiever, zijn dan je kunt vatten in een score van 1 tot 10. Haar correspondentschap Ontcijferen en dit boek zou je het resultaat kunnen noemen van deze bekering tot het credo dat cijfers lang niet alles zeggen.

De onderwerpen die Blauw behandelt zijn grotendeels klassiekers in dit genre. Want eigenlijk behoort iedereen nu toch wel te weten dat correlatie veel te makkelijk als causaliteit geïnterpreteerd wordt. Zo is al van tientallen voedingsmiddelen zowel beweerd dat ze tegen kanker beschermen als dat ze de ziekte veroorzaken, allemaal gebaseerd op onderzoek naar het optreden van kanker bij mensen die veel of juist weinig van zo’n voedingsmiddel gebruiken.

Deze grafiek toont voor verschillende eet- en drinkwaren een verband met kanker. Waar deze grafiek echter gemakshalve overheen stapt is dat een correlatie niet per se duidt op een oorzakelijk verband.

 Schoenfield & Johannidis 2013

Een andere valkuil is het veronachtzamen van onzekerheidsmarges. In mediaberichten over opiniepeilingen worden die zelden vermeld, met als gevolg dat een verschuiving van drie procent in de populariteit van een partij of politicus luidkeels wordt uitgevent als een trendbreuk. Maar als de statistische onzekerheidsmarge van de peiling ook drie procent was, is dit niet meer dan ruis waar je geen enkele betekenis aan toe mag kennen.

Nutttig is ook haar kritische blik op ranglijsten. Bijna elk nieuwsmedium produceert af en toe een eigen ranglijst. Het Algemeen Dagblad grossierde er tot voor kort zelfs in voor haringkarren, oliebollenkramen en ziekenhuizen. Wat zegt een hoge of lage plaats in zo’n lijst? Soms hoef je niet eens te weten hoe zo’n ranglijst wordt samengesteld; kijken naar hoeveel de klasseringen van jaar op jaar bewegen is al genoeg. Dat deed bedrijfskundige Herm Joosten in 2014 voor de AD top 100 van ziekenhuizen, en hij vond dat een ziekenhuis gemiddeld 25 plaatsen per jaar omhoog of omlaag schoot. Dat is ook ongeveer wat je zou vinden als de plaats op de ranglijst met een dobbelsteen wordt bepaald.

IQ en etniciteit

De reeds gecijferde lezer zal dus bij grote delen van dit boek instemmend knikken. Maar ook als je al heel wat van statistiek afweet, valt daar nog over te twisten. Want de correlatie van twee verschijnselen impliceert weliswaar niet meteen dat het een het ander veroorzaakt, maar soms maken we die sprong wel degelijk: roken correleert niet slechts met longkanker krijgen, het veroorzaakt longkanker. Wanneer is het bewijsmateriaal sterk genoeg om die sprong te maken? Daar was heel wat meer over te zeggen geweest dan Blauw doet.

En ook als criticus van misleidende statistiek kun je je voor een politiek correct karretje laten spannen. Ze wijdt een heel hoofdstuk aan een kritische bespreking van het begrip IQ, waar zeker ook verstandige dingen in staan, maar de titel ‘De domme discussie over IQ en huidskleur’ laat van meet af aan zien waar ze naartoe wil. Daartoe voegt ze zich in de stoet van publicisten die het viraal gegane onderzoek van armoede-corifee Eldar Shafir aanroept. In vakblad Science claimden Shafir en collega’s in 2013, onder de titel Poverty Impedes Cognitive Function, dat mensen van geldzorgen 13 IQ-punten dommer worden.

Dit onderzoek is grondig gedebunkt door de Nederlandse psychologen Jelte Wicherts en Annemarie Zand Scholten, en Shafirs resultaten bleken daarna ook meermaals niet repliceerbaar. Maar voor ‘progressieve’ publicisten bewijst dit onderzoek nog steeds dat mensen zichzelf niet uit de armoede omhoog kunnen werken, want het ontbreekt hen aan ‘cognitieve bandbreedte’ om iets verstandigs met hun leven te doen.

Blauw gaat niet in op deze bizarre theorie over armoede, maar gebruikt Shafirs onderzoek wel om te betogen dat levensomstandigheden een grote invloed hebben op het IQ. En dat moet weer aantonen, dat de circa vijftien punten verschil in gemiddelde IQ-score tussen Afrikaans-Amerikanen en blanken in de Verenigde Staten niets zegt over een ‘echt’ verschil in intelligentie tussen die groepen.

Op het idee dat er verschillen in aangeboren intelligentie tussen etnische groepen kunnen bestaan rust een zwaar taboe, en het genoemde verschil in IQ-score is verre van een doorslaggevend bewijs. Maar dat wil nog niet zeggen dat verschillen in gemiddelde IQ-score dus niets te maken kunnen hebben met ‘echte’ intelligentie. Blauw suggereert echter dat elke discussie over dat verband slechts kan berusten op onkunde of misbruik van statistiek. In feite is het een open vraag of er significante verschillen in intelligentie tussen etnische groepen bestaan. En bij gebrek aan goed onderzoek op dit gebied zal die vraag nog lang open blijven.

Grafiek van de gemiddelde temperatuur op de wereld, die door klimaatontkenners wordt opgevoerd als bewijs dat de opwarming van de aarde niets voorstelt.

Het best verkochte boek ooit (Tweet @National Review 14-12-15)

Tweets als autoriteit

Ook haar analyse van het mediastormpje over de schadelijkheid van alcohol, in april 2018, is een beetje teleurstellend. Aanleiding was een groot onderzoek in vaktijdschrift The Lancet, dat volgens de media zou aantonen dat je door elk glas alcohol dertig minuten korter leeft. Die claim is ongegrond, en dat stond ook niet in The Lancet. Maar om nu eens echt uit te leggen hoe het zit met het gezondheidseffect van alcohol, baseert ze zich op de tweets over dit onderzoek van een arts die ze als een autoriteit beschouwt. Uit niets blijkt dat ze het oorspronkelijke artikel in The Lancet en ander relevant onderzoek heeft opgezocht om tot een eigen oordeel te komen.

Die indruk kreeg ik wel vaker: iets te snel tevreden met secundaire bronnen die zeggen wat ze wil horen, niet zelf spitten in de wetenschappelijke literatuur, en niet echt doorbijten waar ze beet meent te hebben. Dat geeft haar bevindingen soms iets braafs en voorspelbaars.

Niettemin, haar boek is een toegankelijke inleiding voor lezers die misschien altijd al een onbestemd wantrouwen koesterden tegen op cijfers en statistiek gebaseerde claims in verschillende media, maar die tot nu toe niet verder kwamen dan het nazeggen van lies, damned lies and statistics.

Over statistiek en het gebruik van getalsmatige analyses valt heel wat meer te zeggen dan die ene dooddoener. Iedereen die een beetje grip wil houden op wat er gebeurt in onze maatschappij, zal zich ook daar in moeten verdiepen. Dan is Het best verkochte boek ooit een goed begin, al is het met zo’n 180 pagina’s tekst nog aan de magere kant. Er is stof zat voor een vervolg. Maar welke titel moet dat krijgen?

Het bestverkochte boek ooit* *(met deze titel), Sanne Blauw, 200 blz., uitgegeven door De Correspondent, 18 euro.

ReactiesReageer