Studies die hersenanatomie linken aan gedrag zijn vaak onbetrouwbaar

Door een studie nogmaals uit te voeren (reproduceren), testen wetenschappers of resultaten betrouwbaar zijn. Rolt uit het tweede experiment hetzelfde resultaat? Dan mag je ervan uitgaan dat je echt iets gevonden hebt.

Deze herhaling ontbreekt op grote schaal in de cognitieve neurowetenschappen. Dat is het vakgebied waarin neurowetenschap en psychologie samenkomen met als doel uit te vogelen hoe cognitieve functies als aandacht, emoties en bewustzijn in de hersenen verankerd liggen. Als herhaling wel gebeurt, lukt het door gebrekkige methodes vaak niet om bevindingen te reproduceren. Veel onderzoeksresultaten zijn daardoor onbetrouwbaar, concludeert cognitief neurowetenschapper Wouter Boekel van de Universiteit van Amsterdam aan de hand van literatuuronderzoek en eigen experimenten. Met zijn proefschrift schudt hij het vakgebied even goed wakker.

Weinig proefpersonen

Boekel herhaalde onder andere een experiment met actiegames. Volgens het originele onderzoek verbeteren dat soort videospelletjes de snelheid waarmee iemand in dagelijkse taken informatie verwerkt. Hij vond dat effect niet.

De promovendus heeft met name commentaar op studies waarin de bouw van de hersenen in verband wordt gebracht met bepaald gedrag. Hij stuitte op verschillende problemen die de betrouwbaarheid van resultaten in twijfel trekken. Het gebrek aan herhaling speelt mee, maar er zit nog meer achter. Zo is het aantal proefpersonen dat aan een experiment meewerkt vaak te laag. Een te kleine onderzoeksgroep ondermijnt de betrouwbaarheid, omdat je dan minder kans hebt om een echt effect te detecteren. En als je toch een verschil meet, wordt de grootte ervan snel overschat.

Als onderzoekers van tevoren registreren hoe ze hun experiment gaan uitvoeren en hoe ze de gegevens analyseren, voorkom je bovendien gebrekkige methoden, betoogt Boekel. Wetenschappers in de medische wereld doen al aan pre-registratie, maar in andere vakgebieden gebeurt het veel te weinig. “Je wilt controleren of onderzoekers inderdaad gedaan hebben wat ze van plan waren.” Wat nu vaak gebeurt, is dat ze na afloop van een experiment sjoemelen met de gegevens, soms bewust, soms onbewust, om een duidelijke conclusie te kunnen trekken. Pre-registratie voorkomt bijvoorbeeld dat een onderzoeksvraag gedurende een studie ineens verandert, omdat dat beter aansluit bij de resultaten.

“Het andere aspect is de toezegging dat, als de methode goed is, resultaten sowieso gepubliceerd worden. Op die manier verdwijnen studies die niks bewijzen niet in de la.” Want dat is het tweede probleem: alleen spectaculaire bevindingen komen in de wetenschappelijke bladen terecht. De combinatie van herhalen en vooraf registreren is volgens Boekel dan ook een krachtig middel om betrouwbare resultaten te krijgen in de cognitieve neurowetenschap.