Je leest:

Studies die hersenanatomie linken aan gedrag zijn vaak onbetrouwbaar

Studies die hersenanatomie linken aan gedrag zijn vaak onbetrouwbaar

Auteur: | 10 oktober 2017

Het reproduceren van onderzoeksresultaten gebeurt te weinig binnen de cognitieve neurowetenschappen, stelt neurowetenschapper Wouter Boekel. Vooral studies die hersenstructuur linken aan gedrag blijken niet altijd even betrouwbaar. In zijn proefschrift doet hij aanbevelingen voor verbeteringen.

Een klein aantal proefpersonen is problematisch voor neuroimaging-onderzoek.

Door een studie nogmaals uit te voeren (reproduceren), testen wetenschappers of resultaten betrouwbaar zijn. Rolt uit het tweede experiment hetzelfde resultaat? Dan mag je ervan uitgaan dat je echt iets gevonden hebt.

Deze herhaling ontbreekt op grote schaal in de cognitieve neurowetenschappen. Dat is het vakgebied waarin neurowetenschap en psychologie samenkomen met als doel uit te vogelen hoe cognitieve functies als aandacht, emoties en bewustzijn in de hersenen verankerd liggen. Als herhaling wel gebeurt, lukt het door gebrekkige methodes vaak niet om bevindingen te reproduceren. Veel onderzoeksresultaten zijn daardoor onbetrouwbaar, concludeert cognitief neurowetenschapper Wouter Boekel van de Universiteit van Amsterdam aan de hand van literatuuronderzoek en eigen experimenten. Met zijn proefschrift schudt hij het vakgebied even goed wakker.

Weinig proefpersonen

Boekel herhaalde onder andere een experiment met actiegames. Volgens het originele onderzoek verbeteren dat soort videospelletjes de snelheid waarmee iemand in dagelijkse taken informatie verwerkt. Hij vond dat effect niet.

De promovendus heeft met name commentaar op studies waarin de bouw van de hersenen in verband wordt gebracht met bepaald gedrag. Hij stuitte op verschillende problemen die de betrouwbaarheid van resultaten in twijfel trekken. Het gebrek aan herhaling speelt mee, maar er zit nog meer achter. Zo is het aantal proefpersonen dat aan een experiment meewerkt vaak te laag. Een te kleine onderzoeksgroep ondermijnt de betrouwbaarheid, omdat je dan minder kans hebt om een echt effect te detecteren. En als je toch een verschil meet, wordt de grootte ervan snel overschat.

Uitgelicht door de redactie

Biologie
Krijgen we in de toekomst designerbaby’s?

Biologie
‘Uit de hele omgeving krijg je micro-organismen mee’

Scheikunde
‘Ik probeer slimmere materialen te maken’

“De reden dat wetenschappers weinig mensen gebruiken is heel simpel”, legt Boekel uit. “Een MRI-scan kost 250 euro per persoon. Sinds we met technieken als MRI werken is het aantal proefpersonen teruggelopen.” Een MRI-scanner maakt beelden van het binnenste van de hersenen. Meer dan twintig mensen scannen, wat al snel een uur per persoon in beslag neemt, is voor veel onderzoekers geen optie.

Om genoeg artikelen te publiceren, verdelen ze hun geld over meerdere kleine experimenten met te weinig proefpersonen. Hoeveel mensen nodig zijn, hangt af van de grootte van het effect dat je wil meten. Boekel: “Het is lastig om te voorspellen hoeveel proefpersonen er nodig zijn, maar we weten wel dat twintig in ieder geval te weinig is. Over het algemeen zijn de effecten in ons vakgebied niet zó groot dat we ze op een statistisch betrouwbare manier met zo’n kleine steekproef kunnen aantonen. Ik zou zelf met honderd mensen beginnen.”

Registreren

Zijn alle conclusies uit dit soort studies dan fout? “Nee hoor”, zegt Boekel. “We hebben een aantal robuuste effecten die niemand betwist.” Bijvoorbeeld dat het deel van de hersenschors dat bewegingen uitvoert geactiveerd wordt als iemand zijn hand beweegt. Het zijn meestal de wat nieuwere bevindingen uit kleine onderzoeken die niet bevestigd zijn. Bijvoorbeeld dat mensen met veel vrienden op Facebook een grotere amygdala (structuur die emoties helpt aansturen en verwerken red.) hebben. “Die studies moet je vaker repliceren om te weten of ze waar zijn. Eigenlijk is één keer herhalen niet genoeg, maar één keer is al superveel beter dan helemaal niet.”

Wetenschappers zouden van tevoren moeten nagaan hoeveel proefpersonen nodig zijn om een eventueel effect te vinden.

Als onderzoekers van tevoren registreren hoe ze hun experiment gaan uitvoeren en hoe ze de gegevens analyseren, voorkom je bovendien gebrekkige methoden, betoogt Boekel. Wetenschappers in de medische wereld doen al aan pre-registratie, maar in andere vakgebieden gebeurt het veel te weinig. “Je wilt controleren of onderzoekers inderdaad gedaan hebben wat ze van plan waren.” Wat nu vaak gebeurt, is dat ze na afloop van een experiment sjoemelen met de gegevens, soms bewust, soms onbewust, om een duidelijke conclusie te kunnen trekken. Pre-registratie voorkomt bijvoorbeeld dat een onderzoeksvraag gedurende een studie ineens verandert, omdat dat beter aansluit bij de resultaten.

“Het andere aspect is de toezegging dat, als de methode goed is, resultaten sowieso gepubliceerd worden. Op die manier verdwijnen studies die niks bewijzen niet in de la.” Want dat is het tweede probleem: alleen spectaculaire bevindingen komen in de wetenschappelijke bladen terecht. De combinatie van herhalen en vooraf registreren is volgens Boekel dan ook een krachtig middel om betrouwbare resultaten te krijgen in de cognitieve neurowetenschap.

Wouter van Boekel promoveert 10 oktober 2017 aan de Universiteit van Amsterdam op het proefschrift On the importance of replicating research findings.

Dit artikel is een publicatie van NEMO Kennislink.
© NEMO Kennislink, sommige rechten voorbehouden
Dit artikel publiceerde NEMO Kennislink op 10 oktober 2017

Discussieer mee

0

Vragen, opmerkingen of bijdragen over dit artikel of het onderwerp? Neem deel aan de discussie.

NEMO Kennislink nieuwsbrief
Ontvang elke week onze nieuwsbrief met het laatste nieuws uit de wetenschap.