Fout in fMRI-software trekt resultaten duizenden breinstudies over hersenactiviteit in twijfel

Functionele MRI bestaat al ruim twintig jaar, maar veelgebruikte software die de hersenbeelden analyseert, was nooit gecontroleerd op fouten. Zweedse onderzoekers namen de proef op de som. Ze ontdekten dat de software vaak hersenactiviteit meet die er niet echt is.

15 juli 2016

fMRI beelden — Beelden van een fMRI-scanner.
Boek 'Kijken in het Brein'

Het is even slikken voor wetenschappers in de neuroimaging. Software die de hersenbeelden uit de fMRI-scanner analyseert, vindt veel te vaak hersenactiviteit die er niet is, ontdekte medisch informaticus Anders Eklund en zijn collega’s van de Linköping Universiteit in Zweden.

Veelgebruikte software voor analyse van fMRI-scans kan tot wel zeventig procent vals-positieven geven, oftewel hersenactiviteit meten die er niet is. Terwijl de statistische methode theoretisch is ingesteld om significante uitkomsten te vinden bij vijf procent vals-positieven. De bevinding trekt de uitkomsten van tienduizenden fMRI-studies uit de afgelopen twintig jaar in twijfel, schreven de onderzoekers onlangs in het tijdschrift Proceedings of the National Academy of Sciences (PNAS).

Hoe werkt functionele MRI?

FMRI meet niet direct hersenactiviteit. Het peperdure apparaat meet het verschil tussen zuurstofrijk en -arm bloed in de hersengebieden, terwijl proefpersonen een taak uitvoeren. De aanname is dat hersencellen actief zijn in een gebied waar veel zuurstofrijk bloed stroomt. Actieve cellen hebben immers meer zuurstof nodig. Na de scan rekent software aan de hand van een rits statistische toetsen uit welke gebieden goed doorbloed waren, door deze te vergelijken met de doorbloeding in rust.

Hersenactiviteit

Het is al meer dan twintig jaar geleden dat functionele Magnetic Resonance Imaging zijn intrede deed in hersenonderzoek. Sindsdien is het een populaire scan om het menselijke brein te doorgronden. Er zijn rond de 40.000 wetenschappelijke studies gepubliceerd waarin onderzoekers proefpersonen in de scanner legden om hun hersenactiviteit te meten. Bijvoorbeeld voor onderzoek naar spraakherkenning, pijn en psychopaten.

Het probleem is: die statistische methoden zijn bijna niet gevalideerd met gegevens van echte patiënten, maar aan de hand van simulaties. Simuleren wat er gebeurt als iemand een tijdje in een scanner ligt is lastig. De software neemt aan dat de korreligheid van de beelden, die ontstaat door ruis in het signaal, in alle hersengebieden even grof is. En dat is niet zo.

Kind in scanner — Een fMRI-scan meet zuurstofrijk bloed in de hersenen, een maat voor hersenactiviteit.
Barbara Braams

Gebrekkige statistiek

De groep van Eklund haalde vorig jaar al een grote fout uit een software-programma dat al vijftien jaar veelvuldig werd gebruikt. In hun nieuwe onderzoek gingen ze een stapje verder. Ze gebruikten de breingegevens van vijfhonderd gezonde mensen in rust, dus gemeten zonder dat de proefpersonen een expliciete taak uitvoerden. Die breindata waren vrij te downloaden uit databases met fMRI-gegevens.

De onderzoekers deden met de software drie miljoen tests, waarin steeds het groepsgemiddelde in hersenactiviteit van een klein clubje willekeurig geselecteerde mensen werd berekend. Bij mensen in rust moet die hersenactiviteit er dus niet zijn en vindt de software in theorie in vijf procent van de tests een vals-positief resultaat (bij p

0,05). Niet in de praktijk. De software bleek tot wel zeventig procent vals-positieve resultaten te geven.

In de prullenbak

Moeten die tienduizenden fMRI-studies nu de prullenbak in? Het is aannemelijk dat er duizenden, misschien wel tienduizenden studies verschenen zijn waarvan de resultaten gebaseerd zijn op toeval. “Het probleem is duidelijk”, zegt hoogleraar Methoden van Cognitieve Neuroimaging Serge Rombouts van de Universiteit Leiden. “Maar het geldt zeker niet voor al het fMRI-onderzoek. Er zijn ook veel onderzoekers die deze methoden niet gebruiken.”

fmri Barbara Braams — Er zijn nog niet zoveel initiatieven om fMRI-resultaten online te delen.
Barbara Braams

De ontdekking is heel schokkend voor een beperkt deel van de studies, maar helemaal niet schokkend voor veel andere studies, reageert neurowetenschapper Steven Scholte van de Universiteit van Amsterdam per email. Eigenlijk zouden onderzoekers hun resultaten van studies met de foute software opnieuw moeten bekijken.

Er was sowieso al reden voor onderzoekers en vooral reviewers van wetenschappelijke studies om beter op te letten, vult Rombouts aan. “Reviewers en tijdschriften moeten er strengere standaarden op na houden. Soms zie je resultaten voorbijkomen waarvan je je afvraagt of het allemaal wel klopt.”

Het gaat bij neuroimaging vaak om resultaten die niet gerepliceerd worden. Dat kost tijd: computers draaien soms weken om de statistische berekeningen uit te voeren. “Repliceren is belangrijk om te weten of je met een eenmalige bevinding te maken hebt”, aldus Rombouts.

Ophef over de interpretatie van neuroimaging-resultaten begint op gang te komen. Hij ziet de Zweedse studie voornamelijk als positief. “Dit soort studies brengen verbetering in de methoden die we gebruiken bij neuroimaging. Bovendien worden fMRI-data soms online gedeeld wat het makkelijker moet maken om de bestaande methoden te valideren.”

Bron:

Anders Eklund e.a., Cluster failure: why fMRI inferences for spatial extent have inflated false-positive rates, PNAS. Online op 28 juni 2016.
doi: 10.1073/pnas.1602413113

Reageer