Het ziet er prachtig uit, zo’n plaatje van een gescand brein – kijk, daar zie je hoe de amygdala actief is. De rest van beeld is donker, alsof alle andere hersengebiedjes even vrijaf hebben genomen om de onderzoeksresultaten niet te verstoren. Maar dat kan helemaal niet, want tijdens een experiment doet je brein nog allerlei andere dingen (zorgen dat je ademhaalt, luisteren naar het zoemen van de hersenscanner…). In werkelijkheid lijkt kijken naar een hersenscan wel wat op het luisteren naar een slecht afgestelde radio: ergens tussen het geruis en gekraak zit de informatie die je wilt.
Om tot zo’n nette hersenplaat te komen hebben de onderzoekers dan ook alle achtergrondruis uit de scan gefilterd. Maar hoe onderscheid je ruis van resultaat? Dat is een hele belangrijke, maar ook een hele lastige vraag, blijkt uit een onderzoek dat de Amerikaanse hersenwetenschappers Nikolaus Kriegeskorte en zijn collega’s deze week publiceren in het vooraanstaande vakblad Nature Neuroscience.
Alleen maar ruis en toch resultaten
In die publicatie toont het team van Kriegeskorte aan hoe een veelgemaakte redeneerfout tijdens het rekenen aan hersenscans ertoe kan leiden dat wetenschappers nietszeggende ruis aanzien voor een echt resultaat. De Amerikanen pasten veelgebruikte (foute) analyses toe op nepdata – die alleen maar uit betekenisloze ruis bestond – en vonden toch resultaten, alsof ze echt een hersenproces hadden waargenomen.
Redeneerfout
Wat is nou die redeneerfout die geleerde wetenschappers zo kan foppen dat ze zinvolle hersenactiviteit zien waar die er niet is? Daarvoor gaan we even terug naar het moment dat de onderzoeker zich voor het eerst over zijn verzameling hersenscans buigt.
Hmm, vraagt hij zich af, ik heb nu tien breinen gescand terwijl hun eigenaren naar muziek luisterden of niet. Maar welk deel van de hersenen zou er nou reageren op muziek? Ik ga eens kijken of er een gebiedje te zien is op deze scans, dat ‘aan’ floept als er een liedje speelt, maar die niet actief is bij stilte. Hé, daar zie ik er één, aan de voorkant van het brein. Laat ik mijn hersenscans onder de arm pakken en eens dit gebiedje grondig bestuderen, want dat is klaarblijkelijk het muzikale deel van de hersenen.
Het probleem zit hem in het feit dat je dezelfde data twee keer gebruikt: eerst om te selecteren welk gebiedje je aandacht krijgt bij de verdere analyses, en vervolgens een tweede keer als je de hersenactiviteit in dat gebiedje volledig gaan bestuderen. Kriegeskorte en co noemen dit double dipping.
Waarom is dit zo kwalijk? Stel je eens voor dat ons muziekgebiedje helemaal per ongeluk (door toevallige ruis) actief wordt bij een liedje en niets doet bij stilte. Als je vervolgens diezelfde vertekende data gebruikt in je statistische analyses, ga je als wetenschappers natuurlijk denken dat je een echt effect hebt gevonden – hoera, ik weet dat dit gebiedje zo-en-zo snel en fel reageert op muziek! -, terwijl je in werkelijkheid ruis hebt bekeken.
42% van de toponderzoeken
Nu kun je je natuurlijk afvragen hoe vaak het voorkomt dat een hersenonderzoeker zijn scans twee keer dipt. Dat vroegen Kriegeskorte en zijn collega’s zich ook af. Ze namen de vijf meest prestigieuze vakbladen op breingebied en bekeken alle publicaties waarin een fMRI-hersenscanner was gebruikt. Maar liefst 42% van de gepubliceerde studies bleek ten minste één keer de double dipping denkfout te maken. Een vergelijkbaar percentage komt ook naar voren in eerder, wat beperkter onderzoek van de Amerikaanse psycholoog Hal Pasher (zie kader ‘Opschudding in hersenland’).
Opschudding in hersenland
Hal Pasher en zijn collega’s bekeken meer dan 50 studies in prestigieuze vakbladen: het resultaat publiceerden ze afgelopen januari. Pasher ondervroeg de onderzoekers die het verband tussen een hersengebiedje en een emotie bekeken, naar hun aanpak. Meer dan de helft van de studies bleek de hersenscans te gebruiken voor selectie én analyse. Pasher en co concludeerden dat de link tussen brainactiviteit en een emotie of gedrag daardoor vaak buiten proporties wordt opgeblazen.
De hersenwetenschappers zelf waren het hier natuurlijk lang niet altijd mee eens. Ze voelden zich verkeerd begrepen in hun aanpak of vonden dat ze de link tussen emoties en activiteit in een hersengebiedje in hun onderzoek toch hadden aangetoond, ook al was die misschien wat minder sterk dan ze eerst dachten. Geen van deze kritische geluiden weerlegde bij nadere inspectie echter Pashers hoofdconclusie.
Kriegeskorte en co benadrukken dat dit niet betekent dat al die ‘foute’ publicaties bij het oud papier kunnen. In veel gevallen zal het niet erg veel uitmaken dat dezelfde hersenscans zijn gebruikt voor het selecteren en het analyseren van een interessant deel van het brein. De resultaten worden er hooguit iets minder ‘mooi’ van: verbanden worden bijvoorbeeld iets minder sterk, of de kans dat je resultaat aan toeval ligt wordt wat groter. Maar het kan in sommige gevallen ook het verschil maken tussen een ontdekking en een flop, zoals in ons voorbeeld van de muzikaal geïnteresseerde hersenwetenschapper.
Voorkomen, genezen, waarschuwen
Daarom stellen Kriegeskorte en zijn mede-onderzoekers voor dat onderzoekers en de redacteurs bij de vakbladen voortaan extra letten op double dipping. Het beste is natuurlijk om deze ‘techniek’ helemaal niet toe te passen, redeneren ze. Dat kan bijvoorbeeld door het hele brein te bekijken en niet in te zoomen op een bepaald deel.
Wil je dat toch, dan kun je beter vooraf, op basis van eerder onderzoek, bepalen welk hersengebiedje je aandacht krijgt. Je kunt ook je stapel scans in tweeën delen en de ene helft gebruiken voor selectie en de andere helft voor analyse. Als je dan toevallige ruis aanziet voor betekenisvolle activiteit kom je daar op basis van de andere scans wel achter. Kan dat ook niet – je hebt bijvoorbeeld maar weinig scans tot je beschikking – dan moet je eerlijk zijn over het feit dat je dubbel gedipt hebt: ‘Waarschuwing! Deze resultaten zijn misschien te mooi om waar te zijn.’
Kriegeskorte en co publiceerden hun resultaten op 26 april 2009 in het vakblad Nature Neuroscience onder de titel ‘Circular analysis in systems neuroscience: the dangers of double dipping’