Er wordt ontzettend veel medisch-wetenschappelijk onderzoek gedaan. Per jaar gaan er alleen al in Nederland miljarden euro’s in om. De meest geraadpleegde database van wetenschappelijke publicaties Pubmed bevat momenteel meer dan vier miljoen verwijzingen naar artikelen over de werkzaamheid van medische behandelingen (randomised controlled trials; RCT’s) en per dag komen er vele artikelen bij. Maar is al dat onderzoek wel nodig? En is al dat onderzoek wel goed uitgevoerd?
Onderzoeksafval
In 2014 verscheen in het prestigieuze medische tijdschrift The Lancet een serie artikelen over research waste oftewel verspilling van onderzoek. Met ‘verspilling’ bedoelden de schrijvers onderzoek waarop eigenlijk niemand zit te wachten, onderzoek dat uitkomsten betreft die niet direct van toepassing of van belang zijn voor patiënten, onnodig onderzoek naar behandelingen waarvan de werkzaamheid (of de onwerkzaamheid) allang is aangetoond en onderzoek van slechte kwaliteit (dat daardoor onjuiste resultaten oplevert) of slecht beschreven onderzoek waardoor de lezer niet kan bepalen hoe het onderzoek precies is uitgevoerd en wat de kansen op onjuiste resultaten zijn.
Een voorbeeld van onnodig onderzoek (in dit geval bij vroegbevallingen) werd al in de eind jaren tachtig van de vorige eeuw door Sir Iain Chalmers gepresenteerd en is opgenomen in het logo van The Cochrane Collaboration, nu kortweg ‘Cochrane’ genoemd. Chalmers, een van de oprichters van Cochrane, hield in navolging van de naamgever Archie Cochrane een krachtig pleidooi voor het systematisch bijhouden van de medisch-wetenschappelijke literatuur. Door systematisch te kijken naar de resultaten van eerder uitgevoerde onderzoeken, kan men zich veel sneller bewust worden van het nut (of het ontbreken daarvan) van een behandeling.
Chalmers en collega’s hielden later tevens een vurig pleidooi om subsidieaanvragen voor nieuw onderzoek altijd vooraf te laten gaan door een systematische review waaruit de noodzaak voor het te initiëren onderzoek blijkt. Enkele medisch-wetenschappelijke tijdschriften vereisen ook de vermelding van een systematische review in publicaties van nieuwe RCT’s en vragen de auteurs tevens in de discussieparagraaf een passage op te nemen waarin de in de inleiding genoemde review wordt geactualiseerd. Helaas worden deze handelwijzen nog niet massaal toegepast. In Nederland vragen subsidiegevers van wetenschappelijk onderzoek slecht sporadisch om een systematische review.
Controle door voorregistratie
Een middel om overbodig onderzoek te voorkómen is het vooraf (prospectief) registreren van onderzoek, nog voordat de eerste deelnemer geïncludeerd wordt. Hiermee kan een subsidieverstrekker nagaan, of reeds onderzoek op dit gebied wordt uitgevoerd en of het nieuw uit te voeren onderzoek daarop een aanvulling is. Een bijkomend voordeel van prospectieve registratie is, dat geregistreerd is hoe een onderzoek uitgevoerd zal worden. Achteraf kan dan nagegaan worden, of men zich hieraan gehouden heeft of dat gaande het onderzoek de aanpak mogelijk gewijzigd is (met of zonder boze opzet). Ook kan het uitblijven van openbaarmaking van de resultaten van onderzoek opgespoord worden.
Er zijn wereldwijd vele erkende prospectieve trialregisters, maar het vooraf registreren van nieuwe onderzoeken gebeurt nog steeds op vrijwillige basis. Een ingreep van de ICMJE (een internationaal verbond van medisch-wetenschappelijke tijdschriftredacteuren) in 2005 heeft registratie vooraf een enorme boost gegeven, maar anno 2017 is het nog steeds mogelijk om een onderzoek niet aan te melden. Bij sommige trialregisters is het zelfs mogelijk om reeds afgeronde onderzoeken alsnog (retrospectief) aan te melden. Het hoeft geen betoog dat de uiteindelijke voordelen en betrouwbaarheid van zo’n registratie (voorkomen van dubbel werk, transparantie en opsporen van selectieve publicatie) hiermee nogal gefrustreerd worden.
Meta-analyse vereist minimale dataset
Systematische reviews worden nog waardevoller als de resultaten in maat en getal kunnen worden uitgedrukt door het uitvoeren van meta-analysen. Hiermee wordt alle beschikbare informatie gebruikt om de effecten en neveneffecten van een behandeling heel nauwkeurig te schatten. Deze kwantificering maakt het ook gemakkelijker om aanbevelingen voor de praktijk te formuleren met een afweging van de voor- en nadelen van een behandeling en met inachtneming van factoren als acceptatie door patiënten en zorgverleners, haalbaarheid in de Nederlandse situatie en kosten.
Om goed interpreteerbare systematische reviews te verkrijgen en meta-analysen uit te kunnen voeren moeten de verschillende onderzoeken wel allemaal dezelfde uitkomstparameters bestudeerd hebben. Dit moeten dan tevens uitkomstparameters betreffen die van belang zijn voor de patiënten en voor het opstellen van aanbevelingen voor de praktijk. Onderzoekers blijken echter zeer inventief te zijn in het selecteren en operationaliseren van uitkomstparameters voor hun eigen onderzoek. Zij lijken zich vaak niet veel aan te trekken van wat anderen eerder gedaan hebben.
Er worden al sinds tientallen jaren initiatieven ondernomen om afspraken te maken over welke typen uitkomst voor een bepaalde aandoening minimaal onderzocht zouden moeten worden (www.comet-initiative.org). Wil men ook nog andere uitkomsten bestuderen dan is dat uiteraard prima, zolang men zich maar aan die afgesproken minimale set houdt. Als iedereen zich aan deze afspraken zou houden zijn de onderzoeksresultaten van verschillende studies veel beter te gebruiken en is het effect van een behandeling op de belangrijkste uitkomsten veel beter te schatten. De implementatie van dergelijke core outcome sets verloopt echter nog erg langzaam.
Nieuw soort onderzoeksafval
Systematische reviews kunnen dus een uitstekend hulpmiddel zijn bij het selecteren en prioriteren van nieuw onderzoek en bij het actueel houden van de wetenschappelijke stand van zaken rond een bepaalde vraagstelling. In de laatste 10 jaar is de productie van systematische reviews dan ook exponentieel gestegen. Al die reviews zouden ons dus moeten helpen bij het beantwoorden van belangrijke klinische vragen en bij het bepalen van de noodzaak van nieuw onderzoek.
De immer kritische Grieks-Amerikaanse epidemioloog en internist John Ioannidis maakte onlangs echter overduidelijk, dat we met al die systematische reviews een nieuwe vorm van research waste gecreëerd hebben: een groot aantal reviews is volgens hem overbodig, slecht uitgevoerd, uitgevoerd door partijen die belang hebben bij de uitkomst, of wordt selectief gepubliceerd.
Tijdschriftredacties, onderzoekers, opdrachtgevers en onderzoeksbureaus lijken zich echter nauwelijks te bekommeren om het reeds bestaan van een goed uitgevoerde, recente review over de voorliggende vraagstelling en evident slecht uitgevoerde reviews worden gewoon gepubliceerd. Zo zochten wij onlangs voor een opdrachtgever naar systematische reviews betreffende de diagnostische waarde van onder meer coronaire CT-angiografie, een methode om kransslagaders rondom het hart te beoordelen bij mensen met stabiele pijn op de borst (angina pectoris). We vonden 20 reviews die in de afgelopen vijf jaar waren gepubliceerd, allemaal over hetzelfde onderwerp.
Systematische reviews lijken ook meer en meer gezien te worden als een eenvoudige en snelle manier van scoren: de uitvoering ervan is niet al te moeilijk, kost relatief weinig tijd en geld, de kans op publicatie is vrij groot en een systematische review wordt vaak geciteerd, wellicht zelfs vaker dan de oorspronkelijke onderzoeken zelf. In de woorden van Ioannidis is de productie van systematische reviews verworden tot een hele nieuwe industrie. Dus als we een systematische review hebben gevonden die we willen gebruiken voor het nemen van beslissingen, dan moeten we uiterst kritisch blijven kijken naar de kwaliteit ervan en ons niet laten misleiden.
Checklists met rapportage-eisen
Om vast te kunnen stellen of een onderzoek goed is opgezet en uitgevoerd (en dus of de resultaten ervan vertrouwd kunnen worden), is een goede en volledige rapportage van de methoden en resultaten van onderzoeken nodig. Hiertoe zijn voor de verschillende vormen van onderzoekchecklists gemaakt (zie www.equator-network.org), maar liefst 350 stuks. Deze checklists worden echter door slechts weinig tijdschriften gebruikt, waardoor de rapportage van veel onderzoeken nog steeds te wensen overlaat.
Samenvattend vindt nog steeds veel onderzoek plaats dat overbodig is, slecht is uitgevoerd, slecht is gerapporteerd en uitkomsten betreft die niet direct relevant zijn voor patiënten. Dat geldt niet alleen voor origineel onderzoek, maar ook voor systematische reviews. Daarnaast worden de mogelijke voordelen van systematische reviews, prospectieve registratie van onderzoeken en de talloze rapportage-eisen nog verre van volledig benut.
Voorkomen van overbodig en dubbel werk
Overbodig onderzoek kan voorkomen worden door daadwerkelijk gebruik te maken van goed uitgevoerde, hoogkwalitatieve, door onafhankelijke betrouwbare partijen uitgevoerde systematische reviews en het raadplegen van prospectieve trialregisters. Subsidieverstrekkers zouden in alle gevallen een systematische review ter onderbouwing van de noodzaak van het nieuwe onderzoek moeten eisen. Subsidieverstrekkers en medisch-ethische commissies zouden prospectieve registratie van onderzoek verplicht moeten stellen.
De kwaliteit van het onderzoek kan verbeterd worden door het uitvoeren van onderzoek te laten ondersteunen door goed geschoolde methodologen en door striktere naleving van de regels van Goede Klinische Praktijken voor alle typen onderzoek. Manuscripten, die ter publicatie worden aangeboden, moeten niet alleen door inhoudsdeskundigen beoordeeld worden, maar ook door personen die voldoende zijn ingewijd in methodologie en statistiek. Tijdschriftredacteuren en referenten van manuscripten zouden de regels voor rapportage veel strenger moeten toepassen en de naleving ervan moeten controleren.
Tenslotte moet de overvloed aan overbodige systematische reviews ingeperkt worden en moeten we terug naar één van de belangrijkste uitgangspunten van Cochrane: voorkomen van dubbel werk.