Wat is onderzoek doen?

Als onderzoeker wil je uitvogelen waarom, hoe, wanneer en onder welke omstandigheden iets werkt. Of juist niet werkt. Maar hoe zorg je ervoor dat je echt onderzoekt hoe de vork in de steel zit, in plaats van dat je alleen je eigen verwachting of mening bevestigd?

7 januari 2021

Ruim twee jaar lang ben ik nu bezig met de ontwikkeling van een app om mensen die sinds kort kanker hebben te ondersteunen bij de emotionele gevolgen van die diagnose. En nu gaan 60 patiënten mijn app uitproberen. Best spannend! Zij gaan vragenlijsten beantwoorden, interviews geven en bepaalde gebruikersdata delen. Zodat we kunnen onderzoeken of, waarom, hoe, wanneer en onder welke omstandigheden de app werkt. Natuurlijk hoop ik dat de app door patiënten makkelijk, regelmatig en blijvend gebruikt wordt, op hun eigen manier. En dat de app hen helpt om meer inzicht te krijgen in hun emoties, vriendelijker en minder kritisch voor zichzelf te zijn, een beter welbevinden te hebben, en minder stress en angst te ervaren. Als verpleegkundigen die de app aanbieden ook nog enthousiast zijn en de app goed kunnen inbouwen in hun werk, ben ik helemaal blij!

Confirmation bias

Mooi, nu hoef ik dit alleen nog maar proberen te bevestigen, toch? Nou nee, dat zit wel even anders. Als mens wil ik dit natuurlijk graag, alleen al om te zien dat mijn harde werk van twee jaar het gewenste resultaat heeft. Onderzoek laat zien dat wij als mensen die neiging nu eenmaal hebben. Dit noem je ook wel confirmation bias. Dat betekent dat we makkelijker informatie opzoeken, onthouden en opslaan die onze bestaande verwachtingen, waarden en ideeën bevestigd. En dat we tegenstrijdige informatie sneller overslaan of vergeten. Dit gebeurt onbedoeld en automatisch.

Maar als onderzoeker is het mijn taak om zo objectief mogelijk uit te zoeken hoe iets in elkaar steekt. Ik moet er dus actief voor zorgen dat ik niet alleen maar aan het bevestigen ben wat ik al denk. Want dan komen we geen steek verder. Uiteindelijk wil ik natuurlijk dat mijn app mensen echt verder helpt. En dat kan alleen door heel kritisch te blijven op mijn eigen onderzoek.

We nemen informatie anders waar afhankelijk van of het past bij wat we al geloven of niet
Pixy CC0 Public Domain

Op zoek naar het tegendeel

Hoe doe ik dat dan? Eén van de manieren is om evengoed te onderzoeken wat je niet verwacht, als wat je wel verwacht. Stel dat patiënten straks in een interview aangeven dat ze de app helemaal niks vinden. Dan kan ik natuurlijk denken: oh dit is vast een uitzondering, daar ga ik verder niet op in. Maar ik kan ook met evenveel interesse en grondigheid uitzoeken waarom de app niks is voor sommige mensen.

Ook zijn er allerlei statistische methoden om uit te rekenen hoe groot de kans is dat wat jij hebt gevonden puur toeval is, en hoe groot de kans dus is dat je het tegendeel had gevonden. Die informatie is even waardevol (ook al moet ik misschien wat persoonlijke teleurstelling wegslikken). Ik wil namelijk écht weten wat patiënten helpt, ook als het niet is wat ik dacht. En omdat je altijd leert van wat (nog) niet (optimaal) werkt, is het daarom nooit voor niets.

Systematisch werken met meerdere mensen

Andere manieren om onderzoek te doen (in plaats van alleen te bevestigen wat je al denkt) zijn: systematisch te werk te gaan, en met meerdere mensen dezelfde vraag beantwoorden. In mijn systematische literatuuronderzoek naar compassietrainingen voor mensen met chronische ziekten zochten we in verschillende databases op vooraf bepaalde zoektermen. Door vaste zoektermen te gebruiken en alle zoekresultaten te bekijken, zorgden we ervoor dat we elk resultaat evenveel aandacht gaven. Het zoekresultaat bestond uit 2176 wetenschappelijke artikelen.

Van die 2176 hebben zowel ik als een andere onderzoeker los van elkaar de titels en samenvattingen stuk voor stuk beoordeeld op vaste criteria, om te kijken of ze relevant waren. Vervolgens checkten we per titel of we hetzelfde oordeel hadden of niet, en bespraken we de verschillen. Als we het niet eens waren, dan vroegen we er een derde beoordelaar erbij. Heel wat stappen verder kwamen we uit op 20 artikelen die ons allemaal iets vertelden over het effect van compassietrainingen bij mensen met chronische ziekten. Ongeacht of dat de effecten waren die wij verwachtten, of niet.

Transparant zijn

Vaak ben je een jaar verder voordat je de resultaten van zo’n onderzoek op papier hebt (aan het einde doe je dan nog een update om nieuwe bevindingen mee te nemen). Je maakt een verslag waarin precies staat wat je hebt onderzocht en waarom, en welke stappen je allemaal hebt genomen. Iemand die jouw artikel leest, moet precies na kunnen doen wat jij hebt gedaan. Lekker transparant. Ook beschrijf je de sterke en zwakke kanten van je onderzoek. Zo kan iemand die het leest voor zichzelf beoordelen of die het eens is met jouw werkwijze en bevindingen. En of aanvullend onderzoek nodig is.

Je begrijpt dat je dit niet voor elke vraag die in je opkomt kunt doen. Voor sommige antwoorden vertrouw je op het onderzoek van anderen. Gelukkig maar, want als iedereen begint bij het uitvinden van het wiel dan laat de auto lang op zich wachten. Maar dit vertrouwen is niet blind: je kijkt altijd kritisch naar het onderzoek dat al gedaan is. Je weet maar nooit, misschien moet je toch terug naar de tekentafel van het wiel, in plaats van die bestaande auto te verbeteren.

Probeer het eens

Is onderzoek doen iets voor jou? Probeer het eens uit. Bedenk een vraag die je graag wilt beantwoorden. Ga bij jezelf na wat jij denkt wat het antwoord is (of niet is), en ga dan óók serieus opzoek naar goede informatie die juist voor het tegendeel spreekt. Of onderzoek je vraag samen met iemand anders (extra interessant: iemand met andere verwachtingen dan jij), eerst los van elkaar, en vergelijk dan je conclusies. Let ook altijd op hoe transparant de informatie is die je vindt: Wie heeft het bedacht? Wat is het doel van diegene? Welke stappen zijn genomen om tot een conclusie te komen? Wordt het onderwerp van meerdere kanten belicht? Zijn feiten en meningen duidelijk te onderscheiden? Veel plezier!