AI als onderzoeksgenoot

“ChatGPT heeft mijn planning gemaakt!”
“Als ik een mail moet schrijven naar veel mensen, is het fijn om dat niet zelf te hoeven doen.’’
“Het scheelt zoveel tijd: mijn oefenkaartjes voor de toets hoef ik niet meer met de hand te doen.’’

En zo kan de lijst wel even doorgaan. Heel veel mensen vinden het gebruik van ChatGPT of soortgelijke systemen heel handig. Vooral taken die veel herhaling bevatten, zoals oefenkaartjes maken, of taken die over het verbeteren van tekst gaan, zijn goed uit te besteden.

Digitaal hulpje

Zo vroeg ik aan ChatGPT: “Ik schrijf een blog over het gebruik van ChatGPT en andere generatieve taalmodellen als onderzoeker. Welke titel zal ik daarvoor kunnen gebruiken? Geef me meerdere opties.”

Ook voor een onderzoeker zoals ik liggen de mogelijkheden voor het oprapen. Zo schrijf ik veel, vaak in de vorm van een academisch artikel. Als een zin niet loopt, vraag ik graag of een taalmodel een beter idee heeft. Ook als ik een grafiek moet maken of aan het programmeren ben, roep ik weleens de hulp in van een taalmodel, en verbaas ik me over hoe snel en goed de antwoorden zijn. Toch zit er een addertje onder het gras.

Hallucineren

ChatGPT, Copilot en Mistral zijn allemaal voorbeelden van generatieve AI, die output genereren op basis van een vraag van een gebruiker. Hoewel er onder generatieve AI ook modellen bestaan die muziek of videobeelden genereren, hebben deze voorbeelden allemaal tekst als basis: het zijn taalmodellen. Deze taalmodellen zijn getraind met behulp van statistiek. Ze geven je het antwoord dat statistisch gezien het meest waarschijnlijk is op je vraag. Met grote hoeveelheden data van voorbeeldteksten op internet hebben ze een hoop geleerd, en kunnen ze veel vragen goed beantwoorden.

Het zou mooi zijn, als ik met één zinnetje aan een chatbot maanden werk zou besparen. Toch zijn er redenen dat ik beter zelf aan de slag kan gaan om een artikel te schrijven. De grote taalmodellen blijven statistiek, en hebben geen echte feiten of kennis over de wereld. Een probleem vormen bijvoorbeeld de zogenoemde 'hallucinaties’. Dat zijn antwoorden die niet kloppen en vaak weinig met de werkelijkheid te maken hebben. Ook al lijkt de rest van de tekst heel overtuigend, er kan altijd iets tussen zitten wat niet waar is! Als onderzoeker ben je verantwoordelijk voor wat je schrijft, dus je moet zeker zijn dat het klopt. Daar ben je niet zeker van als je het niet zelf geschreven hebt.

Zo vroeg ik aan ChatGPT of het een samenvatting kon schrijven van het blog op de site NEMO Kennislink met als titel 'AI als onderzoeksmaatje', nog voordat het gepubliceerd was. Het bestond dus nog niet, en ChatGPT sloeg aan het ‘hallucineren’:

“Het blog op de site gaat over de rol van kunstmatige intelligentie (AI) in het wetenschappelijk onderzoek. De auteur, Tamara Florijn, bespreekt hoe AI-systemen steeds vaker worden gebruikt als ‘onderzoekspartner’ of ‘maatje’ in verschillende wetenschappeijke disciplines. Volgens Florijn kan AI helpen bij het analyseren van grote hoeveelheden data, het identificeren van patronen en het doen van voorspellingen. Ze geeft voorbeelden van hoe AI al wordt gebruikt in gebieden zoals de geneeskunde, de astronomie en de klimaatwetenschap.

Florijn benadrukt echter ook dat het gebruik van AI in het onderzoek niet zonder uitdagingen is. Ze noemt kwesties zoals de kwaliteit van de data, de interpretatie van de resultaten en de transparantie van de AI-systemen. Het blog eindigt met de conclusie van AI een krachtig instrument kan zijn in het wetenschappelijk onderzoek, maar dat het belangrijk is om kritisch te blijven over de mogelijkheden en beperkingen van deze technologie.” Tot zover de hallucinatie van ChatGPT.

Als je zelf al een groot deel geschreven hebt na eigen onderzoek, is het verleidelijk om de tekst door een taalmodel te laten checken en verbeteren. Deze optie is uitgesloten als je met gevoelige informatie werkt, zoals patiëntgegevens. De reden hiervoor is dat veel grote taalmodellen de invoer van gesprekken gebruikt om te trainen en beter te worden. 

Veel water

Daarmee is de veiligheid en privacy van de invoer die je geeft, niet meer gegarandeerd. Dit geldt ook voor onderzoek dat nog niet gepubliceerd is. Je wil niet dat iemand anders ChatGPT vraagt om een onderzoeksartikel te schrijven, en jouw halve artikel prijsgeeft, ook al is de kans klein.

Naast de beperkingen zien veel wetenschappers het nut er van in als ze goed opletten. Universiteiten en instituten stellen steeds vaker richtlijnen op. Zo zijn er nieuwe richtlijnen van de NWO-instituten waar ik voor werk, over het gebruik van grote taalmodellen, zodat we als onderzoekers wat houvast hebben. Zo vragen ze om AI niet voor elke kleine vraag te gebruiken, omdat het veel energie en water kost.

Heeft jouw school of werkgever ook zo’n richtlijn? Blijf goed nadenken over wat je aan een groot taalmodel vraagt. Heeft het zin, en geef je geen informatie weg? Doe er dan je voordeel mee. Mijn favoriete vraag is: “Verbeter deze zin”.