Naar de content

ChatGPT geeft gekleurd stemadvies

Judith Robbe

Vraag je je ook af op welke partij je moet stemmen voor de aankomende Provinciale Staten- en Waterschapsverkiezingen? Hoewel je het immens populaire ChatGPT van alles kunt vragen, voor onafhankelijk stemadvies kun je niet bij hem terecht: de chatbot heeft last van hardnekkige links-liberale overtuigingen, die de makers er niet zomaar uit krijgen.

Het aantal varkens in de provincie Noord-Brabant moet drastisch omlaag, en bedrijven in de intensieve veehouderij mogen in Noord-Brabant geen subsidie meer krijgen. Dat vindt althans ChatGPT, als ik twee stellingen voorleg van de StemWijzer voor de aankomende Provinciale Statenverkiezingen. Onder meer SP, D66 en GroenLinks zijn het met die stellingen eens.

Eind vorig jaar deden Duitse onderzoekers deze exercitie wat uitvoeriger: zij legden ChatGPT in totaal 630 politieke stellingen voor, die afkomstig waren uit de StemWijzer voor de Tweede Kamerverkiezingen van 2021 en van de Wahl-o-Mat, een Duitse stemhulp voor de federale verkiezingen van 2021. In beide gevallen had het chatprogramma een groene, links-liberale voorkeur. “Bij de Tweede Kamerverkiezingen van 2021 had ChatGPT waarschijnlijk op GroenLinks gestemd”, aldus Jochen Hartmann, hoogleraar Digitale Marketing aan de TU München en een van de auteurs van een artikel hierover.

Ook anderen ontdekten dat ChatGPT niet bepaald politiek neutraal is. Een Amerikaanse journalist liet ChatGPT bijvoorbeeld twee verhalen over Joe Biden en Donald Trump vertellen. Het verhaal over Biden was veel positiever geformuleerd dan dat over Trump. En als je de chatbot vraagt een gedicht over het klimaat te schrijven, dan komt zijn activistische kant sterk naar boven.

Aanstootgevende berichten

Vooringenomenheid, in de techwereld vaak bias genoemd, is een bekend probleem van kunstmatige intelligentie (artificial intelligence, AI), en niet alleen op politiek vlak. Zulke systemen blijken er soms ook racistische en vrouwonvriendelijke voorkeuren op na te houden. Een chatbot van Microsoft uit 2016, genaamd Tay, werd al snel offline gehaald toen bleek dat hij opruiende en aanstootgevende berichten via Twitter verspreidde. En Amazon stopte in 2018 al snel met zijn AI-sollicitatiehulp, omdat die alleen maar mannelijke kandidaten bleek te selecteren. Het biasprobleem zit dus niet alleen in ChatGPT, maar in de manier waarop AI in het algemeen werkt.

Dat heeft ten eerste te maken met de trainingsdata. ChatGPT haalt zijn informatie uit een enorme hoeveelheid teksten, zoals websites, boeken en Wikipedia. “Kennelijk komt daar een bepaalde dominante politieke overtuiging uit voort”, vertelt Piek Vossen, hoogleraar Computationele Lexicologie aan de Vrije Universiteit Amsterdam.

Om dat te corrigeren heeft de maker van ChatGPT, het bedrijf OpenAI, menselijke trainers ingezet die het programma hebben geleerd om het ‘juiste’ antwoord te geven. “Dat waren echter maar veertig trainers, die slechts een klein deel van de bias konden bijsturen.” Vervolgens zijn goedkope arbeidskrachten, naar het schijnt uit Kenia, aan het werk gezet. Zij hebben de verschillende antwoorden die ChatGPT op een vraag gaf, gerangschikt van meest geschikt tot minst geschikt. Ten slotte heeft ChatGPT zichzelf nog eens verder getraind door dat rangschikken zelf op zich te nemen.

“In al deze vier stappen kan bias sluipen”, aldus Vossen. Welke websites heeft ChatGPT precies gebruikt en welke niet? Wie waren die trainers en arbeidskrachten? Hebben zij hun (politieke) stempel op ChatGPT gedrukt? Hartmann van de TU München vermoedt dat die vooringenomenheid met reputatiemanagement van de techbedrijven te maken heeft. “Sommige techbedrijven zijn in het verleden zo hard onderuitgegaan door rechts-radicale voorkeuren van AI-systemen dat ze daardoor meer de linkerkant op gegaan zijn.”

Stemhulp in Duitsland

De Duitse onderzoekers die ChatGPT’s links-liberale voorkeur ontdekten, werken ook aan een chatbot die je in natuurlijke taal alles kunt vragen over de verkiezingen. Hij geeft je dan stemadvies. Hoewel deze Wahl-o-Bot net iets anders werkt dan ChatGPT, zeggen de onderzoekers dat ze ook daar vooringenomenheid of bias niet helemaal kunnen uitsluiten. Deze chatbot is nog in ontwikkeling; in 88% van de gevallen geeft hij het juiste stemadvies.

Moraalridder van de wereld

Het verwijderen van die bias is alleen nog niet zo makkelijk. Vossen: “Dan zou je de labels die AI aan mensen geeft, zoals ‘vrouw’, volledig moeten verwijderen, maar dan is het niet informatief meer. Dit maakt het een totaal onopgelost probleem.” Het beste is volgens hem om het labelen van data meer aan mensen over te laten, en niet, zoals OpenAI heeft gedaan, in de laatste stap de input van de mens te vervangen door die van de computer. “Maar dat is erg duur, erg moeilijk en kost ongelooflijk veel tijd.”

Het enige wat OpenAI hieraan kan doen, is fouten achteraf corrigeren. “De ethiek wordt nu aan de achterkant toegevoegd. Als dit een standaardtechniek wordt, waar andere, toekomstige chatbots op gebaseerd worden, dan maakt dat OpenAI de moraalridder van de wereld. Dat bedrijf bepaalt dan wat wel en niet ethisch is. Dat is super zorgwekkend.” Nu ook Microsoft zijn zoekmachine Bing met ChatGPT gaat uitrusten, en ook Google werkt aan een alternatief werkt, is dit een reëel scenario.

Terug naar de politiek. Volgens Vossen is het gevaar niet eens zozeer dat mensen nu massaal ChatGPT gaan raadplegen als stemhulp, maar eerder dat de chatbot het verspreiden van fake news en opiniestukken op een gigantische schaal mogelijk maakt. “Je kunt nu heel makkelijk massaal opiniestukjes delen op internet, die allemaal net anders geschreven zijn, maar wel dezelfde politieke voorkeur uitstralen.” Ook Hartmann denkt dat de politieke kleur van ChatGPT er niet zomaar uit te krijgen is. “Je kunt ChatGPT niet politiek neutraal maken, want wat is dat eigenlijk? Misschien moet er een vlaggetje verschijnen bij elk mogelijk politiek getint antwoord. Maar voor nu denk ik eigenlijk dat het het belangrijkste is dat gebruikers zich bewust zijn van deze vooringenomenheid.”

Lees meer over ChatGPT: