Naar de content

Vijf vragen over ChatGPT

Een schilderij van een robot die aan een bureau zit.
Een schilderij van een robot die aan een bureau zit.
Amanda x DALL-E

De tekst genererende chatbot ChatGPT is razend populair, maar zo revolutionair blijkt het programma niet te zijn. NEMO Kennislink beantwoordt vijf vragen over de techniek achter ChatGPT.

Het begint met een achteloos blogbericht dat de Californische organisatie OpenAI eind november 2022 op haar website plaatst. Daarin kondigt OpenAI een nieuwe chatbot aan, genaamd ChatGPT. Je kunt hem een vraag stellen en dan geeft hij in keurig Nederlands antwoord. Maar je kunt hem ook vragen om een werkstuk, nieuwsartikel of limerick te schrijven met allerlei voorwaarden, zoals ‘gebruik sarcasme’ of ‘leg het uit aan een kind van zes’.

Tot grote verbazing van de CEO van het bedrijf wordt ChatGPT wereldnieuws. Miljoenen mensen maken een account aan om het programma te proberen, waardoor de servers al snel overbelast raken. Leraren reageren geschokt over de gevolgen voor het onderwijs, auteurs vrezen voor hun voortbestaan en journalisten waarschuwen voor een oneindige stroom fake news. Maar hoe vernieuwend is ChatGPT eigenlijk? We vragen het Piek Vossen, hoogleraar Computationele Lexicologie aan de Vrije Universiteit Amsterdam.

De vragen
  1. Wat is ChatGPT?
  2. Hoe revolutionair is deze techniek?
  3. Wat kan ChatGPT eigenlijk niet?
  4. Wat voor organisatie is OpenAI?
  5. Hoe zou de ideale schrijfrobot eruit moeten zien?

Wat is ChatGPT?
"ChatGPT is een chatmodule die is gebouwd boven op een zogeheten generatief taalmodel, genaamd GPT 3.5. Uit teksten heeft het programma geleerd welk woord je verwacht na eerdere woorden. Het heeft geleerd om zinnen af te maken, maar ook om een antwoord te geven op een vraag. Het kan achterhalen welke betekenis van bijvoorbeeld het woord ‘bank’ wordt bedoeld: een geldbank of een zitbank. Daarvoor maakt het gebruik van neurale netwerken, een techniek uit de kunstmatige intelligentie. De programmeurs hebben GPT 3.5 steeds beter gemaakt door het heel vaak zinnen te laten genereren. Menselijke trainers moesten die zinnen rangschikken van beste naar slechtste keuze. De beste zinnen kregen meer ‘gewicht’, en door dat proces heel vaak te herhalen werd het taalmodel steeds beter in het voorspellen van de juiste woorden."

Terug naar de vragen ↑

Hoe revolutionair is deze techniek?
"Voor mij brengt het niet zoveel nieuws. De eerste versie van GPT verscheen al in 2018; GPT 3.5 is alleen maar een nieuwere versie die het iets beter doet. Wat alleen nieuw is, is dat de menselijke training na de eerste trainingsrondes is vervangen door de computer. Het model is getraind om zich als een mens te gedragen. In 2013 verschenen al de eerste wetenschappelijke artikelen over een systeem dat gerelateerde woorden uit teksten kan leren, en in 2018 bouwde Google het eerste taalmodel op basis van neurale netwerken, genaamd BERT, dat woorden in verschillende betekenissen kan voorspellen. Met dit taalmodel gingen veel taken in de kunstmatige intelligentie in één klap tot wel tien procent beter ten opzichte van eerdere systemen. Dat was de echte revolutie."

Terug naar de vragen ↑

Wat kan ChatGPT eigenlijk niet?
"Het programma weet welk antwoord het moet geven, maar het snapt niet waarom. Het heeft geen idee of het onzin uitkraamt, maar het klinkt wel heel echt. En dat is een gevaar, want mensen gaan het geloven, terwijl er geen garantie is of het klopt. Ik kan ChatGPT een zwamverhaal laten vertellen over de niet-bestaande Thierry Rutte. Of als ik ChatGPT vraag waarover Mark Rutte ter verantwoording is geroepen, dan maakt het daar een heel waarachtig klinkend verhaal van, terwijl het pure onzin is. Het maakt namelijk allerlei negatieve associaties met de woorden ‘ter verantwoording roepen’, waarvan het denkt dat die logisch zijn, omdat die woorden vaker in die combinatie voorkomen, maar er klopt niks van."

Terug naar de vragen ↑

Wat voor organisatie is OpenAI?
"Het is een organisatie die zegt heel open te zijn, maar in de praktijk blijkt dat niet. Je kunt ChatGPT niet downloaden en de achterliggende broncode en data inzien, terwijl dat met veel andere taalmodellen wel kan. Als OpenAI die code en data zou delen, dan kan elke programmeur ermee gaan testen, de risico’s opsporen en verbeteringen aanbrengen. Dan ontstaat innovatie. Nu hangt er iets mystieks omheen. Het lijkt alsof ChatGPT zo goed antwoord geeft en alles heeft begrepen wat je zegt. Alsof er een hogere intelligentie achter zit. Maar het rumoer over ChatGPT is gewoon slimme Elon Musk-achtige marketing, waarmee ze hopen dikke contracten af te sluiten (Tesla-baas Musk was ook medeoprichter van OpenAI, red.). En dat lijkt gelukt, want Microsoft investeert er miljarden in."

Terug naar de vragen ↑

Hoe zou de ideale schrijfrobot eruit moeten zien?
"Het probleem met de huidige taalmodellen als ChatGPT is dat ze geen echt begrip van de wereld hebben. Ze zijn zich er niet van bewust als ze iets zeggen wat incorrect of onmogelijk is. Een echt intelligent taalmodel bevat ook actuele feiten en kan bijvoorbeeld de vraag beantwoorden: wat doet Mark Rutte nu, op dit moment? Zo’n afspiegeling van de werkelijke wereld is de heilige graal voor computerwetenschappers, maar daar is ontzettend veel mensenwerk voor nodig. De bulk van het onderzoek gaat helaas de andere kant op, want het trainen van de modellen wordt juist steeds meer aan computers overgelaten. Wellicht dat Google dit wel voor elkaar krijgt. Maar taalmodellen als ChatGPT zullen een doodlopende weg blijken."

Terug naar de vragen ↑

Lees meer: