Naar de content

Twitterfilter heeft moeite met het herkennen van meningen

Pixabay CC0

Het gebeurt regelmatig: iemand krijgt een twitterban opgelegd omdat hij bijvoorbeeld over corona of vaccinaties twittert. Staan de filters van Facebook en Twitter niet te streng afgesteld? We spraken met taaltechnoloog Antal van den Bosch.

23 april 2021

Sociale media als Twitter en Facebook gebruiken algoritmes om verspreiders van nepnieuws en haatdragende berichten op te merken. Maar ook goed bedoelde tweets worden door die algoritmes nogal eens aangemerkt als ongewenst. Zo gebeurt het de laatste tijd regelmatig dat mensen tijdelijk een ‘twitterban’ opgelegd krijgen omdat ze bijvoorbeeld schrijven over corona of vaccinaties en hun tweet net die woorden bevat die het algoritme gebruikt om nepnieuws op te sporen. Dat gebeurde onder andere onze collega-journalist Arnout Jaspers die in een tweet benadrukte hoe goed vaccins werken.

Twitter, @Focusscience1

Zelfs de bestuursvoorzitter van het OLVG in Amsterdam werd van LinkedIn verwijderd toen hij aandacht vroeg voor de neveneffecten van de coronamaatregelen. Ook kan het algoritme de fout ingaan door een taaldwaling. Zo kreeg de Vlaamse taalkundige Miet Ooms een twitterban opgelegd na het versturen van de tweet ‘Topinfluencer, die Bernie’. Het twitterfilter zag de tweet ten onrechte aan voor een Engelstalig bericht waarin iemand de politicus Bernie Sanders dood wenste.

Waarom gaat het algoritme nog zo vaak de fout in en kan dat in de toekomst anders? NEMO Kennislink sprak erover met taaltechnoloog Antal van den Bosch. Hij is hoogleraar Taal en Kunstmatige intelligentie aan de UvA en directeur van het Meertens Instituut.

Waarom gaan de algoritmes zo vaak de mist in?

“Welke filters bedrijven als Facebook en Twitter precies gebruiken weet niemand. Maar in het algemeen is het zo dat ze een combinatie hanteren van menselijke moderatie en automatische filters. Omdat het om zulke gigantische hoeveelheden data gaat, staat er in eerste instantie een hele batterij aan automatische filters klaar, die als het ware vlaggetjes plaatst bij ongewenste tweets. Wat ongewenst is, is terug te vinden in de richtlijnen van zo’n bedrijf. Voorbeelden zijn haat zaaien, bedreigen, desinformatie en misinformatie. De taak van de menselijke moderatoren is om steekproefsgewijs te controleren of de vlaggetjes terecht zijn.”

Social media-iconen worden weergegeven op een mobiele telefoon.

Meestal scoren automatische filters die sociale media gebruiken tussen de 75 en 85 procent.

Pixabay CC0

“Die automatische filters zijn computerprogramma’s die min of meer werken zoals een spamfilter twintig jaar geleden al werkte. Naïef zou je zeggen: zo’n algoritme heeft het goed of heeft het fout. Maar eigenlijk – en dat is vaak een eyeopener – zijn er vier uitkomsten mogelijk, waarvan er twee goed zijn en twee fout. Het gaat goed bij de berichten die volgens het algoritme en ook volgens de menselijke maat aanstootgevend zijn. Hetzelfde geldt voor berichten die het algoritme terecht goedkeurt. Maar het gaat fout bij vals positieven en vals negatieven. In het eerste geval zegt het algoritme dat het bericht niet op de site hoort terwijl er in feite niks mis mee is; in het tweede geval zegt het algoritme dat er niks aan de hand is, terwijl het wel degelijk aanstootgevend is.”

“Het probleem is dat er geen algoritme bestaat dat het honderd procent goed doet. Meestal scoren ze ergens tussen de 75 en 85 procent. Maar dat getal zegt nog niets over de verdeling van de vals positieven en vals negatieven. Die verdeling kun je zien als een touwtrekwedstrijd. Trek je aan de ene kant, om het aantal vals positieven terug te dringen, dan krijg je een heleboel vals negatieven. Je zult dus voortdurend moeten testen hoe goed je algoritme werkt op beide typen fouten.”

Wat is dan de beste verdeling tussen de twee typen fouten?

“Dat hangt er vanaf wat je wilt. Als je bijvoorbeeld heel veel menselijke moderatoren in dienst hebt, dan hoeft het algoritme niet zo precies te zijn. De menselijke moderatoren keuren dan de onterecht afgekeurde berichten alsnog goed. Je kunt je dan meer vals positieven veroorloven. Maar als het algoritme volledig automatisch werkt, dan wil je wél dat deze heel precies is.”

Waarschijnlijk hebben Twitter en Facebook veel menselijke moderatoren in dienst?

“Absoluut. Maar uiteindelijk is het nooit genoeg. Dus ook daar zullen ze weer een soort evenwicht in moeten vinden. Je moet eerst bepalen wat de moderatieteams aan kunnen. Het controleren van die ‘vlaggetjes’ gaat eigenlijk altijd steekproefsgewijs: je kunt niet alles controleren. Maar moderatie is bijvoorbeeld ook taal- en cultuurafhankelijk. Je zult in Nederland echt mensen moeten hebben die dat voor Nederlandstalige berichten doen. En dan moet er ook altijd een deel van het team zijn dat nazorg levert aan mensen die bezwaar indienen omdat ze geblokkeerd zijn. Ik denk dat deze bedrijven veel tijd steken in die nazorg. Daarmee houd je toch je klantrelaties goed.”

Het lijkt er dus op dat de huidige algoritmes veel vals positieven opleveren: berichten die ten onrechte als aanstootgevend worden aangemerkt. Wat gaat hier taaltechnologisch gezien fout?

“Het is heel moeilijk voor algoritmes om alle nuances van een bewering te detecteren. Dit gebeurt bijvoorbeeld als je iets quote waar je het niet mee eens bent: je gebruikt dan immers wel woorden die in de verboden hoek zitten, naast je eigen inbreng als ‘ik snap niet waarom mensen nog altijd beweren dat…’. Het onterecht wegfilteren van zulke nuance gaat uiteindelijk ten koste van het debat. Elk gezond debat heeft baat bij common ground, gedeelde kennis, anders kan je elkaar niet begrijpen. In het zwartepietdebat is ‘zwarte piet’ een beladen term, maar als we ons in geheimtaal moeten gaan hullen dan is de discussie steeds verder weg. Tegelijkertijd hebben we de filters toch wel nodig, want zonder een vorm van moderatie kunnen discussies totaal ontsporen.”

“Algoritmes hebben moeite met het duiden van wat het betekent als een bewering begint met ‘ik vind’ of ‘ik snap niet waarom’ en woorden die voorzichtigheid uitdrukken zoals ‘misschien’. En dat zijn juist heel belangrijke aanwijzingen dat er iets meer aan de hand is dan dat iemand een scheldpartij aan het opzetten is. De meest geavanceerde algoritmes proberen dat nu wel mee te nemen. Ze kijken sowieso naar woordgroepen en woordcombinaties in plaats van naar individuele woorden, en dus ook steeds vaker naar de relatieve positie van die woorden.”

“Een andere moeilijkheid is de factor tijd. Door de tijd heen komen nieuwe onderwerpen op, of verandert de hoeveelheid aandacht die een bepaald onderwerp krijgt. Je moet die algoritmes dus vaak bijtrainen, want er kan zomaar een beweging ontstaan, een hashtag, een persoon die van de ene op de andere dag beroemd wordt zoals George Floyd. Wat ook nogal eens misgaat is de taalidentificatie, dus in welke taal een bericht is geschreven: hoe korter de boodschap, hoe vaker het misgaat. Neem de woorden in die tweet van Miet Ooms, ‘die Bernie’: op basis van een eigennnaam kun je nog niet beslissen met welke taal je te maken hebt, en het woordje ‘die’ komt in meerdere talen voor met een andere betekenis. Hier heeft het algoritme het Nederlands aangezien voor Engels.”

Kunnen de automatische algoritmes bij het overwinnen van deze problemen naar honderd procent foutloos modereren?

“Dat denk ik niet. Als je dit door verschillende menselijke moderatoren laat doen dan krijg je scores die ook geen honderd procent zijn, omdat er verschil van mening is. En het algoritme is getraind op menselijke data. Het is misschien wel zo dat als je data laat labelen door meerdere mensen en daar weer een discussie overheen laat gaan, die data weer aanbiedt als trainingsmateriaal, dan heb je wel materiaal dat misschien een soort collectieve intelligentie representeert. Misschien kom je op die manier wel ooit uit bij een heel intelligent algoritme.”

ReactiesReageer