Alle thema's

Robots die ons nieuws checken

Computer vlooit teksten door op harde claims

Deze publicatie is onderdeel van het thema: De robots komen

Nepnieuws is er in vele soorten en maten, van compleet verzonnen verhalen tot subtiel verdraaide berichten. Terwijl er nog veel vraagtekens worden gezet bij de werkelijke impact van nepberichten, verschijnen de eerste automatische tools die de factcheckers helpen om misinformatie te vangen. Controleren robots straks de feiten?

door

Pizzacometop twitter

Het gerucht over een pedofielennetwerk dat banden heeft met onder andere Hilary Clinton en Comet Ping Pong doet nog steeds de ronde op Twitter; zelfs na het incident met Edgar Welch. NEMO Kennislink

Op 4 december 2016 loopt Edgar Welch de pizzeria Comet Ping Pong in Washington binnen. Hij wil geen pizza. Hij vuurt drie schoten af met zijn semiautomatische geweer. Niemand raakt gewond en Welch wordt gearresteerd. In de dagen daarna komt zijn motief naar buiten: hij was ervan overtuigd dat presidentskandidaat Hilary Clinton vanuit de pizzeria een pedofielennetwerk runde. Om gevangen kinderen te bevrijden was hij die ochtend bewapend in de auto gestapt.

Dat Clinton uiteindelijk géén pedofielennetwerk vanuit een pizzeria bleek te runnen, zal weinigen verbazen. Toch verscheen het verhaal naar verluidt op verschillende websites. En via sociale media werd het gretig gedeeld. Welch was in een nepnieuwsfuik terechtgekomen.

Natuurlijk, dit is een extreem nepbericht met extreme gevolgen. Maar valse berichten zijn er in vele soorten en maten. Nepnieuws is een verzamelterm geworden voor alle informatie in de media – online én offline – die niet klopt. Van compleet verzonnen sensatieberichten uit Macedonische ‘nepnieuwsfabrieken’ tot aan politici die ongefundeerde beweringen doen.

Dat er nepnieuws op ons pad komt is een ding, maar waarom trappen we erin? Dat wordt uitgelicht in dit artikel.

Nepnieuws op de radar

Er worden veel vraagtekens gezet bij de werkelijke invloed van nepnieuws. Na de Amerikaanse presidentsverkiezingen in november dachten velen dat nepnieuws van invloed was geweest op de verkiezingsuitslag, maar dat leek later mee te vallen. In de afgelopen Nederlandse verkiezingscampagne lijkt nepnieuws nauwelijks een rol te hebben gespeeld.

Maar het ís er. Sinds nepnieuws op de radar staat is er ook een groeiend leger van ‘factcheckers’ die valse informatie opspoort en doorprikt. Kranten hebben vaste rubrieken en ook online is er een groeiend aantal factcheckplatforms. Facebook kondigde deze maand aan samen te gaan werken met Nieuwscheckers en de nieuwssite NU.nl om nepnieuws op te sporen.

Factchecking

Maar wie zijn die factcheckers, en zijn ze opgewassen tegen de valse berichtgeving? Een nepbericht verspreidt zicht razendsnel op sociale media, een correctie meestal niet. Snelheid én kwaliteit zijn van belang. Wellicht worden deze ‘controleurs van het nieuws’ daarom binnenkort bijgestaan door een robot-factchecker.

“Een systeem dat dit soort claims uit lange teksten trekt kan veel tijd schelen”, zegt Alexander Pleijter, docent van de Universiteit Leiden die verantwoordelijk is voor Nieuwscheckers, een online platform waarop studenten Journalistiek en Nieuwe Media nieuwsberichten en uitspraken van politici controleren. “Over het algemeen kost het schrijven van een factcheck veel tijd; daar hoort ook het vinden van beweringen bij.”

Twitter 292994 960 720

In Nederland leest één op de drie Nederlanders nieuws via Facebook. Met name jongeren gebruiken vaker online en sociale media om op de hoogte te blijven van het nieuws. Pixabay CC0

Pleijter vertelt over de samenwerking die Nieuwscheckers recentelijk met Facebook is aangegaan. Na de presidentsverkiezing in de Verenigde Staten werd het sociale netwerk onder druk gezet om valse informatie tegen te gaan. Na initiatieven in Amerika, Duitsland en Frankrijk is er deze maand ook een proef in Nederland begonnen die ongeveer twee maanden zal duren.

Valse berichten krijgen volgens Pleijter op Facebook uiteindelijk een soort ‘stempel’ toegevoegd die de lezers waarschuwt dat het is aangemerkt als nepnieuws, ook volgt een waarschuwing bij het delen. En de berichten komen in het algemeen lager op de tijdlijn. Voor het compleet verwijderen van de berichten is Pleijter overigens niet. “Dat zou snel op censuur lijken”, zegt hij. “We hebben nu eenmaal persvrijheid, je mag in principe alles publiceren.”

Maar hoe kan een handjevol studenten de overweldigende hoeveelheid berichten op een medium als Facebook controleren? Is het niet dweilen met de kraan open? “De eerste gemarkeerde berichten hebben we inmiddels binnengekregen”, zegt Pleijter. “Op een gegeven moment is het natuurlijk de bedoeling dat we niet alleen de berichten zelf, maar de bronnen van nepnieuws opsporen. Je haalt er de websites uit die het systematisch doen. Die worden dan aangepakt door Facebook, bijvoorbeeld afgesloten van advertenties zodat ze geen inkomsten meer krijgen.”

Op zoek naar harde claims

In de Verenigde Staten hebben ze al iets wat sterk lijkt op zo’n geautomatiseerde factchecker. Bill Adair is professor Practice of Journalism and Public Policy van de Amerikaanse Duke-universiteit en hielp mee aan het ontwikkelen van ClaimBuster, een algoritme dat automatisch claims in een tekst zoekt.

Claimbuster

ClaimBuster is een programma dat in een tekst (in dit geval een transcript van een Amerikaans verkiezingsdebat) scant op beweringen die te controleren zijn. Alle zinnen krijgen een score, van 0 tot 1.0, die aangeeft hoe waarschijnlijk het is dat de zin een claim bevat. Veel beweringen zijn bijvoorbeeld te vinden in zinnen die in de verleden tijd staan, en ook getallen of woorden als ‘democratisch’ of ‘republikeins’ zijn signalen voor controleerbare zinnen. ClaimBuster

Adair is de oprichter van PolitiFact, een website die uitspraken van Amerikaanse politici controleert. Dat factchecken gebeurt nu door een handjevol stagiairs. ClaimBuster is een algoritme dat deze taak probeert over te nemen. “We hebben eigenlijk een robot-stagiaire gemaakt die moeiteloos enorme lappen tekst doorspit”, zegt Adair. “Het algoritme heeft als het ware geleerd wat de eigenschappen van zinnen zijn waarin claims worden gedaan.”

Het team van wetenschappers nam teksten van oude politieke debatten en liet losse zinnen aan mensen zien. Aan hen werd gevraagd of er een controleerbare bewering in de zin stond. Als meerdere proefpersonen dat bevestigden, ging de zin naar een database die de computer analyseerde. Zonder echt te begrijpen wat er in de zin staat, was het algoritme in staat eigenschappen van ‘claimhoudende’ tekstdelen te bepalen.

32999875601 708e0c1529 o

Je kunt van alles roepen, maar wie wijst je meteen op onwaarheden? Michael Vadon via CC BY 2.0

Volgens Adair is de tool redelijk betrouwbaar. Alle zinnen met een score boven de 0,6 hebben waarschijnlijk een bewering. “Het werkt zelfs als de bewering in een mening verpakt zit”, zegt Adair. “Bijvoorbeeld ‘de belastingen zijn te hoog, de Verenigde Staten hebben de hoogste belastingen in de wereld.’ We hebben de zinnen die ClaimBuster selecteerde vergeleken met wat proefpersonen markeerden. Dat kwam erg goed overeen.”

Vooralsnog is ClaimBuster getraind op politieke berichten, maar Adair gelooft dat je het algoritme net zo goed kunt loslaten op bijvoorbeeld wetenschappelijke claims. “Het kan zijn dat de claims in wetenschappelijke berichten anders zijn geformuleerd, maar dat betekent niet dat ClaimBuster het niet zou kunnen leren”, zegt hij.

Uiteindelijk moet het programma ook bruikbaarder worden voor bijvoorbeeld journalisten, daarvoor lopen verschillende projectaanvragen. De huidige versie is een demo, aldus Adair. “Ik geloof niet dat er nu journalisten zijn die het gebruiken tijdens het factchecken van berichten”, zegt hij. “Later dit jaar hopen we echt met een beter systeem te komen, dat bijvoorbeeld automatisch teksten uit het congres kan scannen op claims.”

Verantwoordelijkheid van machines

Adair gelooft dat er langzaam meer automatisering in het factchecken zal komen. “Een volautomatische controle van teksten, waar computers de rol van journalisten overnemen? Daar zijn we echt nog jaren van verwijderd”, zegt hij. “Het vereist complexe vaardigheden om iets te onderzoeken en er een factcheck over te schrijven. Maar automatisering kan het controleren erg helpen, het kan claims snel opsporen. En als er eenmaal een goede factcheck is geschreven kan het ook helpen dat snel te verspreiden op het moment dat de claim weer ergens opduikt.”

22685215856 21eae94a1f b

Mogen we computers journalistieke verantwoordelijkheden geven? The People Speak!, Flickr, CC by 2.0

Maar moeten we machines eigenlijk wel dit soort verantwoordelijkheid geven? “Als factchecker heb je een journalistieke verantwoordelijkheid”, zegt Pleijter. “Ik vind niet dat je die volledig moet afschuiven op computers. Er moeten altijd mensen bij betrokken blijven, maar computers moeten we zeker als hulp gebruiken.”

Ook Adair denkt dat mensen verantwoordelijk zullen blijven. “Ik vind dat we niet bang moeten zijn om de mogelijkheden te verkennen en te gebruiken. Ik vrees niet voor de dag dat een enorme factcheck-robot de wereld overneemt.”