Thomas Smits legt uit hoe je computers kunt inzetten om plaatjes te vinden

Mijn hele leven ben ik al fan van treinen en erg gefascineerd door botsingen en ontsporingen uit het verleden. Onderzoek hiernaar doen was altijd best lastig. Maar nu bronnen steeds vaker digitaal beschikbaar zijn, probeer ik erachter te komen of ik met een computerprogramma bepaalde afbeeldingen kan vinden.

8 augustus 2017

Sinds kort werk ik aan een tijdelijk onderzoeksproject van zes maanden bij de Koninklijke Bibliotheek in Den Haag. Toen ik op mijn eerste werkdag in de trein zat, moest ik denken aan de eerste keer dat ik een afbeeldingen van een treinongeluk zag in een negentiende-eeuws geïllustreerd nieuwstijdschrift.

Nadat ik me tijdens mijn bachelor vooral had bezig gehouden met de holocaust en ‘genocide studies’, besloot ik in het laatste jaar van mijn master dat ik nog één vak moest kiezen dat hier zo min mogelijk mee te maken had. De titel van de cursus ‘Tijdschriften in de negentiende eeuw’ klonk meer dan ver genoeg verwijderd van mijn interesse – je zou het ook een kleine obsessie kunnen noemen – in de Tweede Wereldoorlog.

‘A horde of elephants attacking a train’, De Hollandsche Illustratie, no. 12 (1867) (eigen collectie KB)
De Hollandsche Illustratie

Een olifant op de rails

Misschien komt het omdat ik al mijn hele leven een grote fan ben van treinen maar ik denk echt dat de bovenstaande afbeelding uit de Hollandsche Illustratie mijn leven heeft veranderd. Tijdens het vak over negentiende-eeuwse tijdschriften besloot ik onderzoek te doen naar de visuele representatie van treinongelukken in geïllustreerde nieuwstijdschriften, wat uiteindelijk leidde tot een artikel voor TS Tijdschrift voor Tijdschriftstudies. Hiervoor zat ik uren in het bibliotheek door oude nummers te bladeren, op zoek naar ontploffende ketels van stoomtreinen, botsingen en ontsporingen.

Die foto uit de Hollandsche Illustratie zorgde er dus uiteindelijk voor dat ik ben geswitched van genocide studies naar negentiende eeuwse geïllustreerde tijdschriften. Ook voor mijn promotieonderzoek, dat zich richt op de transnationale handel in illustraties van het nieuws in de negentiende eeuw, zat ik regelmatig dagen in het archief.

Negentiende-eeuwse kranten schreven veel over de spoorwegen. Het ging niet alleen om de positieve kanten van dit nieuwe transportmiddel, maar ook vaak om de vele ongelukken. Bij dit ongeluk in 1865 raakte de beroemde schrijver Charles Dickens ernstig gewond.
By Illustrated London News - Engraving in Illustrated London News, Public Domain, https://commons.wikimedia.org/w/index.php?curid=1517840

Fascinerend en frustrerend

Dit soort onderzoek is fascinerend en frustrerend tegelijkertijd. Terwijl ik constant werd afgeleid door afbeeldingen van negentiende-eeuwse uitvindingen, steden, schepen, oorlogen en ontdekkingsreizen, verdwenen de kleine stukjes papier waarmee ik interessante afbeeldingen en artikelen gemarkeerd had tussen de andere pagina’s.

Kon dit onderzoek niet makkelijker gemaakt worden? Nu bronnen steeds vaker digitaal beschikbaar zijn wilde ik weten of het mogelijk is om een computer programma bepaalde afbeeldingen te laten vinden. Mijn huidig Researcher-in-residence project probeert met behulp van computer vision een antwoord op deze vraag te vinden.

Afbeeldingen van het nieuws: illustraties en foto’s

De afbeeldingen van treinongelukken zijn een onderdeel van de visualisatie van het nieuws door geïllustreerde nieuwstijdschriften in de negentiende eeuw. Tot nu toe denken de meeste historici die zich bezighouden met de geschiedenis van de media dat de uitvinding van de fotografie gezien het startpunt is van het objectief in beeld brengen van het nieuws. Dit noemen we een technocentrisch perspectief, omdat de technische ontwikkeling van de fotografie de drijvende kracht van deze geschiedenis is.

Verschillende andere historici vinden dat rond 1900 zowel illustraties als foto’s objectieve visuele representaties van het nieuws waren. Omdat ze hiervoor vooral case studies gebruiken, zijn ze echter tot nu toe niet in staat geweest om deze periode duidelijk te beschrijven. Mijn onderzoek bij de KB past twee computer vision technieken toe waarmee we de afbeeldingen uit de gedigitaliseerde Nederlandse kranten uit de periode 1860-1922 indelen in foto’s en illustratie. Hierdoor hopen we de belangrijke overgangsperiode in geschiedenis van de visuele cultuur van het nieuws duidelijk te maken.

Eerste fase: gravures en halftones

In de eerste fase van mijn project passen Willem Jan Faber, een onderzoekprogrammeur van de KB, een techniek toe die voortkomt uit een recent project van Paul Fyfe en Qian Ge. Fyfe wilde graag computer vision gebruiken om Victoriaanse Engelse geïllustreerde nieuwstijdschriften te analyseren. Ge schreef een computercode die in staat is twee zogenaamde ‘low-level’ eigenschappen van afbeeldingen te analyseren. Ten eerste gebruikt ze de pixel ratio. Een digitale afbeelding is opgebouwd uit pixels. Een pixel is een gekleurde punt, die dus ook wit kan zijn, en vele pixels bij elkaar vormen al het beeld op je computerscherm.

De pixel ratio is een getal dat ontstaat als je het aantal bijna witte pixels op een afbeelding deelt door het totale aantal pixels. Het meet dus eigenlijk de verhouding wit/zwart op een afbeelding. Ten tweede meet Ge het entropie niveau van een afbeelding. Dit vind ik zelf ook een moeilijk begrip, maar eigenlijk laat dit getal zien hoe duidelijk de verhoudingen tussen zwart en wit op afbeelding zijn. Zijn er heel duidelijke zwarte vlakken? Of wisselen kleine witte en zwarte vlakken elkaar snel af? Door deze twee getallen, de pixel ratio en het entropieniveau, tegen elkaar weg te zetten, waren Fyfe en Ge in staat om afbeeldingen te verdelen in twee groepen: gravures en halftones.

Gravures, gebruikt voor het reproduceren van illustraties, worden gekenmerkt door een lage pixel ratio en entropie niveau. Dit betekent dus dat er relatief weinig zwart op de afbeelding te zien is en dat de overgangen tussen witte en zwarte vlakken relatief duidelijk zijn. Halftones, gebruikt voor de reproductie van foto’s, laten juist een hoge pixel ratio en entropie niveau zien. Er zijn dus relatief veel zwarte pixels maar deze zijn veel meer gemixd met de witte pixels.

Detail van een foto van Lenin dat het pixel patroon van een halftone laat zien. — Detail van een foto van Lenin dat het pixel patroon van een *halftone* laat zien.
Nieuwe Apeldoornsche Courant/Delpher

Op de afbeeldingen aan de rechterzij, een foto en een illustratie van Vladimir Lenin, de eerste leider van de Sovjet-Unie en belangrijke theoreticus van het communisme, is te zien hoe deze afbeeldingen er op pixel niveau allebei anders uit zien. Het zijn deze systematische verschillen die de code van Ge gebruikt om de afbeeldingen in te delen.

Tweede fase: herkennen van categorieën.

In de tweede fase van het project onderzoeken we hoe een combinatie van twee open-source computer vision programma’s (OpenCV/Caffe) gebruikt kunnen worden om de herkenning van gravures en halftones te verbeteren. Ook kijken we of we deze programma’s kunnen gebruiken om halftones en gravures in verschillende categorieën onder te verdelen.

We verwachten dat illustraties van het nieuws, karikaturen, schaakproblemen en weersvoorspellingen allemaal als gravures geclassificeerd worden door de code van Ge. Met behulp van de algoritmes van OpenCV en Caffe zijn we misschien in staat om deze groep gravures verder te splitsen. Deze verschillende categorieën hopen we te gebruiken om allerlei media-historische vragen te beantwoorden. Vanaf wanneer publiceerde Nederlandse kranten bijvoorbeeld politieke karikaturen op grote schaal? Of hoe werden kaarten gebruikt bij verslaggeving over oorlogen?

Hoe kijkt een algoritme naar een treinongeluk?

Computer vision programma’s zijn tegenwoordig in staat om gezichten en allerlei objecten, zoals auto’s of bananen, in foto’s te herkennen. Ik twijfel er echter aan of deze programma’s me ook helpen bij het vinden van afbeeldingen van treinongelukken in negentiende-eeuwse geïllustreerde nieuwstijdschriften. De algoritmes van OpenCV en Caffe zijn vooral ontwikkeld om foto’s en bewegend beeld met een hoge definitie en veel contrast te analyseren.

Dit zorgt ervoor dat ze vaak ‘verkeerd’ kijken naar de afbeeldingen, van een veel lagere kwaliteit, in negentiende-eeuwse kranten en tijdschriften. Terwijl wij, met onze ogen, in staat zijn de overeenkomsten tussen treinongeluk op een korrelige illustratie en een digitale foto te zien, kijken algoritmes op een andere manier en zien ze dus ook iets totaal anders. Ik hoop wel dat mijn project een stap in de goede richting is en we binnenkort ook ontploffende ketels en ontspoorde treinen gemakkelijk met de computer kunnen vinden.