Rijksmuseum ontwikkelt de Accurator, een tool om objecten op schilderijen te analyseren

Vraagt u zich ook weleens af welke objecten er op de schilderijen in het Rijksmuseum staan? ‘Vogels’, zo luidt vaak de weinig concrete omschrijving op de informatie bij een schilderij over – jawel, je raadt het al – vogels, eventueel nog gevolgd door de naam van de schilder. Een slim computerprogramma zorgt dat experts hun kennis aan schilderijen kunnen toevoegen.

17 augustus 2016

‘Arend en andere vogels’, zo luidt de omschrijving bij een werk dat prentenmaker Pieter Schenk tussen 1675 en 1711 maakte. Waarschijnlijk had de curator geen idee welke zes andere vogels op het kunstwerk afgebeeld staan. Dit soort metadata over schilderijen en prenten is vaak beperkt. Dat geldt ook voor informatie in omschrijvingen van vazen, kleding, beeldhouwwerken en andere kunstvoorwerpen. Samen met verschillende wetenschappers ontwikkelde het Rijksmuseum daarom een speciale tool.

De Accurator is gericht op het verbeteren van het beschrijvingsproces voor digitale collecties. Bij een themadag voor vogelspotters in oktober 2015 werden met behulp van de Accurator al diverse vogels geïdentificeerd. Reden voor het Rijksmuseum om samen met Modemuze, een platform voor liefhebbers van mode en kostuums in Nederland, een vergelijkbare dag te organiseren voor specialisten en liefhebbers van mode en kostuums.

“Als burger willen we steeds meer informatie”, zegt universitair docent Lora Aroyo van de Vrije Universiteit Amsterdam.
Website VU Amsterdam

Wetenschapster Lora Aroyo, universitair docent Intelligent Information Systems, en betrokken bij het project, geeft een uitleg.

Wat is de Accurator?
“De Accurator is een online tool, waarmee je objecten kunt taggen. Je kunt zelfs specifieke delen van een object taggen, zoals details over de vleugels van een bepaalde vogel. Zo krijgen we steeds meer betrouwbare data over objecten. Voor de tests moesten liefhebbers van mode en vogels nog naar Amsterdam komen, maar uiteindelijk moet iedereen vanuit zijn luie stoel kunnen meehelpen aan de inventarisatie van de collectie. We zijn bezig met de laatste technische details, er moeten honderden mensen tegelijkertijd met de tool kunnen werken en dat vergt wat van de techniek.”

Hoe voorkom je dat er onjuiste data wordt verstrekt?
“Via algoritmes wordt bekeken hoe betrouwbaar de input van de specialisten is. Als een persoon steeds bijdragen levert, waar de rest het niet mee eens is, gaan vanzelf alarmbellen rinkelen. Er zijn misschien tweeduizend objecten waar een vogel opstaat, maar slechts een deel is gedigitaliseerd. En we geven niet de hele digitale selectie direct vrij, waardoor meerdere mensen tegelijkertijd aan een schilderij of ander object werken. Het algoritme wordt ook steeds slimmer. Details van vogelkenmerken, zoals de kleur van de veren, worden gecombineerd. Een zwaan ziet er anders uit dan een mus.”

De eerste test van de Accurator was in oktober 2015. Was was het resultaat?
“De vogeldag was geweldig. Vanwege de omvang van de zaal waren we beperkt tot veertig deelnemers, maar ik ben onder de indruk van hun kennis. Ze hadden stapels boeken bij zich. In kleine groepjes werd gediscussieerd. Welke vogel is dit, is het de winterversie of de zomerversie. We merkten dat iedereen een eigen specialisatie had, een van de deelnemers wist bijvoorbeeld heel veel over de kleurverschillen per geslacht. Ze wilden aan het einde van de dag niet stoppen, vroeger om moeilijkere plaatjes en een grotere uitdaging.”

Ook Naturalis, het Instituut voor Beeld en Geluid en de Koninklijke Bibliotheek zijn bij het vogelproject aangehaakt. Wat was hier de reden van?
“Als burger willen we steeds meer informatie. We willen weten welke schilders er door een bepaalde vogel geïnspireerd zijn geraakt. We willen echter ook weten in welke natuurprogramma’s die vogel voorkomt, welke boeken erover geschreven zijn en of het skelet van die vogel in Naturalis aanwezig is. Je moet dus data taggen, koppelen en bundelen.”

Arend en andere vogels door prentenmaker Pieter Schenk (I), naar Francis Barlow. Ets van 133 bij 195 millimeter gemaakt tussen 1675 en 1711.
Rijksmuseum

Over taggen gesproken, iedere curator heeft zijn eigen systeem. Was de metadata van de bibliotheek vergelijkbaar met die van het Rijksmuseum?
“We hebben er veel van geleerd. Iedere partij had eigen formats, een andere manier van taggen, een eigen proces om data te structureren en een ander taalgebruik. In de Accurator moest dat samenkomen. Het gaat om vier soorten van cultureel erfgoed. Een bibliotheek, een kunstmuseum, een wetenschapsmuseum en een beeldarchief. Bij de bibliotheek waren de foto’s bijvoorbeeld nauwelijks getagd, maar waren de lappen tekst doorzoekbaar. In een ideale situatie gebruikt iedere partij dezelfde vorm voor annotaties. Je voert een kernwoord (bijvoorbeeld ‘mus’) in een database in, en krijgt dan hits van alle plekken waar informatie over het gevraagde onderwerp te vinden is.”

Na het project met de vogelspotters is de Accurator ook ingezet bij het _stitch by stitch_-project. Hoe ging dit?
“Opnieuw zijn er veertig specialisten en liefhebbers uitgenodigd, nu om modegerelateerde objecten uit de collecties van het Rijksmuseum en de Modemuze-musea te omschrijven. Sommige kledingstukken en accessoires kent iedereen wel, andere voorwerpen vereisen een deskundige blik. Wat zien we precies? Wat voor mouw is dit? Welke materialen en technieken zijn er gebruikt om dit kledingstuk te maken? 306 schilderijen zijn die dag geïdentificeerd en daar zijn bijna 2000 tags aan toegevoegd. Die tags gaan bijvoorbeeld over accessoires, kantwerk, kostuums.”

Hoe gaat het project nu verder?
“Collectiemanagers kunnen de Accurator gebruiken. Ze kunnen, op basis van hun eigen collectie, specialisten uitnodigen om details in kaart te brengen. Die kunnen straks vanuit hun luie stoel meehelpen om objecten te identificeren. Er zijn tal van subcollecties waar je de Accurator voor kunt gebruiken. Denk bijvoorbeeld aan bloemen, schepen, kastelen, en aan andere dierensoorten. Maar ze kunnen het ook gebruiken om een tentoonstelling te organiseren rondom een heel specifiek onderwerp (bijvoorbeeld Chinese jurken uit een bepaald tijdperk) en objecten van andere musea te lenen.”

De tool is ontwikkeld door COMMIT SealincMedia, een consortium van Nederlandse onderzoekers van de Vrije Universiteit Amsterdam, de TU Delft en het Centrum Wiskunde & Informatica.