Je leest:

Met woorden zoeken in beelden

Met woorden zoeken in beelden

Auteur: | 25 maart 2010

Zoeken in tekst is makkelijk: je typt je zoekterm in en de computer kijkt of dezelfde reeks tekens voorkomt in zijn tekstbestand. Beelden zijn echter niet gemaakt van woorden en dat maakt erin zoeken een stuk moeilijker. De computer heeft zelf geen idee van de inhoud van de filmpjes en afbeeldingen die hij op zijn schijf heeft staan. Gamers kunnen hier verandering inbrengen.

Sinds de komst van zoekmachines zoals Google, is zoeken in tekst een eitje geworden. Je typt simpelweg je zoekterm in en de computer gaat op zoek naar precies die reeks letters in al zijn files. Zoeksystemen die een beetje verstand van taal hebben, kunnen zelfs al met je meedenken en vinden ook teksten waar ‘jeans’ in voorkomt als je op ‘spijkerbroek’ zoekt.

Het vinden van net die ene foto die je zoekt is vaak een stuk moeilijker: de enige woorden van een afbeelding staan in de titel—en meestal bevat die weinig inhoudelijke informatie. ‘Italie057’, was dat nu die ene foto van de Toren van Pisa? Ook makers van televisie-programma’s lopen regelmatig tegen zulke problemen aan. In het archief van Beeld en Geluid ligt ruim 700.000 uur aan film, die lang niet allemaal digitaal zijn. Hoe vinden ze dan dat ene oude fragment dat ze willen draaien in een programma?

Als je zoekt via Google Afbeeldingen op ‘boat’, vindt je alleen afbeeldingen die van de eigenaar het label ‘boat’ hebben meegekregen. De kans dat je plaatjes van boten misloopt, puur omdat ze geen duidelijk label hebben meegekregen, is groot. Meer specifieke zoekopdrachten, zoals ‘boot met zonnende mensen op het dek’, zijn nog problematischer. Dan zou het handig zijn als de computer echt kon zien wat er op de plaatjes stond.

Beeldherkenning

Dit probleem is op twee manieren op te lossen: (1) de computer zou de beelden moeten kunnen herkennen, of (2) aan de beelden zouden woorden (tags_) moeten worden toegevoegd waaruit de inhoud van de beelden is af te leiden. Wetenschappers werken hard aan de eerste oplossing, maar deze techniek7X2GG4 staat nog in haar kinderschoenen. De tweede methode blijkt in de praktijk makkelijker toe te passen. Maar dan moet dus wel iemand alle beelden voorzien van de juiste tags. Dit proces, dat annoteren heet, is nog een hele klus. Als je het hele archief van Beeld en Geluid wil bekijken ben je daar meer dan 80 jaar mee bezig—en dan heb je nog niet eens tijd gehad om te annoteren.

Vorig jaar mei lanceerde Beeld en Geluid daarom samen met de KRO een online spel dat spelers uitnodigt om dit tijdrovende klusje vóór hun te doen. De deelnemers van Waisda? bekijken filmpjes uit het archief van Beeld en Geluid en beschrijven in steekwoorden waar het filmpje over gaat. Wanneer twee spelers ongeveer tegelijkertijd dezelfde tag bij een filmfragment plaatsen, scoren ze punten. Als je genoeg punten behaalt kom je in de highscorelijst te staan.

Altruïsme

Beeld en Geluid onderzoekt samen met de Vrije Universiteit Amsterdam hoe Waisda? zoveel mogelijk waardevolle tags voor hun archief kan binnenhalen. Om te beginnen kan Waisda? niet zonder een grote groep spelers. “Uit onze evaluatie van Waida? blijkt dat spelers meedoen om drie verschillende redenen”, vertelt Maarten Brinkerink, onderzoeker bij Beeld en Geluid. “Ten eerste spelen veel mensen mee uit altruïsme.” De deelnemers weten dat het spel voor een goed doel is en willen daarom graag helpen. “Uit onderzoek blijkt dat spelers die uit altruïsme spelen vaak de meest effectieve groep spelers zijn. Het is dus belangrijk om in het ontwerp van het spel en in de promotie ervan goed naar voren te laten komen dat het ‘werk’ van de spelers waardevol is.”

Spelers van Waisda? geven in steekwoorden aan waar een filmpje over gaat. Deze steekwoorden kunnen programmamakers later gebruiken om tv-fragmenten terug te vinden. Zij zijn de spelers dan ook erg dankbaar!

Vervolgens moeten de filmpjes die de spelers bekijken natuurlijk wel leuk zijn om te zien. “Het is daarom belangrijk om het aanbod steeds te vernieuwen”, aldus Brinkerink. “Ten slotte is het samenspel ook een belangrijke motivatie om Waisda? te spelen. Een constante gemeenschap van spelers is dus van belang.” Middelen als wedstrijden en sociale media (Hyves, Facebook, etc.) zouden kunnen worden ingezet om dit te bereiken.

Goede tags, slechte tags

In iets meer dan 6 maanden tijd voegden 2.296 spelers maar liefst 340.551 tags toe aan 604 filmpjes. “Het oorspronkelijke doel van Waisda? is hiermee ruim gehaald”, aldus Brinkerink. Vervolgens was het zaak om de kwaliteit van de ingevoerde tags te onderzoeken. “Het eerste criterium waar wij—al tijdens het spelen—naar kijken is of spelers elkaars tags bevestigen, door op het zelfde moment (binnen een marge van tien seconden) dezelfde tag toe te voegen. Uit onze evaluatie is gebleken dat dit voor 40% van alle toegevoegde tags het geval is.”

Vervolgens hebben de onderzoekers de tags vergeleken met verschillende woordenlijsten. Hieruit bleek dat bijna 24% van de tags correct Nederlands is en bijna 6% ook voorkomt in de termenlijst die Beeld en Geluid hanteert. Dat lijkt misschien niet zo’n hoge score, maar veel van deze variatie is goed te verklaren. Naast de te verwachten typ- en spelfouten, kwamen veel tags niet in de woordenlijsten voor door het gebruik van meervouden, verkleinwoordjes en werkwoordsvervoegingen. Of juist door het ontbreken van accenten, zoals het trema of de accent aigu. Bovendien merkten de onderzoekers dat veel spelers tags bestaande uit meerdere woorden invoerden, en dat was niet de bedoeling. “Dergelijke onvolkomenheden zouden we in de toekomst graag automatisch willen corrigeren, om zo een hogere overeenkomst tussen spelers onderling en met de woordenlijsten te bereiken”, vertelt Brinkerink.

T.A.G.

Voorlopig werken de ontwikkelaars dus gestaag verder aan Waisda?. Enerzijds om het spel zo leuk mogelijk te maken voor de spelers en anderzijds om de verkregen tags optimaal te kunnen gebruiken in hun archieven. De ontwikkelaars zetten hierbij T.A.G. in: The Annotation Game. “T.A.G. is een prototype waarmee nieuwe functionaliteiten voor Waisda? getest kunnen worden”, legt Brinkerink uit. “Deze nieuwe functionaliteiten zijn gebaseerd op de aanbevelingen die uit de eerste evaluatie zijn voortgekomen. Wanneer proefpersonen tests met dit prototype positief ontvangen, dan kunnen we deze ook in Waisda? integreren.” Na het spelen van TAG kunnen de deelnemers hiervoor een enquête invullen. Naast een hoge score verdienen de deelnemers zo ook nog eens de eeuwige dankbaarheid van de onderzoekers.

Lees verder:

Oeps: Onbekende tag `feed’ met attributen {"url"=>"https://www.nemokennislink.nl/kernwoorden/stevin.atom", “max”=>"3", “detail”=>"normaal"}

Dit artikel is een publicatie van NEMO Kennislink.
© NEMO Kennislink, sommige rechten voorbehouden
Dit artikel publiceerde NEMO Kennislink op 25 maart 2010

Discussieer mee

0

Vragen, opmerkingen of bijdragen over dit artikel of het onderwerp? Neem deel aan de discussie.

NEMO Kennislink nieuwsbrief
Ontvang elke week onze nieuwsbrief met het laatste nieuws uit de wetenschap.