Je leest:

Supersnel zoeken op beeld

Supersnel zoeken op beeld

Auteur: | 2 oktober 2012

De overvloed aan video- en fotobestanden op harde schijven, servers en het internet is niet meer te doorgronden. Daarom is er vraag naar snelle en gerichte mediazoekmachines. Bij de Universiteit van Amsterdam zijn er twee gebouwd, ‘MeRDES’ en de ‘MediaMill Semantic Video Search Engine’, beiden met een eigen aanpak.

Zoekmachine baby cees snoek uva
Zoeken op een anonieme baby in de mediatheek van een grote kraamafdeling… Met de ‘MediaMill’ van Cees Snoek van de UvA een fluitje van een cent?
Cees Snoek, UvA

Om media snel en grondig te kunnen doorzoeken ontwikkelde promovendus Marc Bron van de Universiteit van Amsterdam met een internationaal team de zoekapplicatie MeRDES (Media Researchers Data Exploration Suite). Hiermee kunnen uitkomsten van zoekopdrachten in mediarijke archieven (zoals de Dienst Beeld & Geluid in Hilversum) snel met elkaar vergeleken worden. De uitkomsten van het onderzoek worden gepresenteerd op de internationale conferentie voor Information Retrieval (SigIR).

Informaticus Cees Snoek (ook UvA) bouwde met een onderzoeksteam een slimme zoekmachine voor digitale video. Met zijn ‘MediaMill Semantic Video Search Engine’ maakte hij nationaal en internationaal furore. Hij ontvangt er eind oktober een grote ICT-prijs voor. Hoe werken beide mediazoekmachines, waar jagen ze op?

6962251308 c80b2142a4 k
Hoe herkennen we de artiest in een concertopname; aan zijn silhouet, kleding, beweging, dans…?

MerRDES; eerst overzicht

De UvA-onderzoekers onder leiding van promovendus Marc Bron analyseerden het zoekgedrag van menselijke professionele beeldzoekers. Dit leidde tot inzicht in een zoekgedrag met twee almaar terugkerende fasen: ontdekken en verwerken. Eerst wordt data naar boven gehaald (ontdekken). Daarna wordt de zoekvraag verder aangescherpt en ‘dieper’ gezocht. Na een vondst ontstaan nieuwe zoekprocessen in specifieke, nog onbekende richtingen. Het is een slingerbeweging van ontdekken en verwerken.

Op basis van deze werkanalyse bouwde het onderzoeksteam een interface die media researchers helpt bij het in kaart brengen van een complex onderzoeksonderwerp. Het idee? De zoekmachine MeRDES filtert en gebruikt visualisaties. Een tijdbalk biedt houvast. Overlapping van meerdere benaderingen komt snel in beeld. Je googlet niet meer van hot naar her, maar verkent eerst met zoekwoorden het hele onderwerp door de visualisaties op je in te laten werken. Dat is wat Marc en zijn team een zoekmachine met researchinterface noemen.

Yt mediabeeld met playknop
Wie archiveert er? Hoe krijgen we de inhoud van het interview boven water..?
YT

Associëren en visualiseren

Door visualisaties (statistieken, tijdsbalken) krijgen onderzoekers een indruk van het onderzoeksveld. Door meerdere zoekwoorden in te voeren worden bruikbare verbanden in beeld gebracht. In combinatie met een tijdbalk geeft de zoekmachine een ‘preview’, een eerste indruk die licht werpt op het onderzoeksonderwerp.

Zo kan de opkomst van het fenomeen ‘migrant’ vergeleken worden met het gebruik van de term ‘vreemdeling’. Die vergelijkingsfunctie biedt ondersteuning bij het verkennen van grote archieven en het Worldwideweb (www). Deze functionaliteit – het naast elkaar kunnen vergelijken van resultaten – helpt onderzoekers op weg. Bekijk de demo van de zoekmachine.

Marc Bron over zijn zoekmachine: “Onderzoekers kunnen vaak pas na het verzamelen alles in detail doorlopen. Daarna gaan ze opnieuw data verzamelen. Dat is tijdrovend. Door tijdens het zoeken al een initiële analyse met vergelijkingen te doen, kan al in een vroeg stadium worden besloten of er genoeg relevant materiaal beschikbaar is en kunnen direct verschillende hypotheses worden uitgeprobeerd. Extra zoekwinst is dat gebruikers aanvullende zoekvragen kunnen formuleren en meer documenten kunnen opslaan dan met een standaard exploratieve interface.”

Dubbel
De dubbele zoekmachine van MerDES (links en rechts) met visualisatie in het midden en bookmarks onderin. Lange saaie lijsten maken plaats voor zichtbare ‘hits’.
YT

Per bron kunnen zoekresultaten opgeslagen worden, waarmee het zoekpad later opnieuw bewandeld kan worden. Door tags in te schakelen kunnen thema’s opgeroepen of teruggedrongen worden. Het programma markeert bij dubbele zoekopdracht overeenkomstige woorden.

MediaMill Semantic Video Search Engine

Het beschrijven van alle beelden om ze beter doorzoekbaar te maken is helaas ondoenlijk en onbetaalbaar. Daarom bouwde informaticus Cees Snoek met een onderzoeksteam een slimme zoekmachine voor de wereld van TV en digitale video. Hij maakt internationaal furore met zijn ‘MediaMill Semantic Video Search Engine’. Hij verwerkte in de machine manieren om beeldpixels in woorden te vertalen.

Cees snoek 1
Informaticus Cees Snoek.
UvanA Cees Snoek

Videobeelden zijn onmogelijk allemaal te beschrijven. Bij een zoekactie van Snoek worden beelden gescand. Ingebouwde patroonherkenning gaat op zoek naar personen, objecten, scènes en interactie.

Cees Snoek zegt over het verschil met MeRDES: “Met de zoekmachine vertalen we plaatjes in tekst. Op zoek naar patronen en objecten analyseert de machine alle beelden op kenmerken van vorm, textuur, kleur enzovoort. Die kenmerken hebben op zichzelf nog niet zoveel betekenis. Met door mensen geelecteerde voorbeelden leert de zoekmachine welke combinatie van kenmerken het meest onderscheidend is voor een koe, een boot, een strandscène…”

Semantische kloof overbruggen

De kloof tussen beeld en inhoud die Snoek en zijn team willen oplossen staat bekend als het semantische gat; de wereld van verschil tussen de rijke menselijke waarneming en de vaak knullige samenvattingen in tekst die leiden tot magere zoekmachineresultaten. Wetenschappers in het algemeen proberen het semantische gat op allerlei manieren te dichten; met uitgeschreven tekst, spraakherkenning, het plaatsen van labels en het beschrijven van voorbeelden.

Snoek kiest met zijn team voor het een visuele benadering. Alles beschrijven is onmogelijk. Met automatische beeldherkenning en wat rekenkracht zijn grote archieven toch snel te doorgronden. Je typt een zoekwoord in en krijgt alle beelden die aan het visuele concept voldoen als antwoord retour. Het ‘ontwaren’ van visuele concepten in de enorme multimediaberg is een immense opdracht, maar daar is de machine voor gebouwd. Voor het vinden van video is de beeldenstroom van een Pinkpopevenement al eens door de zeef gehaald.

Miljoenen beelden

De zoekmachine van MediaMill duikt moeiteloos in een berg van honderdduizend tot miljoenen beelden. Hij zoekt naar beeldpatronen, vormen, kleur, objecten. Alleen het meest opmerkelijke camerastandpunt benoemen is niet genoeg. Incidentele uitzonderingen worden in de zoekactie zoveel mogelijk buitengesloten. Daarna is het een kwestie van ordenen, benoemen en rapporteren.

Een uitdagend zoekprobleem voor Snoek en zijn researchers? Meerdere Amerikaanse vlaggen in beeld opzoeken is makkelijk als de vlaggen in de beeldberg plat op een tafel liggen, gelijk belicht zijn en hetzelfde contrast hebben. Maar vlaggen zijn helemaal geen strakke objecten; ze wapperen in de wind. Daarom moet de machine het hebben van zijn slimheid. Hij zoekt specifiek naar ‘wapperpatronen’ om alle vlaggen boven te halen. Echt moeilijke zoekopdrachten? ‘Mobieltje’ en ‘persoon’, dat zijn zoekkluiven van jewelste. Die komen zo vaak voor…

Bronnen:

Zie ook:

Dit artikel is een publicatie van NEMO Kennislink.
© NEMO Kennislink, sommige rechten voorbehouden
Dit artikel publiceerde NEMO Kennislink op 02 oktober 2012

Discussieer mee

0

Vragen, opmerkingen of bijdragen over dit artikel of het onderwerp? Neem deel aan de discussie.

NEMO Kennislink nieuwsbrief
Ontvang elke week onze nieuwsbrief met het laatste nieuws uit de wetenschap.