Om media snel en grondig te kunnen doorzoeken ontwikkelde promovendus Marc Bron van de Universiteit van Amsterdam met een internationaal team de zoekapplicatie MeRDES (Media Researchers Data Exploration Suite). Hiermee kunnen uitkomsten van zoekopdrachten in mediarijke archieven (zoals de Dienst Beeld & Geluid in Hilversum) snel met elkaar vergeleken worden. De uitkomsten van het onderzoek worden gepresenteerd op de internationale conferentie voor Information Retrieval (SigIR).
Informaticus Cees Snoek (ook UvA) bouwde met een onderzoeksteam een slimme zoekmachine voor digitale video. Met zijn ‘MediaMill Semantic Video Search Engine’ maakte hij nationaal en internationaal furore. Hij ontvangt er eind oktober een grote ICT-prijs voor. Hoe werken beide mediazoekmachines, waar jagen ze op?
MerRDES; eerst overzicht
De UvA-onderzoekers onder leiding van promovendus Marc Bron analyseerden het zoekgedrag van menselijke professionele beeldzoekers. Dit leidde tot inzicht in een zoekgedrag met twee almaar terugkerende fasen: ontdekken en verwerken. Eerst wordt data naar boven gehaald (ontdekken). Daarna wordt de zoekvraag verder aangescherpt en ‘dieper’ gezocht. Na een vondst ontstaan nieuwe zoekprocessen in specifieke, nog onbekende richtingen. Het is een slingerbeweging van ontdekken en verwerken.
Op basis van deze werkanalyse bouwde het onderzoeksteam een interface die media researchers helpt bij het in kaart brengen van een complex onderzoeksonderwerp. Het idee? De zoekmachine MeRDES filtert en gebruikt visualisaties. Een tijdbalk biedt houvast. Overlapping van meerdere benaderingen komt snel in beeld. Je googlet niet meer van hot naar her, maar verkent eerst met zoekwoorden het hele onderwerp door de visualisaties op je in te laten werken. Dat is wat Marc en zijn team een zoekmachine met researchinterface noemen.
Associëren en visualiseren
Door visualisaties (statistieken, tijdsbalken) krijgen onderzoekers een indruk van het onderzoeksveld. Door meerdere zoekwoorden in te voeren worden bruikbare verbanden in beeld gebracht. In combinatie met een tijdbalk geeft de zoekmachine een ‘preview’, een eerste indruk die licht werpt op het onderzoeksonderwerp.
Zo kan de opkomst van het fenomeen ‘migrant’ vergeleken worden met het gebruik van de term ‘vreemdeling’. Die vergelijkingsfunctie biedt ondersteuning bij het verkennen van grote archieven en het Worldwideweb (www). Deze functionaliteit – het naast elkaar kunnen vergelijken van resultaten – helpt onderzoekers op weg. Bekijk de demo van de zoekmachine.
Marc Bron over zijn zoekmachine: “Onderzoekers kunnen vaak pas na het verzamelen alles in detail doorlopen. Daarna gaan ze opnieuw data verzamelen. Dat is tijdrovend. Door tijdens het zoeken al een initiële analyse met vergelijkingen te doen, kan al in een vroeg stadium worden besloten of er genoeg relevant materiaal beschikbaar is en kunnen direct verschillende hypotheses worden uitgeprobeerd. Extra zoekwinst is dat gebruikers aanvullende zoekvragen kunnen formuleren en meer documenten kunnen opslaan dan met een standaard exploratieve interface.”
Per bron kunnen zoekresultaten opgeslagen worden, waarmee het zoekpad later opnieuw bewandeld kan worden. Door tags in te schakelen kunnen thema’s opgeroepen of teruggedrongen worden. Het programma markeert bij dubbele zoekopdracht overeenkomstige woorden.
MediaMill Semantic Video Search Engine
Het beschrijven van alle beelden om ze beter doorzoekbaar te maken is helaas ondoenlijk en onbetaalbaar. Daarom bouwde informaticus Cees Snoek met een onderzoeksteam een slimme zoekmachine voor de wereld van TV en digitale video. Hij maakt internationaal furore met zijn ‘MediaMill Semantic Video Search Engine’. Hij verwerkte in de machine manieren om beeldpixels in woorden te vertalen.
Videobeelden zijn onmogelijk allemaal te beschrijven. Bij een zoekactie van Snoek worden beelden gescand. Ingebouwde patroonherkenning gaat op zoek naar personen, objecten, scènes en interactie.
Cees Snoek zegt over het verschil met MeRDES: “Met de zoekmachine vertalen we plaatjes in tekst. Op zoek naar patronen en objecten analyseert de machine alle beelden op kenmerken van vorm, textuur, kleur enzovoort. Die kenmerken hebben op zichzelf nog niet zoveel betekenis. Met door mensen geelecteerde voorbeelden leert de zoekmachine welke combinatie van kenmerken het meest onderscheidend is voor een koe, een boot, een strandscène…”
Semantische kloof overbruggen
De kloof tussen beeld en inhoud die Snoek en zijn team willen oplossen staat bekend als het semantische gat; de wereld van verschil tussen de rijke menselijke waarneming en de vaak knullige samenvattingen in tekst die leiden tot magere zoekmachineresultaten. Wetenschappers in het algemeen proberen het semantische gat op allerlei manieren te dichten; met uitgeschreven tekst, spraakherkenning, het plaatsen van labels en het beschrijven van voorbeelden.
Snoek kiest met zijn team voor het een visuele benadering. Alles beschrijven is onmogelijk. Met automatische beeldherkenning en wat rekenkracht zijn grote archieven toch snel te doorgronden. Je typt een zoekwoord in en krijgt alle beelden die aan het visuele concept voldoen als antwoord retour. Het ‘ontwaren’ van visuele concepten in de enorme multimediaberg is een immense opdracht, maar daar is de machine voor gebouwd. Voor het vinden van video is de beeldenstroom van een Pinkpopevenement al eens door de zeef gehaald.
Miljoenen beelden
De zoekmachine van MediaMill duikt moeiteloos in een berg van honderdduizend tot miljoenen beelden. Hij zoekt naar beeldpatronen, vormen, kleur, objecten. Alleen het meest opmerkelijke camerastandpunt benoemen is niet genoeg. Incidentele uitzonderingen worden in de zoekactie zoveel mogelijk buitengesloten. Daarna is het een kwestie van ordenen, benoemen en rapporteren.
Een uitdagend zoekprobleem voor Snoek en zijn researchers? Meerdere Amerikaanse vlaggen in beeld opzoeken is makkelijk als de vlaggen in de beeldberg plat op een tafel liggen, gelijk belicht zijn en hetzelfde contrast hebben. Maar vlaggen zijn helemaal geen strakke objecten; ze wapperen in de wind. Daarom moet de machine het hebben van zijn slimheid. Hij zoekt specifiek naar ‘wapperpatronen’ om alle vlaggen boven te halen. Echt moeilijke zoekopdrachten? ‘Mobieltje’ en ‘persoon’, dat zijn zoekkluiven van jewelste. Die komen zo vaak voor…
Bronnen:
- Marc Bron e.a., A Subjunctive Exploratory Search Interface to Support Media Studies Researchers, SIGIR ’12: 35th international ACM SIGIR conference on Research and development in information retrieval.
- Cees Snoek e.a, MediaMill Semantic Video Search Engine
Zie ook:
- Met ‘Boer zoekt vrouw’ de semantische kloof overbruggen.
- Een voorbeeldproject van de MediaMill van Cees Snoek was Hollands Glorie op Pinkpop.