Kirsten van den Bosch over haar werk op het lab van de Sensory Cognition Group

Geen witte jassen, veiligheidsbrillen en pipetjes. Een dagje in het lab ziet er voor mij zo uit:

29 januari 2015

Banana for scale.
Kirsten van den Bosch voor NEMO Kennislink

Veel computers, laptops, headphones en joysticks… Ubuntu draaien in een VM op je Macbook… Je zou haast denken dat we op een soort LAN party zijn, maar we zijn hier geluidsfragmenten aan het annoteren. Annoteren wordt in de Van Dale gedefinieerd als: “van verklarende aantekeningen voorzien”, en dat is precies wat we doen.

We luisteren hier namelijk naar geluidsfragmenten die we verzameld hebben, en voorzien deze van labels of beoordelingen. Dat doen we twee keer, één keer annoteren we de geluidsbronnen en één keer annoteren we op core affect, of stemming.

Het annoteren van geluidsbronnen houdt in dat je naar een fragment luistert en aangeeft wanneer je wat voor soort geluidsbronnen hoort. Dit doen in een tool wat speciaal voor dit doeleinde is gemaakt door de Sensory Cognition Group. En die ziet er zo uit:

Speciaal ontwikkelde tool voor het specificeren van geluidsbronnen.
Kirsten van den Bosch voor NEMO Kennislink

Met behulp van de joysticks annoteren we de geluidsfragmenten vervolgens op core affect. Uit onderzoek blijkt dat mensen geluidsomgevingen beoordelen op basis van de plezierigheid en gebeurtenisrijkheid. Deze twee kenmerken kun je afbeelden op een horizontale en verticale as, en als je deze kruist ontstaat er een soort cirkel waarbinnen alle soorten geluidsomgevingen te definiëren zijn. De joysticks helpt je om binnen deze cirkel te navigeren en zo aan te geven hoe je het geluidsfragment ervaart.

Deze annotaties gebruiken we bij Kunstmatige Intelligentie om modellen en neurale netwerken te trainen, die ons uiteindelijk in staat stellen om de beoordeling van geluidsomgevingen te voorspellen. En daarvoor zijn weer tal van toepassingen te bedenken die we hopelijk binnenkort in de praktijk kunnen brengen.