Alles op de kaart zetten

In de vorige post had ik het over de hoofdvraag van mijn onderzoek: bestaat er zoiets als een hitformule; een recept waarmee je een pop-hit kan schrijven die in het geheugen blijft hangen als een echte ear worm? Nu komen de eerste resultaten binnen, maar hoe schep je duidelijkheid in de datastroom?

11 augustus 2015

De ‘hitformule’ is moeilijk te meten, maar misschien niet onmogelijk. Wij hebben namelijk in de voorbije twee jaar heel wat gegevens verzameld over hoe snel mensen liedjes herkennen, via onze iOS app Hooked! (web-versie) en onze website HookedOnMusic met muziek uit de Britse hitparade door de jaren heen.

Resultaten!
De afgelopen weken hebben we de eerste analyse van deze gegevens afgerond, en opgeschreven in een paper die deze week online komt. De eerste resultaten zijn dus binnen! Maar wat onderzochten we precies? In deze analyse maken we een kaart van alle muziekfragmenten in onze database. Dit deden we door, eerst en vooral, de verschillende akoestische eigenschappen van de fragmenten door de computer uit te laten rekenen. We focusten daarbij op eigenschappen van de melodie, eigenschappen van de harmonie (de akkoorden, en hoe de melodie zich daartoe verhoudt) en klankkleur of ‘timbre’.

Dimensies
We keken bijvoorbeeld wat voor intervallen, of sprongen tussen de noten van de melodie, er in het fragment voorkomen. Of is er sprake van een ruwe, dissonante textuur? In totaal geeft ons dat een kaart met 10 à 15 dimensies. Een erg ingewikkelde kaart dus, waarin elk muziekfragment wordt weergegeven door een punt met meer dan 10 coördinaten, terwijl de meeste kaarten die jij en ik dagelijks gebruiken er natuurlijk maar 2 hebben (of 3 of 4, zoals hieronder).

Typisch
Toch verrijken we onze data eerst nog verder. We willen namelijk vaak niet per se weten hoeveel van een bepaald soort intervallen er voorkomt, of hoe luid een passage precies is, maar hoe die cijfers zich verhouden tot een grotere context. Zijn er misschien abnormaal veel grote intervallen in een fragment, of is er juist een erg typische akkoordencombinatie? We willen dus weten hoe typisch of atypisch de melodie, harmonie en klankkleur zijn van een fragment X.

Maar hoe zie je dat op een kaart?
Je zou kunnen kijken hoeveel andere fragmenten er dichtbij je fragment X op je 10-dimensionale kaart liggen. Of kijken wat de gemiddelde afstand van X naar de dichtstbijzijnde andere fragmenten is. Of de ‘bevolkingsdichtheid’ in elk vakje van je kaart berekenen (zie de afbeelding hieronder). Dat soort berekeningen vallen onder ‘density estimation’, en hebben we toegepast op onze muzikale data.

bevolkingsdichtheid in Nederland — Bevolkingsdichtheid in Nederland.
Terglobo — http://terglobo.nl/media.html

Groeperen
Door de dataset met deze informatie te verrijken hebben we nu helaas nog meer dimensies aan ons been, wel drie keer zoveel. Gelukkig kunnen we er soms een paar groeperen, wanneer bijvoorbeeld twee van je dimensies bijna hetzelfde meten (luidheid en ‘energie’ bijvoorbeeld) of 2 dimensies steeds samen blijken voor te komen (zoals een atypische melodie en een atypische harmonie). Het groeperen van dimensies is precies wat je doet met Principal Component Analysis, een veelgebruikte statistische procedure.

Dat geeft ons in totaal 12 dimensies die we met de reactietijden uit Hooked! kunnen gaan vergelijken.

De resultaten daarvan… in de volgende blog!

Reageer