In de Nederlandse Liederenbank van het Meertens Instituut zijn ruim 175 duizend Nederlandse liederen terug te vinden, van de middeleeuwen tot de twintigste eeuw. Wie in de databank zoekt op ‘Elf november is de dag’, komt via ‘vergelijkbare melodieën’ terecht bij ‘Daar was laatst een meisje loos’. Die mogelijkheid om naar melodiegelijkenissen te zoeken is de verdienste van Peter van Kranenburg. Hij is computationeel musicoloog en onderzoekt muziek aan de hand van computermodellen.
In 2010 promoveerde hij op een uitlijningsalgoritme. “Dat schrijft de melodieën zo op, dat de overeenkomende noten precies onder elkaar komen te staan”, legt de onderzoeker uit. “Het algoritme zoekt uit op welke plekken ruimte toegevoegd moet worden, zodat de corresponderende delen onder elkaar staan. Hoe meer ruimte, hoe slechter de gelijkenis. Grof gezegd.”
Dit artikel verscheen eerder in de Meertens Nieuwsbrief, een uitgave van het Meertens Instituut.
Neurale netwerken
Er kleeft wel een nadeel aan dit uitlijningsalgoritme, stelt de onderzoeker. Het getal dat eruit komt is niet absoluut te interpreteren. Je kunt er alleen mee sorteren. Daarom liet Van Kranenburg samen met collega’s van het Meertens Instituut en de Universiteit Antwerpen een nieuw model los op de melodieën uit de Liederenbank, gebaseerd op neurale netwerken, die kunstmatige intelligentie mogelijk maken. “Toen ik mijn proefschrift schreef werden neurale netwerken nog niet veel gebruikt. Ze bestonden wel, maar beleefden pas een paar jaar later een doorbraak. Vandaar dat we het nu ook voor muzikale gelijkenis hebben gebruikt.”
Zoals de naam al zegt is dit computermodel gebaseerd op de werking van het menselijk brein. Dat bestaat uit neuronen die aan elkaar gekoppeld zijn. Een neuron krijgt een signaal binnen en stuurt dat weer door naar alle neuronen waaraan het gekoppeld is. Van Kranenburg: “Een neuron in dit model werkt vergelijkbaar: er komen een aantal getallen in en de uitkomst van de berekening stuurt het door naar andere neuronen. Het is een heel simpel bouwsteentje om heel ingewikkelde functies te maken. Maar zo’n neuron moet weten wat het met zijn input moet doen. Dat moet je trainen. En als je een groot neuraal netwerk hebt met duizenden of miljoenen neuronen, dan is het een hele klus. Dat was precies de uitdaging.”
Black box
Om het neurale netwerk te trainen, werden steeds twee melodieën aangeboden. “Je geeft het model ook de informatie mee welke twee wel op elkaar lijken en welke twee niet. En als je dat lang genoeg doet, met heel veel verschillende melodieën, in dit geval zo’n zesduizend, dan hoop je dat zo’n netwerk op een gegeven moment leert wat het betekent dat twee melodieën op elkaar lijken.”
Met het testmateriaal dat het model vervolgens te verwerken kreeg, kon het inderdaad melodiegelijkenissen vinden, met een betrouwbaarheid van 70 tot 80 procent. Iets beter dan het uitlijningsalgoritme. Nog geen grote verbetering dus, maar het laat wel zien dat het model werkt. En dat biedt perspectief voor de toekomst. En nieuwe uitdagingen. Want het neurale netwerkmodel is misschien wel accuraat, voor mensen is het soms moeilijk te interpreteren wat het allemaal doet. Zeker bij een groter netwerk met duizenden neuronen.
“Een neuraal netwerk is een soort black box”, aldus de onderzoeker. “Het is vrijwel onnavolgbaar wat er precies gebeurt. Daar is nu veel aandacht voor in het onderzoek onder de naam ‘explainable AI’. Neem de zelfrijdende auto: als het neurale netwerk dat erin zit iets waarneemt en denkt: dat is niks, maar het was een fietser die omver wordt gereden, wie is dan aansprakelijk? Dus er zitten ook nog allerlei ethische en juridische vragen aan. En je wilt erop kunnen vertrouwen, dus is het begrijpelijk maken van die netwerken een belangrijk onderzoeksgebied. Daar willen we in een volgende stap aan bijdragen door te onderzoeken wat ons netwerk geleerd heeft over melodische gelijkenis.”
Melodieherkenning
En de gebruiker van de Liederenbank, merkt die nog iets als deze nieuwe methode straks geïmplementeerd gaat worden? Waarschijnlijk niet, denkt Van Kranenburg. De belangrijkste aanpassing destijds was dat er een vorm van melodieherkenning in moest komen. De onderzoekers hadden toen nog voor ogen dat je als gebruiker een melodie kon neuriën in de microfoon van je computer, en dat de computer je dan kon vertellen om welk lied het ging.
Die aanpassing is er gekomen, maar dan in de vorm van een klaviertje waar je toetsen op aan kunt slaan. Met menselijk geneurie weet de computer zich nog geen raad: als iemand niet zuiver zingt gaat het al mis. Maar voor de meeste gebruikers werkt dit ook volgens Van Kranenburg. Zelf gaat hij gewoon verder met zijn onderzoek naar melodieën. “De collectie in de liederenbank bestaat uit meer dan 18.000 melodieën. Die aantallen lenen zich uitstekend voor computationeel onderzoek.”
Bron
Karsdorp F, Van Kranenburg P & Manjavacas E. Learning Similarity Metrics for Melody Retrieval, 20th International Society for Music Information Retrieval Conference, Delft, The Netherlands, 2019.