Britse onderzoekers van de Universiteit van Oxford en van Leeds hebben samen software ontwikkeld die zichzelf gebarentaal kan leren. De software maakt hiervoor gebruik van de ondertiteling van tv-programma’s. Na een nauwkeurige analyse van de gebaren van een doventolk, koppelt de computer zijn waargenomen bewegingen aan de woorden uit de ondertiteling. Zo leert hij zichzelf welk gebaar bij welk woord hoort.
Ondertiteling
De onderzoekers hebben eerst een computerprogramma geschreven dat de gebaren van de doventolk kan herkennen. Dit programma kijkt naar de stand van de armen om de locatie van de handen vast te kunnen stellen. Vervolgens gebruikt hij de huidkleurige pixels om de precieze handgebaren te identificeren. Toen de computer zo verschillende soorten gebaren kon herkennen, hebben de onderzoekers hem tien uur lang televisie laten kijken. De computer keek naar programma’s die zowel van ondertiteling als van een doventolk voorzien waren.
De taak die de computer bij het tv-kijken meekreeg, was om 210 woorden (zelfstandige naamwoorden en bijvoeglijke naamwoorden) te herkennen. De software ging daarom op zoek naar de gebaren die de tolk maakte wanneer één van die woorden in de ondertiteling voorkwam. Als niet duidelijk was welk gebaar nu precies bij het woord hoorde, vergeleek de computer de gebaren met de gebaren die de tolk maakte als het woord ergens anders in de ondertiteling voorkwam. Het gebaar dat telkens gemaakt werd als dat woord voorkwam, was hoogstwaarschijnlijk ook het gebaar voor dat woord.
Na tien uur tv-kijken kende de computer 136 van de 210 gebaren, dat is 65 procent. Volgens Everingham, één van de onderzoekers, is dat zeker geen slechte score. “Sommige woorden hebben afhankelijk van de context verschillende gebaren. Zo heeft cutting in ‘cutting a tree’ een ander gebaar dan ‘cutting a rose’.”
Virtuele doventolk
De nieuwe software zou een rol kunnen spelen bij de ontwikkeling van een virtuele doventolk. Verschillende partijen, zoals IBM (zie onderstaand filmpje) en BBC, zijn al langer bezig om zo’n digitale gebarende avatar te ontwikkelen voor de Britse gebarentaal.. Een virtuele doventolk herkent de spraak en vertaalt deze vervolgens naar gebarentaal. Een virtuele doventolk zou ervoor kunnen zorgen dat veel meer programma’s voor doven en slechthorenden te volgen zijn.
Zie ook:
- Artikel in NewScientist
- Kennislinkdossier Doof
- Kennismaking met Nederlandse Gebarentaal
- Computer gaat tv-programma’s ondertitelen
- Beeldmateriaal gebarentaal beschikbaar
- Corpus Nederlandse Gebarentaal
Oeps: Onbekende tag `feed’ met attributen {"url"=>"https://www.nemokennislink.nl/kernwoorden/gebarentaal.atom", “max”=>"5", “detail”=>"normaal"}