Je leest:

Computer leert gebarentaal van tv

Computer leert gebarentaal van tv

Auteur: | 9 juli 2009

Een virtuele doventolk die automatisch de programma’s voor de dove kijkers gebaart. Met nieuw ontwikkelde software lijkt het in de toekomst mogelijk te zijn. De software analyseert de gebaren van een menselijke doventolk en koppelt deze aan de ondertiteling. Zo leert hij zichzelf gebarentaal.

Britse onderzoekers van de Universiteit van Oxford en van Leeds hebben samen software ontwikkeld die zichzelf gebarentaal kan leren. De software maakt hiervoor gebruik van de ondertiteling van tv-programma’s. Na een nauwkeurige analyse van de gebaren van een doventolk, koppelt de computer zijn waargenomen bewegingen aan de woorden uit de ondertiteling. Zo leert hij zichzelf welk gebaar bij welk woord hoort.

Ondertiteling

De onderzoekers hebben eerst een computerprogramma geschreven dat de gebaren van de doventolk kan herkennen. Dit programma kijkt naar de stand van de armen om de locatie van de handen vast te kunnen stellen. Vervolgens gebruikt hij de huidkleurige pixels om de precieze handgebaren te identificeren. Toen de computer zo verschillende soorten gebaren kon herkennen, hebben de onderzoekers hem tien uur lang televisie laten kijken. De computer keek naar programma’s die zowel van ondertiteling als van een doventolk voorzien waren.

De taak die de computer bij het tv-kijken meekreeg, was om 210 woorden (zelfstandige naamwoorden en bijvoeglijke naamwoorden) te herkennen. De software ging daarom op zoek naar de gebaren die de tolk maakte wanneer één van die woorden in de ondertiteling voorkwam. Als niet duidelijk was welk gebaar nu precies bij het woord hoorde, vergeleek de computer de gebaren met de gebaren die de tolk maakte als het woord ergens anders in de ondertiteling voorkwam. Het gebaar dat telkens gemaakt werd als dat woord voorkwam, was hoogstwaarschijnlijk ook het gebaar voor dat woord.

Na tien uur tv-kijken kende de computer 136 van de 210 gebaren, dat is 65 procent. Volgens Everingham, één van de onderzoekers, is dat zeker geen slechte score. “Sommige woorden hebben afhankelijk van de context verschillende gebaren. Zo heeft cutting in ‘cutting a tree’ een ander gebaar dan ‘cutting a rose’.”

Virtuele doventolk

De nieuwe software zou een rol kunnen spelen bij de ontwikkeling van een virtuele doventolk. Verschillende partijen, zoals IBM (zie onderstaand filmpje) en BBC, zijn al langer bezig om zo’n digitale gebarende avatar te ontwikkelen voor de Britse gebarentaal.. Een virtuele doventolk herkent de spraak en vertaalt deze vervolgens naar gebarentaal. Een virtuele doventolk zou ervoor kunnen zorgen dat veel meer programma’s voor doven en slechthorenden te volgen zijn.

Zie ook:

Oeps: Onbekende tag `feed’ met attributen {"url"=>"https://www.nemokennislink.nl/kernwoorden/gebarentaal.atom", “max”=>"5", “detail”=>"normaal"}

Dit artikel is een publicatie van NEMO Kennislink.
© NEMO Kennislink, sommige rechten voorbehouden
Dit artikel publiceerde NEMO Kennislink op 09 juli 2009

Discussieer mee

0

Vragen, opmerkingen of bijdragen over dit artikel of het onderwerp? Neem deel aan de discussie.

NEMO Kennislink nieuwsbrief
Ontvang elke week onze nieuwsbrief met het laatste nieuws uit de wetenschap.