De afgelopen jaren hebben drie promovendi van de TU Delft onderzoek gedaan naar gebarentaal. Op basis hiervan ontwikkelden ze in samenwerking met NSDSK een computer die gebarentaal kan herkennen. De computer kan dove en slechthorende kinderen helpen om gebarentaal te leren.

Ruis in beeld

Een spraakherkenner werkt het best als er naast spraak zo min mogelijk andere geluiden op de opname staan. Dat zou namelijk de herkenning verstoren, omdat de computer niet weet wat spraak is en wat niet. Ook bij de automatische herkenning van gebarentaal kan zulke ruis flink in de weg staan: de computer moet precies zien wat handen zijn en de rest van het beeld niet meenemen in zijn analyse. Bovendien moet hij alleen betekenisvolle gebaren herkennen en dus niet van slag raken als iemand even een pluk haar achter zijn oor duwt.

Voor onderzoekers proberen om computers zulke taken te leren, kijken ze altijd eerst heel nauwkeurig naar hoe mensen de taken precies uitvoeren. Jeroen Arendsen: ‘Er is eigenlijk nog heel weinig bekend over de perceptie van gebarentaal. Het doel van dit onderzoek was dan ook het uitbreiden van onze kennis over de menselijke waarneming van gebaren. Het blijkt bijvoorbeeld dat gebarentaalgebruikers na het begin van een handbeweging slechts een kort gedeelte hoeven te zien om te weten dat het een gebaar is en wat het betekent.’

Gefrunnik

Deze inzichten konden de onderzoekers vervolgens gebruiken om technologie te ontwikkelen die automatisch gebaren herkent. Het enige wat ze hiervoor nodig hadden waren camera’s en computers. Voor deze nieuwe technologie vonden ze vervolgens ook al snel een praktische toepassing: de Elektronische Leeromgeving (ELo) voor dove en slechthorende kinderen.

Een doof meisje oefent gebarentaal met de ELo. De computer controleert of ze het juiste gebaar maakt voor de afbeelding op het scherm.

In samenwerking met de NSDSK ontwikkelden de Delftenaren een computer die real time gebaren kan herkennen en daardoor kan worden gebruikt om dove en slechthorende kinderen sneller nieuwe gebaren te leren. De kinderen, tussen de drie en zes jaar oud, moesten het juiste gebaar maken bij een afbeelding op het scherm. De computer beoordeelde vervolgens of zij dit goed hadden gedaan. Arendsen: ‘En dat is behoorlijk moeilijk, want een computer raakt bijvoorbeeld veel makkelijker in de war van irrelevant gefrunnik dan mensen.’

Gebarenschat

Uit nader onderzoek bleek dat de Elektronische Leeromgeving ook echt werkt. De ‘gebarenschat’ van de kinderen die ermee hadden geoefend, nam meer toe dan bij een controlegroep. Dit gold overigens alleen voor de wat oudere kinderen. Of de ELo ook daadwerkelijk in de praktijk zal worden toegepast, is volgens Arendsen nog onzeker. ‘Dit hangt onder meer af van financiële en organisatorische zaken.’

Lees verder:

• Over automatische gebarenherkenning (Engels TU Delft)
• Computer leert gebarentaal van tv (Kennislinkartikel)
• Dossier Doof (Kennislink)
• Corpus Nederlandse Gebarentaal
• Beeldmateriaal gebarentaal online (Kennislink)

Oeps: Onbekende tag `feed’ met attributen {"url"=>"https://www.nemokennislink.nl/kernwoorden/gebarentaal.atom", “max”=>"3", “detail”=>"normaal"}