Je leest:

Kijken met je oren

Kijken met je oren

Auteur: | 4 augustus 2011

Het ‘op de tast’ herkennen van een teddybeer gaat blinden gemakkelijk af, maar wat als de beer twee meter verderop ligt? Voor zulk soort situaties is ‘The vOICe’ ontwikkeld. Het systeem zet beeld om in geluid, zodat je geen ogen nodig hebt om je omgeving toch te kunnen zien.

vOICe

De letters ‘OIC’ zijn niet zonder reden met een hoofdletter geschreven, spreek ze maar eens uit in het Engels: ‘Oh, I see!’

Een oude techniek in een nieuw jasje. Peter Meijer (destijds onderzoeker bij Philips Research) ontwikkelde begin jaren ’90 een techniek genaamd The vOICe, een beeld-naar-geluid-systeem. De laatste jaren krijgt het steeds meer aandacht. Dat komt omdat de technologie van tegenwoordig de toepassing een stuk makkelijker maakt. Maar eerst even terug naar het oorspronkelijke idee.

Van beeld naar geluid

De techniek is bedacht als hulpmiddel voor blinden. In plaats van zijzelf, kijkt een camera naar de omgeving en die vertaalt het beeld naar een geluidssignaal. Daarvoor maakt het systeem elke seconde een foto (in grijswaarden) en loopt die langs van links naar rechts. Per beeldlijn (een enkele kolom van pixels) wordt een geluidje gemaakt. Elke pixel doet hierin mee: de verticale positie bepaalt de toonhoogte en de helderheid bepaalt de geluidssterkte. Voor een foto van twaalf beeldlijnen breed en acht beeldlijnen hoog, maakt het systeem dus twaalf geluidjes die elk bestaan uit acht klanken. Die twaalf geluidjes worden achter elkaar afgespeeld, precies in die ene seconde voordat een nieuwe foto wordt gemaakt.

Het vertalingsprincipe: elke pixel van elke beeldlijn wordt vertaald naar een geluidssignaal. Samen vormen die een geluid dat deze foto representeert.

Je zou misschien zeggen dat dit een raar geluid oplevert, maar dat valt mee. Als je bijvoorbeeld in de tuin loopt en een stoel ziet staan, dan staat de stoel laag in beeld. De pixels van de stoel op de foto geven dus een laag geluid af. Zo’n lage klank associeer je automatisch met ‘laag in beeld’. Kijk maar naar onderstaande filmpje:

Toch is het geluid van een beeld uit de omgeving meestal nog wel complex; er is tenslotte veel te zien. Op den duur leer je echter wel bepaalde elementen herkennen, net als bij een taal. Voor het gebruik van The vOICe zal een blinde die ‘beeldgeluidtaal’ onder de knie moeten krijgen door zichzelf te trainen in het herkennen van geluidspatronen.

In de hersenen

Synesthesie

Zintuigvervanging is een soort ‘synesthesie op commando’. Mensen met synesthesie koppelen een waarneming van het ene zintuig aan een niet-bestaande waarneming van een ander zintuig. Je ziet bijvoorbeeld een kleur als je een geluid hoort. Bij zintuigvervanging zou zoiets ook moeten gebeuren: je hoort een geluid en ‘ziet’ daarbij een bepaald beeld.

Studies laten zien dat het systeem redelijk werkt, maar het hoe en waarom begrijpen onderzoekers nog niet helemaal.

Michael Proulx, een neurowetenschapper van Queen Mary University of London, gaat het systeem deze week presenteren tijdens de American Psychological Association Convention in Washington. Hij verdiept zich in de neurologische kant van het verhaal: kijken doen we namelijk niet zozeer met onze ogen, als wel met onze hersenen.

Proulx onderzoekt hoe we informatie die we normaal gesproken binnenkrijgen via onze ogen, binnen kunnen krijgen via een ander zintuig. Dit heet sensory substitution (zintuigvervanging). In dit geval gaat het erom dat iemand zonder het zintuig ‘gezichtsvermogen’ de ontbrekende informatie ontvangt via het zintuig ‘gehoor’.

Hoewel The vOICe redelijk lijkt te slagen in zintuigvervanging, geeft Proulx aan dat er nog de nodige uitdagingen liggen. Bijvoorbeeld bij het aspect ‘aandacht’. Als we kijken, krijgen we veel meer informatie binnen dan we kunnen verwerken. Daar zijn we op ingesteld: we maken een selectie en richten daar onze aandacht op. Datzelfde gebeurt bij horen, maar de selectieprocedure verschilt. Dat betekent dat het geluid van een beeld iets anders oplevert in ons hoofd dan het oorspronkelijke beeld. Bij het echte beeld zouden we onze aandacht bijvoorbeeld richten op de naderende auto, maar bij het geluid van dat beeld letten we vooral op de strepen van de zebra. Dat kan een cruciaal verschil zijn.

Met een headset

Tijdens zijn demonstratie zal Proulx gebruik maken van een camerabril, dat is een (zonne)bril waar een minuscule camera is ingebouwd. Dat apparaat is een belangrijke reden dat The vOICe nu weer in de belangstelling staat. Vijftien jaar geleden bestonden die nog niet, of ze waren in ieder geval niet zo handzaam. Nu dat wel het geval is, wordt het voor consumenten gemakkelijker The vOICe te gebruiken.

In de bril is een camera verwerkt die je vrijwel niet ziet. De beelden worden doorgegeven aan een laptop, die je in een rugzak bij je kunt dragen. Twee ‘oortjes’ (luidsprekertjes) zorgen voor het geluid.

Maar ook met een mooie bril blijven de geluiden complex en er zijn nog geen trainingsprogramma’s die blinden hierbij helpen. De software is echter wel gratis, dus met het nodige doe-het-zelf-werk kun je het systeem aan de praat krijgen. Daarbij blijkt ‘beeldluisteren’ in de praktijk vrij snel aan te leren als de situatie niet al te ingewikkeld is. Het oppakken van een voorwerp van tafel, waarbij het contrast (verschil in helderheid) groot is, is bijvoorbeeld goed te doen.

Bronnen

Zie ook:

Lees meer over beeldverwerking op Kennislink:

Oeps: Onbekende tag `feed’ met attributen {"url"=>"https://www.nemokennislink.nl/kernwoorden/beeldverwerking/index.atom?m=of", “max”=>"6", “detail”=>"minder"}

Dit artikel is een publicatie van NEMO Kennislink.
© NEMO Kennislink, sommige rechten voorbehouden
Dit artikel publiceerde NEMO Kennislink op 04 augustus 2011

Discussieer mee

0

Vragen, opmerkingen of bijdragen over dit artikel of het onderwerp? Neem deel aan de discussie.

NEMO Kennislink nieuwsbrief
Ontvang elke week onze nieuwsbrief met het laatste nieuws uit de wetenschap.