Audio d-touch.

d-touch

We leven tegenwoordig in twee werelden: de echte en cyberspace. Onderzoekers van de University of Southampton (en met hen nog vele anderen) streven ernaar de grens tussen die werelden te vervagen.

Nu moeten we speciale technieken aanleren om op de computer iets uit te voeren. Zonde, vinden de onderzoekers. Ze wijzen er bijvoorbeeld op dat mensen van nature goed zijn in het vastpakken en hanteren van objecten. Als je zorgt dat je die vaardigheid ook kunt benutten in cyberspace, wordt het leven daar een stuk gemakkelijker.

Zo ontstond het idee voor Audio d-touch, een computersysteem om muziek mee te maken; alleen dan zonder muis, toetsenbord of monitor. Onder het toeziend oog van een webcam produceer je geluid door blokjes met symbolen op een vlak te verplaatsen. Dr. Enrico Costanza van de University of Southampton bedacht het systeem, en deze week presenteerde zijn onderzoeksteam de nieuwste versie.

Tastbare digitale informatie

Audio d-touch is een zogenaamde tangible user interface (TUI). Een user interface (UI) is de link tussen een systeem en de gebruiker. Bij een computerprogramma is dat bijvoorbeeld het venster met de informatie en de knoppen. Aangezien dat grafische elementen zijn (de knoppen zijn getekend), heet zo’n interface ook wel graphical user interface (GUI). Audio d-touch daarentegen is niet getekend, maar bestaat uit tastbare objecten. Vandaar de aanduiding tangible, wat ‘tastbaar’ betekent.

Een typisch voorbeeld van een TUI is een ouderwets telraam, waarbij je kralen heen en weer schuift om een som uit te rekenen. De kralen en het schuiven zijn tastbare representaties van iets virtueels (de getallen en de rekensom). Er is hierdoor geen onderscheid tussen invoer en uitvoer, zoals je dat wel hebt bij een muis en een computer.

Links het principe van een GUI: de digitale informatie (het model) kun je via een muis besturen (controle) en bekijken via de monitor (weergave). Er is een strikte scheiding tussen in- en uitvoer. Rechts het principe van een TUI: de digitale informatie (het model) wordt gerepresenteerd door tastbare en niet-tastbare objecten die je direct kunt manipuleren. Er is geen onderscheid tussen in- en uitvoer.

Ulmer en Ishii, 2000

Bij het telraam werk je direct met het daadwerkelijke systeem en heb je geen ‘tussenstation’ met daarbij een eventuele ‘vertaling’ nodig. Dat maakt een TUI bijzonder. Natuurlijk zijn een muis en een keyboard ook tastbare objecten, maar ze maken geen deel uit van de user interface. Het zijn middelen om de interface mee te bedienen.

Aan de slag

Om geluid te produceren met Audio d-touch, heb je een paar dingen nodig. Een computer (met daarop het drumstelprogramma), speakers, een webcam, een speelbord en blokjes met symbolen. Die laatste twee items hoef je niet speciaal te kopen: de onderzoekers hebben het allemaal zo gemaakt dat je er met een beetje doe-het-zelven wel uitkomt. Op hun site vind je pdf-bestanden die je gratis kunt downloaden. Dat zijn in feite bouwtekeningen. Je print ze uit en knutselt vervolgens zelf de blokjes in elkaar. Het speelbord – wat officieel ‘het interactieve vlak’ heet – is niets anders dan een A4-tje met een patroon erop.

Componeren doe je op het speelveld. Als je bijvoorbeeld wilt beginnen en eindigen met een slag op de snare drum, zet je in rij twee een blokje in de eerste en laatste kolom.

d-touch

Nu kun je gaan componeren door blokjes op het speelbord te plaatsen. De locatie bepaalt de muziek: de rij correspondeert met een bepaald druminstrument en de kolom geeft aan wanneer je dat instrument hoort. Het programma speelt voortdurend van links naar rechts af wat jij op het speelbord hebt neergezet.

Informatieve symbolen

De kern van het drumsysteem is het herkennen van wat er op het speelbord staat. Dat doet het programma (het d-touch-gedeelte) aan de hand van de symbolen op de blokjes, en de positie van de blokjes op het speelbord. Die symbolen staan vast, want je print ze zo uit, maar oorspronkelijk werd d-touch ontwikkeld om gebruikers zélf herkenningssymbolen te laten ontwerpen.

Ook leuk voor ons

Herkenningstekens, zoals streepjescodes of QR-codes, bevatten alleen informatie voor het apparaat dat ze scant; het teken zegt ons niets. De QR-code hiernaast zou net zo goed naar een bloemenwinkel kunnen verwijzen als naar een dierentuin. Een herkenbaar symbool zou echter direct informatief zijn en meer aanspreken. Verschillende tekens zijn dan ook beter te onderscheiden.

Zelf ontwerpen heeft z’n voordelen, maar het symbool moet wel herkenbaar zijn voor een computer. Om dat voor elkaar te krijgen, gebruikt d-touch herkenning op basis van topologie, in plaats van geometrie. Oftewel, het is niet van belang hoe het teken eruit ziet (geometrie), maar wel hoe het symbool is opgebouwd. De illustratie hieronder legt het uit:

Het symbool is met oranje omlijnd. Het is opgebouwd uit een wit vlak (a) met daarop een aantal zwarte vlakken (b, e en f), waarvan er eentje (b) weer twee witte vlakken bevat (c en d). Ernaast zie je deze opbouw weergegeven in een boomstructuur.

Constanza en Huang, 2009

Elk symbool kun je vertalen naar een ‘opbouwboom’ (region adjecency tree) en die boom gebruikt het systeem om een teken terug te vinden in een database.

De onderzoekers vroegen mensen ook foto’s op te sturen om te laten zien hoe ze Audio d-touch thuis gebruiken. Op deze foto zie je dat het ook werkt met platte vlakjes.

Constanza et al., 2010

Werkt ook thuis

De makers van Audio d-touch hebben de tekens voor het drumsysteem vooraf bedacht, zodat je er direct mee aan de slag kunt. En dat is tevens het hoofddoel van het onderzoek: er bestaan weliswaar betere en uitgebreidere systemen, maar Audio d-touch is goedkoop en gemakkelijk zelf te maken. Hierdoor kunnen de onderzoekers ook goed nagaan wat echte gebruikers ervan vinden.

Tijdens het spelen verstuurt het systeem informatie over het gebruik naar de onderzoekers. Die kunnen daarmee analyseren wat er wel en niet goed gaat. Sinds de lancering in 2009 is Audio d-touch door meer dan vierhonderd mensen gebruikt en dat heeft waardevolle informatie opgeleverd.

Zo blijkt dat mensen het systeem snel begrijpen en ermee kunnen werken, maar dat het herkennen soms niet goed gaat door slechte belichting. In de nieuwe versie is hier speciaal op gelet. Ook bleek dat gebruikers meestal maar kort met het programma speelden, omdat het drumstel te weinig mogelijkheden bood. Maar het feit dat mensen daarover klagen en niet over de besturing, geeft aan dat de TUI zijn werk in feite goed doet.

Zie ook op Kennislink:

Meer over ‘haptische systemen’, systemen die informatie aan de gebruiker doorgeven via de tastzin:

Oeps: Onbekende tag `feed’ met attributen {"url"=>"https://www.nemokennislink.nl/kernwoorden/haptisch.atom", “max”=>"6", “detail”=>"minder"}

Meer over beeldherkenning:

Oeps: Onbekende tag `feed’ met attributen {"url"=>"https://www.nemokennislink.nl/kernwoorden/beeldherkenning.atom", “max”=>"6", “detail”=>"minder"}