
We leven tegenwoordig in twee werelden: de echte en cyberspace. Onderzoekers van de University of Southampton (en met hen nog vele anderen) streven ernaar de grens tussen die werelden te vervagen.
Nu moeten we speciale technieken aanleren om op de computer iets uit te voeren. Zonde, vinden de onderzoekers. Ze wijzen er bijvoorbeeld op dat mensen van nature goed zijn in het vastpakken en hanteren van objecten. Als je zorgt dat je die vaardigheid ook kunt benutten in cyberspace, wordt het leven daar een stuk gemakkelijker.
Zo ontstond het idee voor Audio d-touch, een computersysteem om muziek mee te maken; alleen dan zonder muis, toetsenbord of monitor. Onder het toeziend oog van een webcam produceer je geluid door blokjes met symbolen op een vlak te verplaatsen. Dr. Enrico Costanza van de University of Southampton bedacht het systeem, en deze week presenteerde zijn onderzoeksteam de nieuwste versie.
Tastbare digitale informatie
Audio d-touch is een zogenaamde tangible user interface (TUI). Een user interface (UI) is de link tussen een systeem en de gebruiker. Bij een computerprogramma is dat bijvoorbeeld het venster met de informatie en de knoppen. Aangezien dat grafische elementen zijn (de knoppen zijn getekend), heet zo’n interface ook wel graphical user interface (GUI). Audio d-touch daarentegen is niet getekend, maar bestaat uit tastbare objecten. Vandaar de aanduiding tangible, wat ‘tastbaar’ betekent.
Een typisch voorbeeld van een TUI is een ouderwets telraam, waarbij je kralen heen en weer schuift om een som uit te rekenen. De kralen en het schuiven zijn tastbare representaties van iets virtueels (de getallen en de rekensom). Er is hierdoor geen onderscheid tussen invoer en uitvoer, zoals je dat wel hebt bij een muis en een computer.

Bij het telraam werk je direct met het daadwerkelijke systeem en heb je geen ‘tussenstation’ met daarbij een eventuele ‘vertaling’ nodig. Dat maakt een TUI bijzonder. Natuurlijk zijn een muis en een keyboard ook tastbare objecten, maar ze maken geen deel uit van de user interface. Het zijn middelen om de interface mee te bedienen.
Aan de slag
Om geluid te produceren met Audio d-touch, heb je een paar dingen nodig. Een computer (met daarop het drumstelprogramma), speakers, een webcam, een speelbord en blokjes met symbolen. Die laatste twee items hoef je niet speciaal te kopen: de onderzoekers hebben het allemaal zo gemaakt dat je er met een beetje doe-het-zelven wel uitkomt. Op hun site vind je pdf-bestanden die je gratis kunt downloaden. Dat zijn in feite bouwtekeningen. Je print ze uit en knutselt vervolgens zelf de blokjes in elkaar. Het speelbord – wat officieel ‘het interactieve vlak’ heet – is niets anders dan een A4-tje met een patroon erop.

Nu kun je gaan componeren door blokjes op het speelbord te plaatsen. De locatie bepaalt de muziek: de rij correspondeert met een bepaald druminstrument en de kolom geeft aan wanneer je dat instrument hoort. Het programma speelt voortdurend van links naar rechts af wat jij op het speelbord hebt neergezet.
Informatieve symbolen
De kern van het drumsysteem is het herkennen van wat er op het speelbord staat. Dat doet het programma (het d-touch-gedeelte) aan de hand van de symbolen op de blokjes, en de positie van de blokjes op het speelbord. Die symbolen staan vast, want je print ze zo uit, maar oorspronkelijk werd d-touch ontwikkeld om gebruikers zélf herkenningssymbolen te laten ontwerpen.

Ook leuk voor ons
Herkenningstekens, zoals streepjescodes of QR-codes, bevatten alleen informatie voor het apparaat dat ze scant; het teken zegt ons niets. De QR-code hiernaast zou net zo goed naar een bloemenwinkel kunnen verwijzen als naar een dierentuin. Een herkenbaar symbool zou echter direct informatief zijn en meer aanspreken. Verschillende tekens zijn dan ook beter te onderscheiden.
Zelf ontwerpen heeft z’n voordelen, maar het symbool moet wel herkenbaar zijn voor een computer. Om dat voor elkaar te krijgen, gebruikt d-touch herkenning op basis van topologie, in plaats van geometrie. Oftewel, het is niet van belang hoe het teken eruit ziet (geometrie), maar wel hoe het symbool is opgebouwd. De illustratie hieronder legt het uit:

Elk symbool kun je vertalen naar een ‘opbouwboom’ (region adjecency tree) en die boom gebruikt het systeem om een teken terug te vinden in een database.

Werkt ook thuis
De makers van Audio d-touch hebben de tekens voor het drumsysteem vooraf bedacht, zodat je er direct mee aan de slag kunt. En dat is tevens het hoofddoel van het onderzoek: er bestaan weliswaar betere en uitgebreidere systemen, maar Audio d-touch is goedkoop en gemakkelijk zelf te maken. Hierdoor kunnen de onderzoekers ook goed nagaan wat echte gebruikers ervan vinden.
Tijdens het spelen verstuurt het systeem informatie over het gebruik naar de onderzoekers. Die kunnen daarmee analyseren wat er wel en niet goed gaat. Sinds de lancering in 2009 is Audio d-touch door meer dan vierhonderd mensen gebruikt en dat heeft waardevolle informatie opgeleverd.
Zo blijkt dat mensen het systeem snel begrijpen en ermee kunnen werken, maar dat het herkennen soms niet goed gaat door slechte belichting. In de nieuwe versie is hier speciaal op gelet. Ook bleek dat gebruikers meestal maar kort met het programma speelden, omdat het drumstel te weinig mogelijkheden bood. Maar het feit dat mensen daarover klagen en niet over de besturing, geeft aan dat de TUI zijn werk in feite goed doet.
Bronnen
- Costanza et al., ‘Ubicomp to the Masses: A Large-scale Study of Two Tangible Interfaces for Download’, 2010 ACM Conference on Ubiquitous Computing.
- Costanza and Huang, ‘Designable visual markers’, CHI ’09: Proceedings of the 27th international conference on Human factors in computing systems, pp. 1879-1888
- Ullmer et al., ‘Emerging frameworks for tangible user interfaces’, IBM Syst. J. 39, 3-4, 915-931, juli 2000. doi:=10.1147/sj.393.0915
Zie ook op Kennislink:
Meer over ‘haptische systemen’, systemen die informatie aan de gebruiker doorgeven via de tastzin:
Oeps: Onbekende tag `feed’ met attributen {"url"=>"https://www.nemokennislink.nl/kernwoorden/haptisch.atom", “max”=>"6", “detail”=>"minder"}
Meer over beeldherkenning:
Oeps: Onbekende tag `feed’ met attributen {"url"=>"https://www.nemokennislink.nl/kernwoorden/beeldherkenning.atom", “max”=>"6", “detail”=>"minder"}