Iedereen gesticuleert tijdens het spreken. Sommigen wat meer dan anderen, maar iedereen maakt gebaren als hij iets zegt. Als je dit niet zou doen, zou je er erg onnatuurlijk -als een robot- uitzien. Veel betekenis hebben de gebaren meestal niet, maar dat betekent niet dat ze volstrekt willekeurig zijn. Promovendus Gianluca Giorgolo onderzocht aan welke regels de gesticulaties moeten voldoen. Hij verwerkte deze do’s and don’ts in een computermodel. Met dit model zal de communicatie tussen mens en computer in de toekomst natuurlijker kunnen verlopen.
Cilinder
De eerste regel die Giorgolo ontdekte houdt in dat de gebaren die we maken altijd samenvallen met onze spraak. Een gebaar dat niet op het juiste moment wordt gemaakt -al zit het er maar 250 milliseconde naast- komt meteen onnatuurlijk over bij de toehoorder. Daarnaast stelde Giorgolo vast dat lang niet alle woorden of woordgroepen geschikt zijn om bij te gebaren. “Alleen woorden met in hun betekenis een ruimtelijke eigenschap kunnen gepaard gaan met een gebaar”, aldus de onderzoeker. “Bij woorden als ‘slaan’, ‘fles’ of ‘naast’ kan een gebaar de betekenis verbeelden of zelfs extra informatie toevoegen, zoals de manier van slaan of de vorm van de fles.” Bij abstracte woorden (zoals ‘rood’ of ‘droom’) en functiewoorden (zoals ‘de’) gesticuleren de meeste mensen niet.
Giorgolo ontdekte ook dat alleen individuele objecten of hun eigenschappen gegesticuleerd kunnen worden, en niet woorden die een hele categorie objecten omvatten, zoals ‘iedereen’ of ‘elke box’. In een experiment liet de onderzoeker een poppetje op de computer het gebaar van een cilinder maken bij de zin ‘Elke box staat op de tafel’. De proefpersonen negeerden het gebaar en kregen niet mee dat de boxen een cilindrische vorm hadden. Bij de zin ‘Drie boxen staan op de tafel’ kwam deze extra informatie wel over. “Het lijkt erop dat we bepaalde combinaties van woord en gebaar niet kunnen verwerken”, aldus Giorgolo.
Intelligente apparaten
De resultaten van zijn onderzoek heeft Giorgolo verwerkt in een poppetje op de computer, een avatar. De onderzoeker verwacht dat met name de gamesindustrie veel baat kan hebben van zijn onderzoek. “Gamers verwachten steeds meer interactiviteit in hun spellen”, legt hij uit. “Het gebruik van natuurlijke taal in computerspellen neemt toe en de mogelijkheid om automatisch gegenereerde gebaren hier aan toe te voegen, zou de ervaring nog realistischer maken.” Giorgolo’s model werkt overigens ook de andere kant op: de computer kan ook gebaren van mensen interpreteren. “Zo kunnen we ‘intelligente’ apparaten niet alleen besturen met onze stem, maar ook met onze gebaren.”
Gianluca Giorgolo verdedigt woensdag 15 september zijn proefschrift ‘Space and Time in our Hands’ aan de Universiteit Utrecht.
Zie ook:
Oeps: Onbekende tag `feed’ met attributen {"url"=>"https://www.nemokennislink.nl/kernwoorden/stevin.atom", “max”=>"3", “detail”=>"normaal"}