Naar de content

'Onverwachte resultaten houden het spannend'

Promovendus James Trujillo onderzoekt hoe we herkennen dat een gebaar betekenis heeft

Couleur voor Pixabay via CC0

Het plan was om afgelopen zomer al proefpersonen in de hersenscanner te leggen. Maar de resultaten van zijn eerste experimenten stuurden James Trujillo in een andere richting. NEMO Kennislink brengt opnieuw een bezoekje aan de promovendus uit het Language in Interaction-project.

Dit artikel maakt deel uit van de reeks Taaltalent. In Taaltalent volgt Kennislink enkele jonge onderzoekers uit het Language in Interaction-project gedurende hun promotieonderzoek.

Zit er in onze hersenen een gebiedje dat actief wordt als iemand een boodschap aan je probeert over te brengen? Een systeem dat communicatieve intentie herkent, ongeacht of je die via spraak of gebaren uit? Dat is de vraag die James Trujillo probeert te beantwoorden in zijn promotieonderzoek, zo vertelde hij dit voorjaar. Voor de zomer maakte de promovendus hiervoor filmpjes waarin bewegingen werden gemaakt mét en zonder communicatieve intentie.

“Voor mijn eerste experiment heb ik in totaal rond de 2500 filmpjes gemaakt, van 31 verschillende taken, zoals het knippen van papier of het opzetten van een zonnebril,” vertelt Trujillo in het Max Planck Instituut in Nijmegen. “De acteurs in de filmpjes vormden twee groepen: de ene groep dacht dat iemand anders meekeek om van hun bewegingen te leren en de andere dacht dat anderen zomaar meekeken, zonder interactie. Beide groepen voerden de taken één keer in het echt uit en één keer als gebaar, in pantomime.”

In dit eerste experiment analyseerde Trujillo zelf de bewegingen die de acteurs in de filmpjes maakten. “Met een infraroodcamera van Kinect kon ik de bewegingen precies registreren en vervolgens vergelijken,” legt de jonge onderzoeker uit. “Hieruit blijkt dat als iemand meekijkt, mensen grotere bewegingen maken, langere pauzes nemen tussen de bewegingen en een hogere pieksnelheid hebben, bijvoorbeeld tijdens het leggen van de strik om een cadeau.” Ook bleek dat de acteurs in de filmpjes mét communicatieve intentie meer oogcontact hadden met de ingebeelde geadresseerde, in dit geval de camera.

Signaleren en herkennen

Dit oogcontact heeft duidelijk een communicatieve functie, zag Trujillo toen hij een selectie van de filmpjes in zijn tweede experiment liet zien aan proefpersonen. “Mensen blijken een communicatieve intentie vooral te herkennen aan het oogcontact, niet aan de bewegingen van de acteur. We vonden geen enkele correlatie tussen de grotere bewegingen en de zekerheid waarmee mensen de intentie van de acteur bepaalden.”

Dat was een verrassing voor de onderzoeker, die daarom besloot een derde experiment uit te voeren. Ditmaal vroeg hij niet naar het herkennen van de communicatieve intentie, maar naar wat de acteur in het filmpje uitbeeldde. “Dat bleken de proefpersonen wel veel sneller te herkennen als de bewegingen duidelijker gearticuleerd waren. Oogcontact speelde hier juist geen rol,” aldus Trujillo. “Blijkbaar dient het oogcontact om het onderlinge contact te signaleren en helpen de grotere bewegingen bij het inhoudelijk herkennen van de boodschap.”

Voor hij alsnog de overstap maakt naar de hersenscanner (‘zeker nog dit jaar’), wil hij deze theorie verder uitpluizen. “De opnames van de Kinect kan ik ook bewerken tot filmpjes met bewegende stokfiguurtjes (zie onderstaand kader), waarin al het oogcontact is weggelaten. Herkennen mensen dan nog steeds een communicatieve intentie?”

Communicatief of niet?

In bovenstaande fragmenten heeft Trujillo de bewegingen van de acteur teruggebracht tot een stokfiguurtje. Het poppetje haalt een kurk uit een fles. Kun jij zien in welk fragment hij dit zomaar doet en in welk fragment hij je probeert duidelijk te maken wat hij doet? (Kijk voor het juiste antwoord onderaan dit artikel.)

Presenteren

Trujillo is nu anderhalf jaar onderweg in zijn promotietraject – bijna halverwege. Wat vindt hij het leukst en wat valt hem zwaar? “Het klinkt misschien vreemd, maar juist die onverwachte resultaten vind ik leuk. Die leiden weer tot nieuwe vragen, waardoor het interessant blijft en ik enthousiast word om verder te gaan. Het opzetten van een goed experiment vind ik wel erg lastig. En ook het verklaren van bevindingen met behulp van de bestaande literatuur is een hele puzzel. Eind dit jaar hoop ik mijn eerste publicatie in te kunnen dienen bij Cognition, een groot wetenschappelijk tijdschrift.”

Zijn onderzoeksresultaten publiceert hij niet alleen in tijdschriften, hij presenteert ze ook tijdens internationale congressen met posters en lezingen. Trujillo: “Volgend jaar hoop ik een presentatie te mogen geven tijdens de conferentie van de Cognitive Neuroscience Society (CNS) in San Francisco. Je spreekt dan veel verschillende mensen die ieder vanuit hun eigen specialisatie naar je onderzoek kijken.”

Couleur voor Pixabay via CC0

Volle agenda

Naast zijn werk als onderzoeker zit Trujillo nog altijd in de ondernemingsraad van de Radboud Universiteit. En sinds dit jaar leidt hij ook elke woensdag werkgroepen bij de bacheloropleiding Psychologie. “Eigenlijk heb ik daar helemaal geen tijd voor, maar ik vind het hartstikke leuk om te doen. Studenten zijn zo enthousiast en nieuwsgierig”, glundert hij. “Bovendien steek ik er ook echt iets van op. Ik leer om op een andere manier kennis over te brengen – via proefjes in plaats van lezingen. En je leert om onverwachte vragen te beantwoorden. Studenten komen soms met de verrassendste vragen.”

De komende maanden zal Trujillo zich dus bepaald niet vervelen. Eerst zijn experiment met de stokfiguurtjes afronden, dan beginnen met het fMRI-experiment opzetten. Ondertussen werken aan zijn eerste publicatie over zijn promotieonderzoek en zijn ideeën op papier zetten over de rol van bewegingen bij het inhoudelijk herkennen van gebaren. En daarnaast ook nog een dag in de week werkgroepen leiden en zijn werk voor de ondernemingsraad. Begin 2017 horen we hoe het hem is vergaan!

Benieuwd hoe het onderzoek van James Trujillo verloopt? Over enkele maanden bezoekt Kennislink hem weer om te vragen hoe het gaat. Volg ondertussen ook de andere promovendi uit het _Language in Interaction_-project.

Antwoord: Alleen in het tweede filmpje heeft het stokfiguurtje een communicatieve intentie.

ReactiesReageer