Je leest:

Haalt ze het of haalt ze het niet

Haalt ze het of haalt ze het niet

Uitspelen is te voorspellen

Auteur: | 25 augustus 2010

Soms voel je het al aan in de eerste levels: dit computerspel ga ik niet uitspelen. Zo’n voorspelling blijkt een computer ook te kunnen doen. Onderzoekers van het Center for Computer Games Research (IT University, Kopenhagen) ontdekten dat resultaten uit het verleden wèl enige garantie bieden voor de toekomst.

Tegenwoordig worden veel computerspellen online gespeeld. Dat is niet alleen leuk, maar ook heel handig voor onderzoekers en spelontwerpers. Het levert namelijk veel data op. Heel veel data: zo’n beetje elke beweging van elke speler wordt vastgelegd. Deze gegevens laten zien hoe spelers het spel precies spelen en dat is waardevolle informatie. Voor spelontwerpers, die bijvoorbeeld precies zien waar spelers vast lopen of wat welke dungeon favoriet is. Die kennis helpt vervolgens bij het verbeteren van het spel of bij het maken van een nieuwe titel.

Er kan echter nog meer met deze data, zo blijkt nu uit onderzoek van het Center for Computer Games Research (IT University, Kopenhagen). Daar onderzochten ze of het mogelijk was om te voorspellen of iemand het spel Tomb Raider: Underworld (TRU) wel of niet zou uitspelen. En wat blijkt: dat kan heel goed.

Tomb Raider: Underworld (TRU) is een 3D platformspel, waarin de speler als Lara Croft een weg moet zien te vinden door zeeën en oceanen, oerwoud en ijsvlaktes. Navigatie (springen, lopen, rennen, klimmen) is in dit spel dan ook erg belangrijk, maar de speler moet onderweg ook de nodige vijanden verslaan en puzzels oplossen.
Eidos Interactive Ltd.

Speler in getallen

De Deense onderzoekers wilden kijken naar het verband tussen de manier waarop iemand speelt en de kans dat deze speler het spel uitspeelt. Zo’n verband lijkt voor de hand te liggen: iemand die er weinig van bakt en steeds doodgaat, zal de eindstreep niet zo snel halen. Maar wanneer ‘bakt iemand er weinig van’? Dat is een vage omschrijving die een computer niets zegt.

De eerste stap is daarom de manier waarop iemand speelt in getallen uit te drukken. Dat wordt ook wel player modeling genoemd: je maakt een model van de speler dat de computer vertelt wat voor soort speler het is. Deze techniek wordt vaker toegepast, bijvoorbeeld bij spellen die automatisch de moeilijkheidsgraad verhogen of verlagen. In dit geval werd een spelermodel gemaakt op basis van alleen level 1 en op basis van level 1 en 2 samen.

Ook in het populaire online spel World of Warcraft wordt heel wat data opgeslagen. Elke speler kan in zijn statistieken zien hoe vaak hij waaraan dood is gegaan, hoeveel vijanden hij heeft verslagen, hoe vaak hij ergens heen is gevlogen, hoeveel goud hij heeft verdiend, etc. etc. etc..

Een spelermodel is dus niets anders dan een set met getallen (features) die iets zeggen over de speelwijze van de bepaalde speler. De onderzoekers gebruikten voor hun model features als speeltijd op een bepaalde locatie, het aantal keer dat een speler ‘doodgaat’, het aantal keren hulp bij puzzels en het aantal schatten en wijzigingen in spelinstellingen. In totaal bestond het model van een speler in level 1 uit 30 features en het model in level 2 uit 55 features.

Voorspellende boom

Datamining

Het zoeken naar verbanden in een berg ongeordende data heet ook wel patroonherkenning of datamining en er zijn veel verschillende manieren om dit te doen. Voor elk probleem is weer een andere aanpak het beste, wat het lastig maakt voor een nieuw probleem om te bepalen welke methode je moet gebruiken.

De onderzoekers wilden weten of op basis van iemands speelwijze voorspeld kon worden tot welk level een speler komt en -als iemand het spel uitspeelt- hoe lang hij daarover doet. Om hier achter te komen, moet de computer de spelermodellen analyseren en kijken of er een verband is tussen een bepaald model en het behaalde level. Het kan bijvoorbeeld zijn dat modellen met een laag ‘aantal keer dood’ en hoog ‘aantal schatten’, altijd het laatste level halen.

De Deense onderzoekers gebruikten een softwarepakket met daarin allerlei technieken om verbanden te vinden, zodat ze er meerdere konden uitproberen. Een techniek die goed bleek te werken, was het maken van een beslissingsboom. Het lijkt op het doorlopen van een vragenlijst; telkens kijk je naar de waarde van een feature en gaat dan door naar de ene of naar de andere feature. Ten slotte kom je uit op een voorspelling. In de onderstaande afbeelding zie je een beslissingsboom die goed bleek te werken (voor de voorspellingen op basis van resultaten in level 1 en level 2). Het lijkt heel vreemd: de tijd die je in een bepaalde kamer doorbrengt, bepaalt of je wel of niet het laatste level (level 7) haalt. Toch klopt het wel, want als iemand heel lang over een puzzel doet en niet verder komt, heeft hij vaak geen zin om het spel af te maken.

Door deze ‘boom’ te doorlopen, kun je zien welke voorspelling hoort bij een bepaald spelermodel. Wanneer in dat model de feature ‘aantal schatten’ een hogere waarde heeft dan 18.5, dan haalt deze speler level 7.

Beter dan gokken

Uit de experimenten bleek dat de boom-methode in 47.3% van de gevallen goed voorspelde hoe ver een speler zou komen, alleen al op basis van de speelwijze in level 1. Om te kunnen zeggen of dit een goed resultaat is, moet je het vergelijken met een baseline. Van alle spelers die level 1 halen, blijkt namelijk dat de meeste spelers ook direct uitvallen. Zou je gokken ‘iedereen valt uit bij level 1’, dan zou je het in 39.8% van de gevallen goed hebben. Vergeleken met deze baseline is 48.7% geen slecht resultaat. Maar het kan beter.

Wanneer de computer naar spelersmodellen in level 1 én 2 kijkt, voorspelt de boom-methode in 76.7% van de gevallen goed dat de speler het spel uitspeelt. Ook dit getal moet je vergelijken met een baseline. Van de spelers die level 2 speelden, blijkt bijna de helft het hele spel uit te spelen. Als je daarom gokt ‘alle level-2-spelers halen het einde’, is dat goed in 44.8% van de gevallen. Daarbij vergeleken is 76.9% heel behoorlijk.

Vaak zijn outliers maar lastig en verstoren ze de uitkomst van een experiment. Ze kunnen echter ook heel nuttig zijn, zoals bij fraudedetectie.
Wolfram MathWorld

Uit de resultaten volgt dus dat kijken naar de speelwijze zeker helpt bij het doen van voorspellingen, maar echt goed werkt het nog niet. De onderzoekers denken dat dat komt door fouten in de data. Zo zijn er outliers (zie afbeelding), spelermodellen die erg afwijken van alle anderen (bijvoorbeeld omdat iemand even ging eten terwijl hij in level 1 bezig was) en ontbreken van sommige spelers een aantal features (bijvoorbeeld omdat het opslaan even niet goed ging). De onderzoekers hopen dit in de toekomst te kunnen verhelpen zodat voorspellingen beter en nauwkeuriger worden. Dan voorspellen ze niet alleen dat je niet verder komt dan level 5, maar dat je stopt in de derde grot van rechts na 3 keer van de rand te zijn gevallen. Bij wijze van spreken…

Bronnen

  • Artikel in New Scientist (Engels)
  • Paper van de onderzoekers: Mahlmann, T. et al, ‘Predicting Player Behavior in Tomb Raider: Underworld’, in Proceedings of the 2010 IEEE Conference on Computational Intelligence and Games (to appear).

Lees meer over datamining op Kennislink

Oeps: Onbekende tag `feed’ met attributen {"url"=>"https://www.nemokennislink.nl/kernwoorden/text-mining/opinion-mining/index.atom?m=of", “max”=>"7", “detail”=>"normaal"}

Dit artikel is een publicatie van NEMO Kennislink.
© NEMO Kennislink, sommige rechten voorbehouden
Dit artikel publiceerde NEMO Kennislink op 25 augustus 2010

Discussieer mee

0

Vragen, opmerkingen of bijdragen over dit artikel of het onderwerp? Neem deel aan de discussie.

NEMO Kennislink nieuwsbrief
Ontvang elke week onze nieuwsbrief met het laatste nieuws uit de wetenschap.