Brain Computer Interface: coming to a game near you?

Inspiratie voor artikelen kan je overal vandaan halen. Vorig weekend zat ik een net in de VS uitgezonden aflevering van House MD te kijken (voor de kenners “Locked In”, So5E19). Tijdens deze aflevering bestuurt een patiënt met totale verlamming een cursor met zijn gedachten. Als dat zou kunnen, zou je dan ook een game kunnen besturen met je gedachten?

Nu moet je niet alles geloven wat je op TV ziet, maar het besturen van een cursor op basis van je gedachten is heel goed mogelijk. Het onderzoeksveld heet Brain Computer Interfaces (BCI).

Medische toepassingen

Zoals ook in de aflevering van House te zien was, zijn medische toepassingen een van de hoofdrichtingen van BCI. Binnen het medische veld moet het onderscheid worden gemaakt tussen neuroprotheses (waarbij door een implantaat uitgevallen functies overgenomen worden) en het functioneren als een interface met de computer, bijvoorbeeld voor mensen met verlamming of ziekten als Amytrofe Laterale Sclerose (ALS, de ziekte die o.a. Stephen Hawking heeft). Ik ga verder niet in op deze toepassingen, hoe interessant ze ook zijn. Meer informatie vind je op Wikipedia en o.a. op Neural Prosthesis.

BCI voor games

De technologie die wordt gebruikt bij de toepassing van BCI voor games en de hierboven beschreven medische toepassing is grotendeels hetzelfde, met als uitzondering dan het feit dat weinig gamers zin hebben in een implantaat om beter te kunnen gamen (zeker als de grote game toernooien stoppen).

Zowel neuroprotheses als BCI maken gebruik van het feit dat alles wat we doen, denken, zien of horen het gevolg is van een elektrisch signaal en/of een elektrisch signaal als gevolg heeft. Door deze signalen te lokaliseren en te mappen op een bepaalde activiteit (denken, zien, horen of doen) is het mogelijk om deze signalen te meten en er ‘iets’ mee te doen.

Om het eenvoudig te houden: zie dit als een soort van programmeerbare functietoetsen. In plaats van het drukken op F1 denk je eenvoudig aan de kleur groen of je knippert met je oog. Door het trainen van je gedachten kun je het systeem laten leren. Deze informatie kan gebruikt worden in een spel om het spel aan te passen (bijvoorbeeld meer interactie omdat de speler verveeld is), navigeren door een virtuele omgeving en interacteren met het spel, bijvoorbeeld schieten in een first person shooter.

Het menselijk brein

Het menselijk brein is niet een grote grijze massa, maar heeft een aantal duidelijke gebieden die ieder een eigen rol hebben in het functioneren. Het gaat veel te ver om dat helemaal uit te leggen, nog even afgezien van de complexiteit van dit onderwerp (liefhebbers kunnen hier meer informatie vinden).

Van belang voor hier en nu zijn het gedeelte dat de beweging ondersteunt (i.e de Motor Cortex), het gebied voor waarneming (Visuele and Auditieve Cortex) en het deel dat samenhangt met voelen (Somatosensory Cortex). We maken een onderscheid tussen Internal Evoked Potentials (IEP) en External Evoked Potentials (EEP). Het bewegen van bijvoorbeeld een arm is een interne potential, het zien van een vijand is een externe potential. Door het meten van deze hersenactiviteit binnen een game kunnen we avatars laten bewegen of bij het zien van een vijand wegduiken. Een heel belangrijke andere toepassing is het meten van emotie (ook wel bekend als affect); is iemand relaxed of gefocused?

Zit ik dit nu allemaal te verzinnen of zijn er daadwerkelijk al games die hier gebruik van maken en, belangrijker nog, apparaten die in staat zijn hersenactiviteit te meten?

Fact or fiction?

In de wetenschappelijke wereld bestaan EEG caps al jaren en worden ze gebruikt in onderzoek. Omdat de meeste mensen geen zin hebben om zich kaal te laten scheren om vervolgens met een geleidende gel een EEG cap te laten opzetten, wordt in de meeste gevallen voor games gebruik gemaakt van een headset zoals als die van Emotiv. Doordat er minder elektrodes en geen geleidende gel worden gebruikt, is de performance van dit soort devices minder dan een EEG cap. Maar het levert op dit moment toch nog 70% van de wetenschappelijke kwaliteit op. De prijs van de Emotiv EPOC was ongeveer 250$ maar is volgens berichten uitgesteld tot ergens in 2009. Andere leveranciers zijn Neurosky en OCZ. De laatste is wel te koop bij Amazon.

Video: Interview met Don Clark (WSJ) over Emotiv op MSNBC

De laatste jaren zijn er al diverse artikelen over BCI verschenen, onder andere in Kijk, Intermediair en de NY Times.

De beschikbaarheid van dit soort apparaten (zie afbeelding) is een voorwaarde voor het ontstaan van games die hier gebruik van maken. Bedrijven die actief zijn in het onderzoek of de ontwikkeling van dit soort apparaten en bijbehorende games zijn Microsoft, Sega, Nintendo en de eerdere genoemde leveranciers zoals Emotiv, Neurosky en OCZ. De eerste prototypes zijn groot, maar zullen in de loop van de tijd niet alleen kleiner worden, maar ook zal hun capaciteit verbeteren zodat we meer patronen kunnen herkennen.

Dit opent ook mogelijkheden buiten gaming, bijvoorbeeld bij situaties waar concentratie of ontspanning van belang zijn zoals bij autorijden maar ook voor piloten en sporters. Games kunnen helpen dit te trainen.

Met name Nintendo zou best wel eens kunnen komen met een applicatie voor de Wii (Wii Mind Games?). Het valt te verwachten dat op dat moment BCI echt een vlucht gaat nemen, vergelijkbaar met de populariteit van de Wii sports games en interfaces.

Zijn er al games?

Ja die zijn er in principe wel. Ik schrijf ‘in principe’, omdat de games die er zijn erg eenvoudig en grafisch weinig aantrekkelijk zijn. Het ontwikkelen van een game is in de meeste gevallen niet het werk van de onderzoekers (het gaat tenslotte om de research naar de interpretatie van signalen niet om het ontwikkelen van een game). De games die zijn ontwikkeld vanuit het onderzoek zijn eenvoudige versies van Space invaders, Pacman, Pong en Tetris en verder navigatie in Second Life en Google Earth.

Op dit moment zijn er nog geen grote games (van bijvoorbeeld EA of Rockstar) in staat om BCI te gebruiken. Dit komt aan de ene kant door het feit dat BCI nog steeds een researchonderwerp is (zie ook volgende alinea) en aan de andere kant door het feit dat de devices nu pas voor het eerst op de markt komen. Gamers zijn wel een ideale groep voor de toepassing van BCI, omdat ze gewend zijn om veel te oefenen om een spel onder de knie te krijgen en omdat ze vaak op zoek zijn naar een voordeel op andere gamers.

Onderzoek door Universiteit Twente

Het zijn niet alleen maar partijen in de VS die onderzoek doen naar dit soort interfaces. De universiteit van Twente, en dan speciaal Prof. Dr. Ir Anton Nijholt leidt het onderzoek naar BCI vanuit de afdeling Human Media Interaction group. Het onderzoek dat hij op het gebied van BCI doet, is onderdeel van het Braingain consortium. In Braingain zitten naast universiteiten ook grote bedrijven zoals Philips en Siemens en het wordt gefinancierd door Smartmix (met subsidie van EZ en OCW).

Wat kunnen we verwachten van BCI?

Zoals je kunt zien of lezen in diverse video’s en artikelen staat de technologie nog in de kinderschoenen. De video hierboven van Emotiv met Stonehenge toont een niet geheel vlekkeloze interface die op armgebaren reageert (dus in de Motor Cortex). Andere video’s tonen navigatie door middel van glimlachen en knipperen met het linker- en rechteroog. Over een aantal jaar zullen we de eerste games zien die gebruik maken van BCI en daardoor een nieuwe beleving in games zullen realiseren. Niet alleen nieuwe mogelijkheden in bijvoorbeeld het manipuleren van objecten, maar bijvoorbeeld ook automatische niveauaanpassing in het spel omdat verveling automatisch herkend zal worden.

Een nieuwe dimensie in gaming en, wie weet wel een volledig nieuw type games. Tenminste dat denk ik…