Voorbij augmented reality ligt de wereld van cross reality

Het gezaghebbende blog ReadWriteWeb schreef in de week van 21-28 augustus 9 artikelen over augmented reality. Raimo van der Klein was (internet)wereldnieuws toen hij 17 augustus de augmented reality browser Layar lanceerde. Augmented reality (AR) is een hype, en daarnaast een zeer veelbelovende interface voor informatie uit het web. Maar wie denkt dat AR wel heel geavanceerd is kent cross reality (XR) waarschijnlijk nog niet. Bij cross reality gaan echte en virtuele wereld in elkaar op.

Augmented reality is plotseling populair, maar bestaat al een tijdje op het web. Veel mensen kennen de virtual mirror van Ray Ban. Maar dankzij de geavanceerde technologie van de moderne smartphones komen de AR apps pas echt van de grond. Camera en GPS maakten de weg vrij voor waardevolle consumententoepassingen.

Location based en context aware

Sowieso zorgt GPS voor een enorme toename in het aantal location based applicaties. ReadWriteWeb riep deze zomer 2009 al uit tot het jaar van de location based services. Radar (iTunes Link) is een Amerikaans voorbeeld van een dienst die GPS gebruikt om je van lokaal nieuws te voorzien. De iPhone applicatie TuneWiki laat je zien naar welke muziek mensen in je omgeving luisteren. Ook heeft Apple inmiddels patent op een GPS-afhankelijke homepage voor de iPhone.

GPS kun je zien als sensor die meet waar je je bevindt. Als je daarvan uitgaat is het niet moeilijk andere sensoren te ontdekken. De camera is er één. De microfoon is een ander. Het schudden en de manier van kantelen van de iPhone zijn er alweer twee. Als applicaties gebruik maken van al die sensoren weten ze opeens een heleboel over je gedrag en je omgeving. Dit gaat verder dan location based, zulke toepassingen zijn context aware.

Cross reality

De toepassingsmogelijkheden van context awareness zijn enorm en niet te overzien. Eén van de toepassingsgebieden heet cross reality.

Cross reality (ook wel Dual Reality genoemd) is de realiteit die ontstaat als werkelijke en virtuele wereld interacteren.

Cross reality sluist de gegevens die sensoren meten door naar virtuele werelden. De bekendste virtuele wereld is natuurlijk Second Life. Gehypt en verguisd, maar beslist niet uitgespeeld. Cross reality kan Second Life nieuw leven inblazen. Een andere bekende virtuele wereld is World of Warcraft. Maar ook Google Earth en Microsoft Virtual Earth kun je beschouwen als virtuele werelden.

Cross reality creëert in de virtuele wereld een nieuwe werkelijkheid aan de hand van de doorgesluisde gegevens. Die gegevens kunnen heel divers zijn: temperatuur, vochtigheid, GPS-locatie, maar ook stemgeluid, beweging etcetera. De virtuele wereld kun je daarom beschouwen als een visualisatie van de echte. Dat geldt ook voor het gedrag van mensen, dat gevisualiseerd wordt door avatars.

Je kunt dus zeggen dat je gedrag in de echte wereld direct je gedrag in de virtuele wereld bepaalt. Maar andersom geldt dat ook: door de besturing van avatars oefen je ook invloed uit op de werkelijke wereld. Deze verwevenheid van echt en virtueel herdefinieert de betekenis van aanwezigheid, zeggen Joseph Paradiso en James Landay van het Massachusetts Institute of Technology. Ze zien cross reality als uitbreiding op augmented reality omdat bij cross reality de sensoren overal kunnen zitten, niet alleen op je mobiel. Daarnaast is de cross realiteit niet alleen gevuld met levenloze data, maar is ze gevuld met “door mensen aangedreven avatars en andere manifestaties van gegevens uit de werkelijkheid”.

Ik zie zelf niet in waarom augmented reality toepassingen alleen afhankelijk zouden moeten zijn van mobiele apparaten. Het verschil tussen augmented en cross reality is naar mijn mening vooral dat de eerste een toevoeging aan de werkelijkheid biedt, terwijl de laatste bewust een wereld naast de werkelijkheid creëert. Dat neemt niet weg dat je je scenario’s kunt voorstellen waarin beide samengaan. Voorbeeld: personen in je omgeving zie je als avatars op je mobiel en je kunt met ze communiceren alsof je in Second Life zit.

Bibliotheek

Een voorbeeld van een cross reality applicatie is SmartRFLib, een nogal wetenschappelijke naam voor een bibliotheek die zowel in de echte als in de virtuele wereld van Second Life bestaat.

De  boeken van de (real-world) bibliotheek zijn voorzien van RFID tags,  een soort barcodes die het mogelijk maakt ze te volgen. RFID tags zijn geavanceerder dan barcodes omdat ze zelf ook signalen kunnen uitzenden. RFID lezers zijn apparaten die RFID tags kunnen detecteren.

In de opstelling van SmartRFLib staan RFID lezers op verschillen plaatsen in de bibliotheek waardoor het systeem kan bijhouden waar een boek zich bevindt. De RFID lezers geven hun bevindingen door aan Second Life. Je kunt in Second Life dus zien of een boek in het schap staat of dat het op de leestafel ligt. Of dat iemand het boek heeft meegenomen naar buiten. En zelfs of die persoon wel langs de uitleenbalie is geweest. Zo niet, dan gaat het alarm af in de virtuele bieb.

Maar dat is nog niet alles. Je hebt nu gezien dat Second Life gebruikt wordt als visualisatie van de werkelijkheid. Leuk, maar biedt het veel meer dan de vertrouwde detectiepoortjes? Ja, want je kunt een boek actief volgen binnen de bibliotheek, iets wat met detectiepoortjes moeilijk te realiseren is. De toepassingsmogelijkheden zijn -met wat creatief denkwerk- ook veel groter.

Maar echt interessant wordt het in mijn ogen pas als je in de virtuele wereld de echte wereld gaat besturen. De makers van het systeem geven alvast een voorbeeld: je leent in Second Life een boek en het wordt in de echte wereld geregistreerd en naar je huisadres gestuurd. Niet echt spectaculair, in feite niets anders dan wat er gebeurt als je bij Amazon.com een boek koopt. Door het gebruik van een virtuele wereld voelt het wel intuïtiever aan. En dat is een belangrijke reden waarom virtuele werelden als interface een grote rol kunnen gaan spelen.

CenceMe

Een ander voorbeeld is een uitbreiding op de iPhone applicatie CenceMe, door de makers gehypt als “zevende zintuig”.

CenceMe gebruikt alle sensoren van de iPhone en weet daardoor waar je zit, welk weer het daar is (kinderspel natuurlijk), wat je aan het doen bent (zitten, staan, lopen, zwijgen, converseren) en wat er zich in je omgeving afspeelt (via de microfoon van de iPhone). CenceMe is dus duidelijk context aware: hij kent de status van jou en je omgeving.

Het onderzoeksteam van Mirco Musolesi zette de gegevens die de iPhone oppikt om naar avatars in Second Life (SL). Zitten in de werkelijkheid is vertaald naar een yoga-houding van een avatar in SL. Staan is gewoon staan gebleven, en rennen is vliegen in SL (noot: het is mij onduidelijkheid hoe CenceMe zitten en staan kan onderscheiden, behalve aan de manier waarop de iPhone gekanteld is). Het team van Musolesi claimt hiermee de eerste te zijn die sensoren van een gewone mobiele telefoon gebruikt om cross reality te creëren in Second Life.

De wetenschappers geven aan dat het aantal sensoren eenvoudig uit te breiden is. Apparaten kunnen via BlueTooth gekoppeld worden aan de mobiel. Ze gebruikten bijvoorbeeld een Galvanic Skin Response (GSR) sensor om de emotionele toestand van een persoon te meten. In SL kregen de avatars een virtuele mood ring mee die die emotie visualiseerde.

Wat je nu ziet is data die van de reële naar de virtuele wereld stroomt. Andersom is ook mogelijk, bijvoorbeeld een conversatie in SL wordt als instant message naar je mobiel gestuurd.

Verder geven Musolesi en zijn collega’s aan dat cross reality niet beperkt hoeft te blijven tot Second Life. Google Earth en Microsoft Virtual Earth zijn ook goede kandidaten als platform.

Schaduwwereld

Stel je voor, Google Earth als schaduwwereld van de echte, waarin dezelfde personen rondlopen op dezelfde locatie, die hetzelfde gedrag en emotie vertonen als in de echte wereld, en het nauwelijks uitmaakt of je mensen virtueel of echt benadert. Tegen die tijd mogen we het begrip aanwezigheid inderdaad wel eens herdefiniëren.