Hoe onze interfaces sensationele ervaringen gaan worden

Hoewel je er zelf misschien anders over denkt, bestaat jouw leven uit één en al sensatie – en daar hoef je nog niet eens een wildebras voor te zijn. Je zintuigen verwerken namelijk 24 uur per dag een haast constante stroom aan informatie. Diezelfde zintuigen maken menselijke communicatie mogelijk: met gesproken woord, geschreven tekst en non-verbale bewegingen maken we ons verstaanbaar. Onze interactie met computers neemt intussen ook steeds meer die menselijke vorm aan. Door de zogenaamde ‘multimodal interfaces’ wordt de samenwerking tussen mens en machine steeds natuurlijker. Makes sense?

Communiceren met een computer op een andere manier dan met een toetsenbord of een muis was lange tijd een uitdaging. Pas in 2004 kwam de welbekende Nintendo DS uit, een van de eerste apparaten met touchscreen. Het bleek een katalysator, want vanaf dat moment schoten de touchscreen devices als paddenstoelen uit de grond. Niet gek natuurlijk, touchscreen maakt veel complexere handelingen mogelijk en maakt ons apparaat gebruik een stuk efficiënter. Het was als het ware een extra zintuig waar onze devices op kunnen vertrouwen.

In eerste instantie bleef het bij één enkele ‘tap’ of klik. Nu ondersteunen vrijwel alle telefoons multi-touch: je kunt dus met meerdere vingers tegelijk het scherm bedienen. Dat zorgt ervoor dat de handelingen die je kunt uitvoeren nog meer matchen met de gebaren die je in het echte leven zou gebruiken. Een goed voorbeeld daarvan is het gebaar dat je maakt als je wil inzoomen: de handeling bevat impliciete informatie over wat de gebruiker wil doen.

NUIs: de perfecte interface is onzichtbaar

Toch is touchscreen zeker niet het eindstation. De Natural User Interface (NUI) is voor veel onderzoekers en designers het ultieme doel. Een NUI maakt het mogelijk om een device te bedienen, zonder dat je eerst hoeft te googelen hoe iets werkt. De gebruiker moet het juist kunnen bedienen met voor de mens natuurlijke uitingen, zoals spraak en non-verbale gebaren. Vaak betekent dat dus dat er helemaal geen fysiek contact is tussen gebruiker en apparaat en dat er van ‘touch’ niet langer sprake is. In het verleden werd in veel Hollywood films over zulke interfaces gespeculeerd. Onderstaande scène uit de film ‘Minority Report’ met Tom Cruise is daar een goed voorbeeld van.

Helaas bestaat de perfecte NUI nog niet. Wel worden bij moderne interfaces vaak meerdere zogenaamde modalities met elkaar gecombineerd. Het woord ‘modality’ komt van het Latijnse ‘modus’, wat letterlijk ‘manier’ of ‘wijze’ betekent. Als we het over interfaces hebben, is een modality dus een specifieke manier om informatie over te brengen van mens naar machine of andersom. Dezelfde boodschap kun je op verschillende manieren overbrengen, afhankelijk van wat het apparaat ondersteunt. Je kan bijvoorbeeld je bericht typen of inspreken. Als er meerdere verschillende van deze informatiestromen worden gebruikt, dan is er sprake van een multimodal interface.

Het ene oor in en het andere oor uit

Er zijn dus meerdere manieren waarop de gebruiker input kan geven of juist feedback kan ontvangen, vandaar dat men onderscheid maakt tussen input modalities en output modalities. Onder input modalities verstaan we alle manieren waarop wij als mensen een boodschap kunnen overbrengen. Geschreven tekst en spraak zijn vaak de meest efficiënte manieren, maar ook specifieke bewegingen en patronen kunnen informatie bevatten. Naar iemand zwaaien is bijvoorbeeld een specifieke manier van iemand begroeten.

Output modalities zijn daarentegen alle manieren waarop de interface feedback terug kan geven aan de gebruiker. Denk daarbij aan visuele weergaven (het aan/uit-lampje op je tv), geluidseffecten (het alarm van je wekkerradio), maar ook trillingen (als je een bericht binnen krijgt op je smartphone) of zelfs geuren (bij aromatherapie). Het idee van multimodal interfaces is overigens niet nieuw. Al in 1979 werd er op het Amerikaanse MIT gewerkt aan een interface die spraak- en bewegingsinput combineerde.

Tegenwoordig wordt er vaak in de gaming-industrie als eerste geëxperimenteerd met nieuwe modalities’ en nieuwe manieren van mens-machine- interactie. De regels van een spel zijn vaak duidelijk afgebakend, waardoor het relatief gezien makkelijker is om een werkend prototype te bouwen. Met een Microsoft Kinect kon de Xbox bijvoorbeeld voor het eerst gebaren en bewegingen herkennen. Dankzij deze NUI werd de spelervaring dan ook meteen een stuk interessanter.

Multimodal interfaces: 1+1 = 3

Los van het feit dat multimodale interfaces vaak cool en futuristisch zijn, hebben ze ook nog een aantal praktische voordelen. Ten eerste wordt het een stuk makkelijker om te multitasken. Normaal gesproken kun je je per zintuig of modality maar op één ding tegelijk concentreren. Het is bijvoorbeeld onmogelijk om in je auto op de weg te letten en tegelijkertijd je navigatiesysteem in te stellen – voor beide taken heb je namelijk je zicht nodig. Je brein kán echter wel twee verschillende informatiestromen tegelijk verwerken. Door je navigatiesysteem met spraakcommando’s te besturen kun je je zicht op de weg blijven richten en daarmee twee taken tegelijk uitvoeren. Daarnaast hoef je niet de moeite te nemen om alles in te typen: een efficiënte en veilige oplossing dus.

Ten tweede maken multimodal interfaces het leven makkelijker voor mensen met een zintuiglijke beperking. In een artikel van The Atlantic omschrijft Ian Bogost hoe digitale assistent Alexa het leven van zijn blinde vader voorgoed veranderd heeft. Er zijn op pc en mobiel altijd al toepassingen voor blinde gebruikers geweest, maar die kwamen altijd met een behoorlijk steile leercurve en veel schoonheidsfoutjes. Met Alexa kan hij echter voor het eerst makkelijk met zijn dierbaren bellen, zijn mails laten voorlezen en vragen wat voor weer het buiten is.

Je smartphone is je zesde zintuig

Een smartphone mag dan niet kunnen ruiken of proeven, het heeft wel allemaal andere sensoren die als zintuigen kunnen dienen. Eén van de bekendste spellen waarbij dit uitstekend tot zijn recht komt is WarioWare. Er zijn honderden verschillende microgames, waarbij de input telkens op een andere manier gegeven moet worden. Check onderstaand filmpje maar eens: de ene keer moet je blazen, dan weer schudden en de andere keer draaien. Microfoon, accelerometer, gyroscoop, alle sensoren uit je telefoon worden gebruikt.

Je wearables verraden je emoties

Al die nieuwe manieren van data verzamelen komen goed van pas bij het ontwikkelen van nieuwe Natural User Interfaces. Op dit moment wordt er bijvoorbeeld veel onderzoek (pdf) gedaan naar het voorspellen van emoties aan de hand van sensordata uit wearables. Je geeft daarmee als gebruiker geen expliciete input meer, maar de apparaten voorspellen waar je behoefte aan hebt. Een smartwatch kan op dit moment al je hartslag meten en daaruit conclusies trekken over je slaap- en bewegingsritme. In de toekomst komen daar wellicht nog een aantal sensoren bij, zoals voor elektrische weerstand van de huid, een graadmeter voor zweetproductie. Een hogere hartslag en een verhoogde zweetproductie kunnen duiden op frustratie of juist angst. Je slimme lichtinstallatie thuis zou zich daarop kunnen aanpassen door zachtere lichttinten te gebruiken. Daarnaast zou je radio je kunnen opbeuren door je favoriete muziek te draaien.

Onze interfaces verdwijnen dus steeds meer naar de achtergrond. We hoeven steeds minder aan te raken en kunnen meer bedienen met onze stem en met gebaren, of juist met combinaties van verschillende zintuigen. Een toekomst vol handige snufjes ligt binnen handbereik. Even je digitale assistent hardop vragen of het fornuis wat hoger kan als jij je handen vol hebt; snel van kanaal wisselen door naar je tv te wapperen; ontdooien op een voorverwarmde bank als je het koud hebt – het wordt sensationeel!