Mobile usability testing vergeleken: welke methode kies jij?

Mensen brengen meer tijd door op mobiel dan op desktop. Maar waarom blijven de mogelijkheden van mobile usability testing dan toch achter? In dit artikel deel ik mijn ervaring met mobile usability testing en vergelijk ik twee opstellingen. Hiermee stip ik de tekortkoming die mobiel usability testing volgens mij nu nog heeft, aan.

De urgentie om een website, intranet of app ook op mobiel te testen mag duidelijk zijn: websites worden naast desktop ook ontwikkeld voor mobiel gebruik. Bij bedrijven waar veel medewerkers onderweg zijn moet het intranet vanaf elke plek en elk device te raadplegen zijn. Ook zien we het gebruik van mobile het gebruik van desktopcomputers inhalen.

Kleinere schermen zijn foutgevoelig

Naast deze verschuiving van een groot deel van gebruikers van desktop naar mobiel, is er nog een belangrijk aandachtspunt: kleinere schermen moeten juist getest worden omdat er meer kansen zijn om fouten te maken. Want meer functionaliteiten worden in een kleiner design aangeboden. Dit vergt een slim ontwerp en nóg meer aandacht voor gebruiksvriendelijkheid.

Twee manieren

Ik wil twee manieren van mobile usability testing uitlichten: een testopstelling in een lab met extra camera en een testsessie op een mobiele telefoon opnemen.

1. Testopstelling in lab met extra camera

Om het gedrag van je testgebruiker te registreren, wordt er veel gebruikgemaakt van testopstellingen in een lab met een extra camera. Die registreert elke handeling op het apparaat. De testleider zit naast de gebruiker en kijkt mee op een eigen beeldscherm en observeert het gedrag.

2. Testsessie op mobiele telefoon opnemen

Van deze mogelijkheid heb ik vooral veel gebruikgemaakt bij het testen van websites op smartphones. Hiervoor heb ik UX Recorder gebruikt (er zijn ook andere tools: SolidifyApp bijvoorbeeld). Deze tool neemt het scherm van de mobiele telefoon op tijdens de testsessie, waarbij touches en swipes zichtbaar zijn. Daarnaast wordt het geluid opgenomen, handig als je gebruik maakt van de hardop-denk-methode! Ook wordt het gezicht van de gebruiker geregistreerd door de camera van de telefoon.

Verschil met desktop testing

Het doen van usability testing voor mobiel verschilt qua methode niet heel veel van ‘traditionele’ desktop usability testing. Bij beide vormen zijn grotendeels dezelfde elementen focuspunt van testen: navigatie, efficiency (taakgerichtheid), effectiviteit en ontwerp. Maar de manier van uitvoeren en registreren van de test wijkt natuurlijk wel af.

Bij desktop usability testing gebruiken we screen sharing software om op afstand tests te doen met gebruikers. Hierbij kan een tool als GoToMeeting de testsessie opnemen, zodat je het later bij de analyse terug kunt zien. Tijdens het uitvoeren van de test op desktop kun je als testleider makkelijk het online gedrag van testgebruikers observeren. Als je handelingen van de testgebruikers in combinatie met de hardop-denk-methode observeert, heb je genoeg input om drempels en hiaten van de website of het intranet te detecteren.

Drempel: juiste registratie

Bij het uitvoeren van mobile usability tests zit het probleem vaak in het opnemen van de test. Bij gebruik van een extra camera opgesteld boven de smartphone waarop de gebruiker test, is beweging van de mobiele telefoon een gevaar. Als de gebruiker teveel beweegt en de telefoon kantelt of naar zich toe trekt, kan de uitvoering van de test buiten het gezichtsveld van de camera plaatsvinden.

Bij het gebruik van registratie software voor mobiel, zoals UX Recorder, loop je dit laatste gevaar in elk geval niet. Zoals gezegd, neem je de testsessie op, inclusief touches en swipes. Zo kan de gebruiker de telefoon vrij bewegen en is hij of zij niet afhankelijk van een bepaalde locatie, zoals een testlab. Nadeel van deze opname is dat je tijdens de testsessie niet goed met de gebruiker kan meekijken op bijvoorbeeld je laptop en daardoor het gedrag tijdens de testsessie niet kan observeren. Dit lukt uiteraard wel daarna, want alles van de testsessie wordt opgenomen: zowel gebruik (swipes en touches) als geluid en gezicht van de testgebruiker. Het kost dus alleen wat meer tijd in de analysefase.

Andere voor- en nadelen op een rij

Testopstelling met extra camera in lab	UX recorder in telefoon
Nadeel: Kostbaar. Een testopstelling in een lab met een extra camera is kostbaar. De apparatuur is kostbaarder (denk aan camera, het juiste licht, ruimte etc.) dan de registratiesoftware voor op de smartphone.	Voordeel: Relatief goedkoop. Je schaft eenmalig de registratiesoftware aan op een testtelefoon.
Nadeel: Data missen door risico telefoon bewegen buiten gezichtsveld camera. Testgebruikers moeten de telefoon altijd goed in gezichtsveld van camera houden.	Voordeel: Beweging geen invloed op dataregistratie.Het gebruik van de telefoon en beweging daarvan is niet afhankelijk van de positie van een camera; men kan de telefoon op elke gewenste wijze vasthouden.
Nadeel: Ongemakkelijk gevoel bij meekijken testleider. Bij het testen in een laboratorium met een extra camera kan de testgebruiker het gevoel hebben dat er direct wordt meegekeken met zijn handelingen en daardoor wat ongemakkelijk raken waardoor de resultaten worden beïnvloed.	Voordeel: Geen gevoel van meekijken. Bij het gebruik van de registratiesoftware speelt dit minder omdat er geen testleider letterlijk naast de testgebruiker hoeft te zitten.
Nadeel: Extra camera nodig voor gezichtsregistratie. Er is een camera nodig om bewegingen van vingers van testgebruiker over het scherm op te nemen én camera (webcam) nodig om gezicht van testgebruiker te registreren.	Voordeel: De camera van de mobiele telefoon neemt registreert gezicht met camera van de telefoon zelf. Beweging van vingers (swipes en touches) worden geregistreerd door het programma.
Nadeel: Locatie gebonden, minder flexibel. De testopstelling is niet overal makkelijk op te zetten ivm installatie camera’s etc. In de teststudio is goed (kunst)licht ook erg belangrijk om goede opnames te kunnen maken.	Voordeel: Flexibel. Door het gebruik van UX Recorder ben je vrijer om op locatie te testen. Je hoeft geen hele lab-opstelling mee te nemen en de test is snel opgezet. Dit stelt je ook in staat om in een geschikte (mobiele) context te testen.
Voordeel: Testen op eigen telefoon mogelijk. Testgebruikers die testen in een lab-opstelling met een extra camera kunnen in principe op hun eigen telefoon testen; elk gewenst type en merk.	Nadeel: iPhone vereist. Voor de tool die wij gebruikten (UX Recorder) is een iPhone (minimaal ios 7) nodig. Ofwel moet je testgebruikers op type telefoon gaan selecteren, of je laat gebruikers testen op een voor hen onbekende telefoon (wat nadelig zou kunnen zijn voor de resultaten).
Voordeel: Tijdsbesparing bij analyse. Tijdens de test is observatie van het gedrag goed mogelijk door schermdeling waardoor de testleider de sessie op zijn eigen laptop kan volgen.	Nadeel: Analyse kost meer tijd. Doordat je de beelden pas na uitvoering van de test goed kunt bekijken. De testleider kan niet op hetzelfde moment volledig meekijken op computerbeeldscherm van testleider, dus je moet altijd video terug bekijken.

Deelnemers selecteren

Zoals bij elke usability test, of het nu op desktop gebeurt of op mobiel, moet de selectie van testgebruikers zorgvuldig gebeuren. Niet alleen moeten deze je doelgroep goed representeren, maar bij mobiel testen speelt ook de bekendheid met en de handigheid van de gebruiker met de telefoon een rol. Selecteer daarom gebruikers die minimaal drie maanden bekend zijn met hun eigen telefoon (als je hen op eigen apparatuur laat testen). Of, als je gebruik maakt van een testtelefoon, selecteer dan gebruikers die bekend zijn met dat type telefoon of reserveer tijd vooraf om het gebruik uit te leggen. Het gebruik van het apparaat mag de test immers niet beïnvloeden.

Geen aandacht voor de context van mobiel gebruik

Ik noemde het hiervoor al even, de situatie waarin mensen ‘in real life’ hun telefoon gebruiken om hun zaken online te regelen, is (natuurlijk!) ook bij het testen van belang. In een testopstelling in een veilige omgeving als een lab word je als testgebruiker niet blootgesteld aan omgevingsinvloeden waarbij bijvoorbeeld tijdsdruk een belangrijke rol speelt. Maar denk ook aan:

• Beweging: voer je een taak lopend of zittend uit op je mobiele telefoon?
• Licht: gebruik je de mobiele telefoon binnen of buiten?
• Afleiding: met hoeveel aandacht kun je een bepaalde taak uitvoeren?
• Interactie van de gebruiker met de fysieke omgeving.
• Netwerksnelheid (WiFi, 4G, 3G, GPRS).

Usability testing-methoden die nu veel worden gebruikt, houden hier nog te weinig rekening mee. In het ontwikkelen van het testscenario kun je hier wel een aanzet toe doen en taken bedenken die in een mobiele context aan de orde kunnen zijn, maar de invloeden van buitenaf zijn niet te ondervangen met de hierboven beschreven methoden. Om écht goed te kunnen testen, moet hiervoor nog een tool of opstelling ontwikkeld worden.

Wat kan er beter?

We zijn al een heel eind met de mogelijkheden van mobiel usability testen, maar de mogelijkheden om de context voor mobiel gebruik mee te nemen in de test, daarin blijven de methoden nog achter. Al met al blijft dat iets testen beter is dan niets. Met een tool als UX Recoder of een uitgebreide lab-opstelling met een extra camera is dit (dus) mogelijk. Het is dan ook een goed begin, maar de rol van context van mobiel gebruik is belangrijk en kan het gebruik ervan beïnvloeden.

Dit zijn mijn bevindingen bij, ervaringen met en gedachten over mobiel usability testing. Ik hoor graag welke ervaringen jij hebt!

Bron foto intro: Testobject.com