Usability: met kwantitatief onderzoek weet je pas echt hoe je site presteert

Gebruikersonderzoek wordt vaak kwalitatief ingestoken. Je ontwikkelt een scenario waarmee je specifieke taken en delen van de website of intranet kan testen. En observeert wat er vervolgens gebeurt, waar de klant drempels en hiaten ervaart. De resultaten van een usabilitytest zijn dus ook vaak kwalitatief van aard.

Maar om frequent te blijven meten en in cijfers aan te kunnen geven hoe goed of hoe slecht je website presteert, zijn kwantitatieve resultaten nodig. In dit artikel ga ik in op hoe je op een laagdrempelige manier kwantitatieve metingen kunt verrichten tijdens een usabilitytest.

Over welk type usabilityonderzoek hebben we het?

Het type gebruikersonderzoek waar ik in dit artikel op in ga, belicht het één-op-één testen en observeren van gebruikers (klanten) die volgens een testscenario opdrachten uitvoeren op een website of intranet, in een gemodereerde synchrone test. De testleider begeleidt de klant — of burger, huurder, relatie, fan, of medewerker, in het geval van interne communicatie — tijdens de test, als dan niet vanuit een andere ruimte (of op afstand met speciale monitoringsoftware), waarbij de testleider en de klant live verbinding hebben via telefoon, screensharing, webcam of chat. Lees meer over mogelijke testopstellingen en voorbereiding van een usabilitytest.

Tijdens de test denkt de testgebruiker al dan niet hardop mee: synchroon, retrospectief of in teamverband. Het voordeel van de ‘hardopdenkmethode’ is dat je nóg beter inzicht krijgt in de beweegredenen van het online gedrag van de testdeelnemers. Zo kun je nog meer kwalitatieve inzichten verkrijgen. Je observeert en maakt tegelijkertijd notities over gebruik van navigatie, zoekfunctie, design en content, en doelmatigheid en taakgerichtheid van de website of intranet. Dit samen schetst een beeld van de gebruiksvriendelijkheid van je online omgeving. Maar er blijven altijd mensen die tijdens het uitvoeren van de test niet veel hardop meedenken. Hierdoor mis je dus informatie. Met een aantal vragen die je kunt kwantificeren is dit (gedeeltelijk) te ondervangen.

Kwalitatief versus kwantitatief usabilityonderzoek?

De vraag die we vaak horen is: wanneer kies je nu voor een kwalitatieve methode, wanneer voor een kwantitatieve methode en wanneer zou een combinatie hiervan een betere keuze zijn?

• Bij kwalitatief usabilityonderzoek verzamel je data door directe observaties van gedrag.
• Bij kwantitatief onderzoek verzamel je data indirect door een meting of instrument.

Door de aard van de verschillen tussen deze twee dataverzamelingsmethoden passen kwalitatieve methoden beter bij vragen als ‘waarom is dat een gebruikersprobleem?’ en ‘hoe kunnen we dat oplossen?’, terwijl kwantitatieve inzichten antwoorden geven op de hoeveel-vraag.

“You can’t manage what you can’t measure”

Peter Drucker zei het al: “If you can’t measure it, you can’t manage it.” En ook Gerry McGovern heeft hier zijn uitspraak, “You can’t manage what you can’t measure”, waarschijnlijk op gebaseerd.

Je kunt, met andere woorden, je online omgeving niet beheren zonder te meten. Je meet, bijvoorbeeld met een usabilityonderzoek, past zaken aan op je website, en meet opnieuw om te zien of de wijzigingen ook verbeteringen zijn.

Het voordeel van kwantitatieve resultaten van de usabilitytest is dat een complexe situatie gevat wordt in een cijfer en daardoor (soms) makkelijker te begrijpen is (met als risico dat dit juist zorgt voor tunnelvisie).

Daarnaast kun je makkelijker kpi’s (kritieke prestatie-indicatoren) opstellen en een plan maken voor je website of intranet, waarop je kunt sturen. Je wilt immers ergens naartoe optimaliseren en dat is vaak beter uit te drukken in cijfers dan in kwalitatieve gegevens. Zo kun je bijvoorbeeld de prestatie van belangrijke taken op de website uitdrukken in een percentage of rapportcijfer en het doel stellen dat na een kwartaal de belangrijkste taak van een 4,5 naar een 6,0 moet.

Niet te ingewikkeld…

Eerder schreef ik op Frankwatching over de Task Performance Indicator (TPI) of taakprestatietest; een methode met een kwantitatieve indicator als resultaat. Deze methode hanteert een aantal kwantitatieve elementen en berekent een indicator (een getal tussen 0 en 100) die de prestatiescore van de toptaken van de geteste taken weergeeft.

Er zijn, naast de waardevolle, maar vrij complexe en daardoor relatief kostbare TPI, ook andere, minder ingewikkelde manieren om met het kwantificeren van usabilitytestresultaten om te gaan.

1. De ervaren moeite die het kost om taak uit te voeren
   Vraag na het uitvoeren van elke taak naar de mate van de ervaren moeite die de klant heeft moeten doen om de taak uit te voeren. Laat de klant op schaal van 1 tot en met 7 (waarbij 7 het meest positieve antwoord is) aangeven hoe makkelijk hij/zij de taak kon uitvoeren. Door een Likertschaal van 1 tot 7 te gebruiker krijg je net iets meer detail dan een Likertschaal van 1 tot 5. Ik vond het uitvoeren van de taak makkelijk:
   helemaal niet -……..- erg makkelijk
2. Subjectieve tevredenheid over de manier waarop de klant het antwoord vindt
   Vraag na elke taak naar de mate van tevredenheid van de klant over de manier waarop hij het antwoord op de vraag heeft gevonden. Laat de klant op schaal van 1 tot en met 7 (waarbij 7 het meest positieve antwoord is) aangeven hoe tevreden hij hierover is. Ik ben tevreden over de manier waarop ik het antwoord gevonden heb:
   helemaal niet -……..- erg tevreden
3. Mate van zekerheid van het juist gegeven antwoord
   Stel na elke taak de vraag in hoeverre de klant zeker is dat het antwoord dat hij heeft gegeven juist is. Ook hier geeft hij dit aan op een schaal van 1 tot en met 7. Op het moment dat de klant erg zeker is van het feit dat het gegeven antwoord juist is, maar in werkelijk niet juist is, zijn er serieuze problemen. McGovern noemt dat in zijn TPI-methode de ‘disaster rate’. Ik ben zeker van het antwoord dat ik gaf:
   helemaal niet -……..- erg zeker
4. Mate van frustratie
   Hoe gefrustreerd iemand is, is vaak niet altijd af te leiden uit het gedrag dat hij vertoont tijdens de test. Vraag daarom na elke taak aan de klant dit aan te geven op dezelfde schaal als de voorafgaande vragen. Ik vond de activiteit frustrerend om uit te voeren:
   Erg frustrerend-…….- helemaal niet frustrerend.

Kwantitatieve indicatoren om de algemene kwaliteit van de online omgeving te beoordelen:

5. Tijd
   Noteer de tijd die het kost bij elke uitgevoerde opdracht van de test. Hoe langer het kost om een taak te volbrengen, hoe minder kans op het succesvol afronden van de taak en hoe groter de frustratie. Tijd geeft inzicht in de taakprestatie binnen je online omgeving.
6. Percentage verkeerd uitgevoerde opdrachten
   Bekijk na het testen van alle deelnemers wat het foutpercentage is van de uitgevoerde opdrachten. Hiermee bedoel ik dat je per opdracht in kaart brengt hoeveel procent van de gebruikers de fout in ging. Dit geeft inzicht in de overall prestatie van de betreffende taak en, bij elkaar opgeteld, de online omgeving in het algemeen.
7. Net Promotor Score
   Vraag testgebruikers na het uitvoeren van alle opdrachten hoe waarschijnlijk het is dat zij (de organisatie achter) de website aanraden bij vrienden, familie of collega’s. Vraag hen deze waarschijnlijkheid aan te geven op schaal van 0 tot 10. Hierbij is 10 het meest positieve antwoord. Op deze manier krijg je inzicht in verschillende categorieën klanten/gebruikers: promotors die zeer loyaal en enthousiast zijn, passieve gebruikers die tevreden zijn, maar niet enthousiast (genoeg), en zogenaamde tegenwerkers die ontevreden zijn en zorgen voor negatieve promotie. Lees meer informatie over de NPS. Op momenten dat de testgebruikers niet veel hardop denken, zijn de vragen 1 t/m 4 erg nuttig. 

Combineer kwalitatief en kwantitatieve elementen in je usabilityonderzoek

Er is een gevaar in mijn ogen bij het strikt onderscheiden van kwalitatief en kwantitatief usabilityonderzoek. Mijn punt zit in het vereenvoudigen van kwalitatieve data met het uitdrukken van de resultaten in cijfers. Interpretatie en gewicht of prioriteit van de kwalitatieve bevindingen zijn niet altijd in cijfers uit te drukken. Andersom zijn dus niet alle percepties en interpretaties af te lezen uit een cijfer.

Daarom vind ik dat dat we als online communicatieprofessionals niet moeten streven naar het zijn van louter kwantitatief- of kwalitatief-onderzoeksexpert. Ik denk dat we moeten streven naar het vinden en toepassen van de juiste onderzoeksmethodiek waarmee je de meeste inzichten krijgt voor jouw situatie. Om een online omgeving zo te optimaliseren dat je de klant — of burger, huurder, relatie, fan, of medewerker, in het geval van interne communicatie — het best faciliteert in datgene waarvoor hij komt.

Heb jij andere ervaringen met het meetbaar maken van usabilitytests? Misschien suggesties, ideeën of aanvullingen? Laat het weten!