Kwantitatief usability-onderzoek: wanneer en hoe?

In december schreven we een artikel over methoden voor usability-onderzoek. Die waren vooral kwalitatief: het resultaat levert inzichten, geen harde bewijzen. Voor dat laatste is kwantitatief onderzoek nodig: representatieve gegevens en statistisch onderbouwde conclusies. In dit artikel bespreken we wanneer en hoe je zulke methoden kan inzetten.

Kwantitatief onderzoek draait om meetbare eigenschappen, gedrag en onderlinge samenhang. Wat er gemeten wordt, ligt aan het doel. Onderzoek kan antwoorden geven op diverse vragen over usability, zoals: ‘Naar welke plekken op een pagina wordt het meest gekeken?’ en ‘Welke content kunnen we op basis van gedrag van bezoekers suggereren?’

De gegevens om deze vragen te beantwoorden kunnen (vrijwel) gratis beschikbaar zijn, maar soms juist erg ingewikkeld of ronduit prijzig om te achterhalen. In de zoektocht naar de antwoorden loont het om de onderzoeksmethoden op de juiste tijd en op de juiste manier toe te passen.

Wanneer welke methode?

Christian Rohrer geeft in zijn artikel ‘When to Use Which User Experience Research Methods‘ een interessant overzicht van methoden en wanneer je ze kan toepassen. Op basis daarvan zetten we ze hieronder per fase op een rij.

Strategische fase

Bij het bepalen van de strategie voor een online middel wordt meestal nieuw terrein verkend en op waarde geschat. Welke diensten hebben de potentie om komende jaren groot te worden? Hoe veranderen bezoekers en welke kanalen zullen ze gebruiken? Zowel kwalitatief als kwantitatief onderzoek kunnen hierbij ingezet worden. Voorbeelden van onderzoeksmethoden in deze fase:

Ontwikkelingsfase

Tijdens ontwikkeling zal usability-onderzoek vooral kwalitatief van aard zijn. Het doel is om het risico op fouten te verkleinen en usability te verbeteren. Hier is het belangrijk om de conclusies op een doordachte manier in het ontwerpproces op te nemen. Voorbeelden:

• Cardsorting
• Veldonderzoek
• Papieren prototype
• Usability tests
• Behoefte-onderzoek

Optimalisatiefase

Na lancering komt het aan op controle en stapsgewijze verbetering. In plaats van incidenteel onderzoek, is continu meten en verbeteren een toekomstbestendige manier van werken. Hoe presteert de dienst in tijd en ten opzichte van concurrenten? Vaak worden kwantitatieve methoden gebruikt. Als er grote veranderingen worden waargenomen waar geen directe verklaring voor te vinden is, kan ook ander onderzoek worden gedaan. Voorbeelden:

• Usability benchmarking
• Enquêtes
• A/B tests

Methoden voor kwantitatief usability-onderzoek

Enquêtes

De kern van een enquête lijkt nogal triviaal: een lijst met vragen. Toch vergt het houden van een enquête die waardevolle resultaten oplevert een goede voorbereiding. Zowel offline als online. Voor die laatste categorie zijn er steeds meer tools beschikbaar. In het volgende en laatste artikel bespreken we daar enkele van.

Een ander onderscheid binnen enquêtes kan gemaakt worden naar context. Tijdens het gebruik van een site kan een testpersoon onderschept worden om enkele vragen te beantwoorden. Meestal gebeurt dat in de vorm van een pop-up tijdens of na het bezoek van een website. Een voordeel is dat testpersonen het online kanaal nog op het netvlies hebben bij het beantwoorden. Buiten de context kunnen telefoon, e-mail of social media worden ingezet.

Analytics

Het bijhouden van bezoek is tegenwoordig gemeengoed. Het is vaak zelfs een standaardfeature van een online platform. Toch wordt er vaak maar weinig met die gegevens gedaan. Google Analytics is een krachtige gratis tool die ook voor gebruikersonderzoek geschikt is. Het Frankwatchingartikel ‘Google Analytics en gebruikersonderzoek: 5 voorbeelden‘ van Kamil van Buuren gaat hier nader op in.

A/B tests

Feitelijk is dit een methode die onder analytics valt en met dezelfde tools toegepast kan worden. Er worden 2 verschillende versies van hetzelfde type, bijvoorbeeld een webpagina of nieuwsbrief, live gezet. Dan wordt aan de hand van de bezoekersgegevens gekeken welke versie het meest bijdraagt aan een bepaalde doelstelling. Hoe dat werkt bij een webshop licht Steven Fockema Andreae toe in zijn artikel ‘A/B-testing voor webshops: Weet wat je meet!‘.

Datamining

Nog iets verder gaat datamining, waarbij in grote verzamelingen gegevens naar verbanden wordt gezocht. Google doet dat bijvoorbeeld door zoekresultaten te personaliseren. Persoonlijke suggesties op basis van eerdere aankopen dragen bij veel webwinkels substantieel bij aan de omzet.

Het toenemende gebruik van social media lijkt zich als bron voor datamining te ontwikkelen. Daar zit ook een schaduwzijde aan. Het gevoel van privacy komt in het nauw, ook al zijn de uitingen openbaar. Los daarvan is dit een methode die nogal wat werk met zich meebrengt. Allereerst is het verzamelen van de gegevens al een klus waar experts voor nodig zijn. Het analyseren zelfs nog meer. Hoe bedrijven in de Verenigde Staten datamining gebruiken, kun je lezen in het artikel ‘How Companies Are Using Your Social Media Data‘.

Eyetracking

De afgelopen jaren is eyetracking steeds populairder geworden. Het levert dan ook erg tot de verbeelding sprekende heatmaps op. Er is meteen te zien waar veel naar gekeken wordt op een pagina. Toch blijft het lastig om de resultaten goed te interpreteren. Dat er ergens naar gekeken wordt, betekent niet dat het ook gezien wordt. En zelfs dan nog: als iets gezien wordt, betekent dit niet automatisch dat de ervaring goed is.

Interessant in dat kader is de discussie over de locatie van de zoekknop. In het artikel ‘Why Left Search Buttons Perform Faster than Right‘ vormen vooral oogfixaties de basis om de zoekknop links van het invoerveld te plaatsen. Lees je daarna de reactie van Todd Zaki Warfel op Quora, dan blijkt dat er een verkeerde conclusie is getrokken.

Aan de andere kant wordt eyetrackingonderzoek steeds goedkoper en wordt de toegepaste kennis steeds groter. Adviesbureaus op het gebied van usability hebben deze methode in hun portfolio. Overigens kan deze methode zowel kwalitatief als kwantitatief ingezet worden. In het eerste geval gaat het om problemen opsporen, in het laatste geval om het bepalen in welke mate een ontwerp bijdraagt aan de doelstellingen.

Trek de juiste conclusies

Bij kwantitatief onderzoek is het de kunst en toegevoegde waarde om de gegevens juist te interpreteren, en niet alleen bij eyetracking. De soms enorme hoeveelheden gegevens moeten worden teruggebracht tot conclusies waar je iets aan hebt. Dat er een beslissing kan worden genomen, waarmee meer succes wordt behaald met het online middel. De volgende punten zijn daarbij van belang:

• Significantie. Een vuistregel in de statistiek zegt dat resultaten significant zijn als de kans kleiner dan 5% is dat de ze willekeurig zijn. Een goede onderzoeker houdt zich echter niet alleen aan de cijfers, maar doet ook een kwalitatieve check of de uitkomsten wel kloppen.
• Covariantie. Bepaalde verbanden in gegevens kunnen leiden tot verkeerde beslissingen. Een andere niet gemeten eigenschap kan de feitelijke oorzaak zijn.
• Gesimplificeerde analyses. Neem een onderzoek waarin alleen enkele korte taken door testpersonen worden uitgevoerd. Bepaalde onderdelen van een pagina worden nauwelijks gebruikt. Een conclusie zou kunnen zijn dat die onderdelen net zo goed weggelaten kunnen worden. Foute conclusie, want regelmatig terugkerende gebruikers zouden die onderdelen wel nodig kunnen hebben.

Jakob Nielsen heeft hierover een uitstekend en nog steeds relevant artikel (uit 2004) geschreven: ‘Risks of Quantitative Studies‘. Bij het (laten) uitvoeren van een onderzoek voorkom je hiermee hopelijk verkeerde conclusies.

Tot slot

Kwantitatief onderzoek is bedoeld om concrete bewijzen voor specifieke vragen te vinden. Zijn er onduidelijkheden of alleen vermoedens, voer dan een kwalitatief onderzoek uit. Zorg er in ieder geval voor dat er een plan en budget is om onderzoek uit te voeren. Hoe beperkt ook, als onderzoeken op elkaar aansluiten kunnen de conclusies zeer waardevol zijn. Laat diepgravende kwantitatief onderzoek over aan experts, maar zorg dat je de uitkomsten wel snapt en kan toepassen.

Dit is deel 2 in een miniserie over usability-onderzoek (zie hier deel 1: Usability-onderzoek kan sneller en goedkoper). In het volgende en laatste deel geven we een overzicht van tools die onderzoek doen makkelijker en goedkoper maken.