Usability op straat: verslag van een experiment

Gebruikstests werken. We weten het al jaren. Toch is er nog regelmatig discussie over soorten en smaken van gebruikstests. Met een paar collega’s voerden we bij wijze van experiment een gebruikstest als straatonderzoek* uit. Lees wanneer zo’n gebruikstest op straat een optie is. Of bekijk eerst de video om te zien wat Funda, Jaap.nl, Iens, Thuisbezorgd.nl, Ouders.nl en Girlscene.nl, de geteste sites, er van vonden.

Videoverslag Case ContentKings op Marketing3

Discussie over gebruikstests

Hoewel de experts van de meerwaarde van een gebruikstest wel overtuigd zijn, is een gebruikstest niet onomstreden. Bekende minpunten zijn:

• Een gebruikstest kost tijd, met name doorlooptijd van het ontwerpproject en dus geld.
• Een gebruikstest is kwalitatief onderzoek: de resultaten kunnen aanleiding geven tot verschillende interpretaties.
• Een gebruikstest opzetten en uitvoeren vraagt specifieke expertise voor opzet en interpretatie.

Daar staan natuurlijk de bekende pluspunten tegenover:

• De validiteit van gebruikstest is groot: de aangetroffen knelpunten die representatieve proefpersonen tegenkomen zijn hoogstwaarschijnlijk precies dezelfde als die van de doelgroep.
• Een gebruikstest verschaft unieke inzichten die niet met andere methoden, zoals vragenlijsten (‘wat vindt u van …’) of webanalytics (‘wat gebeurt er wanneer en waar’) verkregen kunnen worden: ‘waarom wordt hier (niet) geklikt?’
• Gebruikstest zijn een goede bron voor innovatie: ze genereren suggesties voor nieuwe of betere producten.

Wij voegen er dan graag nog een aspect aan toe. In onze ervaring ondersteunen gebruikstests ook organisatieveranderings- processen. Voor veel organisaties is de overgang naar transparantie of vraaggericht werken immers problematisch. Gebruikstests zijn prima instrumenten om de vage en onbekende ‘klant’ en zijn behoeften en vragen zichtbaar te maken. Persona’s gebruiken we natuurlijk ook al jaren, maar één fragment van een échte gebruiker die voor de camera ontploft… impact gegarandeerd!

Discussie over uitvoering

Ook over de uitvoering van de gebruikstest wordt al heel lang gediscussieerd. Hoeveel proefpersonen heb je nodig? Totdat Nielsen begon met zijn ‘Discount Usability Engineering’ was een steekproef van 25 tot 30 proefpersonen heel gewoon.

In de klassieke usabilitylabs stond een team van ergonomen, psychologen en ontwikkelaars klaar om te observeren, vast te leggen en achteraf te interpreteren. Een dagje usabilitylab kostte vlotjes 25.000 guldens (weet u nog wel?). Sommige tests werd ‘hardopwerkend’ uitgevoerd, waarbij de uitgesproken gedachten werden uitgeschreven. Deze transscripties werden vervolgens geanalyseerd. Hard werken.

Sinds Nielsen werken we met andere aantallen. Getallen van 5 tot 8 proefpersonen hoor je veel. Cruciaal is de gedachte achter Nielsen’s pleidooi voor deze lagere aantallen: een gebruikstest is géén kwantitatief onderzoek. Een goede gebruikstest dient namelijk het herontwerp. Zodra er zich ernstige knelpunten voordoen, geeft dat richting aan het herontwerp. Ook als het probleem zich maar twee keer voordoet.

Hardopdenken? Mondje dicht?

Een andere discussie over varianten is die over hardopdenken en interventies. Moet je proefpersonen hardop laten denken tijdens de test of niet? Mag je als onderzoeker vragen stellen tijdens de sessie?

Hardopdenken beïnvloedt de taakuitvoering, zoveel is zeker. Maar de knagende vraag is: krijg je met zwijgende respondenten voldoende inzicht in het knelpunt dat optreedt? Is achteraf doorvragen dan wel voldoende?

Idem geldt voor interventies van de onderzoeker. Voor sommigen is het klip en klaar. De interviewer heeft naar zijn mening slechts één taak tijdens het onderzoek namelijk “kop dicht en luisteren”. Inderdaad is het onze ervaring dat vragen erg storend kunnen zijn. Voor je het weet doet je proefpersoon vooral voor jou als ‘charmante onderzoeker’ zijn best. Maar voor iemand als Ben Vroom ligt dat veel genuanceerder.

Al met al zijn verschillende keuzes verdedigbaar. Steve Krug, usability expert en auteur huldigt misschien het beste uitgangspunt: “elke test is beter dan géén test”. Ook testen met een collega in plaats van een klant. Ook met een steekproef van vier in plaats van acht.

Voor ons geldt dat we graag werken met direct interpreteerbare observaties. En dat betekent: hardopwerkend, mét -voorzichtige- interventies.

Context als onderzoeksobject

We zien usability namelijk altijd in samenhang met de context. En een neutrale testlocatie heeft juist géén context, en soms een verkeerde. Iedere onderzoeker kent wel de proefpersoon met responditis die na een aantal totaal mislukte taken “álles geweldig” vindt aan de site.

Wanneer inzicht in de context cruciaal is gebruiken we daarom graag de variant RealityCheck: een gebruikstest bij proefpersonen thuis. Deze varianten hebben we uitgevoerd voor Rabo Mobiel en het Juridisch Loket. Met de radio aan, het kind op schoot en de hond die blaft. Juist over de context en de taakopvatting verschaft de gebruikstest RealityCheck extra inzichten.

Opzet en aanleiding straatonderzoek

Het idee van een gebruikstest op straat kwam al met al niet helemaal uit de lucht vallen. Maar… een beetje vreemd was het natuurlijk wel. Maar op straat heb je geen last van beroepsrespondenten en je kunt er wel flink meters maken. Althans dat was de gedachte.

Het congres Marketing3 vormde de aanleiding. Marketing in tijden van schaarste, dan wil je met minimale inspanningen maximaal resultaat. Geen lab en respondenten dus, maar gewoon de straat op. Voorafgaand aan Marketing3 hebben we een straatonderzoek uitgevoerd naar kernfunctionaliteit van zes sites rondom drie thema’s:

 

Wonen

www.funda.nl (spreker: Jeroen Wilhelm) en
www.jaap.nl (spreker: Hans Voorn)

Eten

www.iens.nl (spreker: Iens Boswijk) en
www.thuisbezorgd.nl (spreker: Jitse Groen)

Community

www.ouders.nl (spreker: Henk Boeke) en
www.girlscene.nl (spreker: Monique van Loon)

In Hoog Catharijne hebben we in de -koude!- stationshal mini-gebruikstests afgenomen. De resultaten werden op Marketing3 gepresenteerd in de vorm van filmfragmenten. De eigenaren van de sites konden daar vervolgens op reageren.

Reacties van Funda, Jaap, Iens, Thuisbezorgd, Ouders en Girlscene

Tijdens het debat ontmoetten Jeroen Wilhelm (funda.nl) en Hans Voorn (jaap.nl) elkaar voor het eerst in het echt. Dat was in ieder geval een opvallend collegiaal moment, en voor de collega’s van DutchCowboys zelfs aanleiding voor een fotomomentje. Konden de ouders van Henk Boeke (ouders.nl, de oudste community van Nederland) en de meiden van Monique van Loon (girlscene.nl, website van het jaar 2007) iets gemeenschappelijks vinden in de resultaten? In ieder geval konden Iens Boswijk (iens.nl) en Jitse Groen (thuisbezorgd.nl) het zeker met elkaar vinden. Gloort daar iets web 2.0-achtigs aan de horizon? Afijn, bekijk daarvoor het videoverslag.

 

Resultaten onderzoek

Wat zijn onze ervaringen geweest met het straatonderzoek? Een paar punten:

• Ook zeer korte gebruikstest (10 minuten of minder) kunnen – verrassend veel – relevante inzichten opleveren over de waarde van de online propositie en usability.
• Voorbijgangers zijn bruikbare respondenten. Iedereen is voldoende thuis op het web om relevante en bruikbare reacties te kunnen geven.
• Niet alle doelgroepen zijn overdag op straat te vinden. Waar waren die vrijdag bijvoorbeeld de ouders met jonge kinderen?
• Bij analyse is nog steeds expertise op het gebied van usability en onderzoek nodig om het kaf van koren te scheiden.
• En, inhakend op de discussie tussen Keen en Dullaart op Marketing 3 blijft het vertalen van knelpunt naar voorstel ons inziens ook een taak voor experts (of expert-users natuurlijk 🙂

Tips & trucs Usability op straat

Kort en goed: wanneer is een gebruikstest op straat een goed idee?

• Als de beoogde doelgroep breed is, en de site met een eenvoudige opdracht te testen is.
• Als de eerste indruk telt: op straat lijdt men niet aan responditis.
• Als de opdrachtgever zoekt naar extra overtuigingskracht van de man in straat.

Voor complexere taken en meer gedetailleerde interface vraagstukken moet je gerichter testen. Met beter geselecteerde respondenten en met meer en uitgebreidere opdrachten.

Gebruikstest StreetWise

De standaard gebruikstest is voor ons zeker niet afgeschreven. Maar deze specifieke variant van de gebruikstest, door ons maar voor het gemak maar gebruikstest StreetWise gedoopt, is wat ons betreft een nuttige aanvulling op het usability-instrumentarium.

* En ja, ons idee van een straatonderzoek was ontstaan los van het Marketingfacts plan voor de babbelbox. Vraag maar aan Marco. Hij zou samen met ‘onze’ Frank in een debat. Quid non. Synchroniciteit of gewoon toeval?