De succesfactoren van usability onderzoek bij NS en SNS

Woensdag 27 mei 2009 is wederom de Usability award toegekend. NS en SNS waren beiden door een jury van deskundigen genomineerd. Beide organisaties pasten een vergelijkbare methode toe bij het onderzoeken en verbeteren van de usability van hun ‘site in ontwikkeling’. In dit artikel gaan we in op de onderzoeksaanpak bij NS en SNS.

Zowel NS als SNS hebben gekozen om op een vergelijkbare iteratieve manier tijdens de ontwikkelingsfase van de site onafhankelijk usability onderzoek te laten uitvoeren. Na een korte inleiding volgen in dit artikel de belangrijkste factoren die tot het succes van het onderzoek en dus de usability van de sites van NS en SNS hebben bijgedragen.

Usability en usability onderzoek

Om tot een goede usable site te komen, is het van belang om met een groot aantal factoren rekening te houden. Voor beide sites was het webontwikkelbureau naast de websitebouwpartij verantwoordelijk voor zaken als het ontwikkelen van een site-concept op basis van klant- en merkwaarden, het in kaart brengen van behoeftes en het ontwikkelen van persona’s (archetypische beschrijvingen van gebruikers) en scenario’s. Zowel NS als SNS hebben daarnaast bewust gekozen voor een onafhankelijk usability onderzoek door een gespecialiseerd usability bureau (bij beide ging het om Netmarketing).

 

“Doelgericht iteratief onderzoeken tijdens de ontwikkelfase is de snelste weg naar maximale verbeteringen.”

Usability onderzoek heeft NS en SNS vooral (nieuwe) gebruikersinput gebracht. Globaal kan deze gebruikersinput betrekking hebben op zowel usability issues (verbeterpunten) als gedragsvoorkeuren van de doelgroep. Deze door het usability bureau op basis van onderzoek aangeleverde nieuwe gebruikersinput werd telkens door de bouwende partij in een nieuwe conceptversie van de te ontwikkelen site verwerkt. Vervolgens werd waar budgettair en tijdtechnisch mogelijk het geheel op iteratieve wijze opnieuw onderzocht zodat de sites steeds beter werden afgestemd op de doelgroep. Doelgericht iteratief onderzoeken is de snelste weg naar maximale verbeteringen.

Usability onderzoek bij NS en SNS

De NS heeft aparte onderzoeken laten uitvoeren voor de diverse onderdelen van de website, de Reisplanner en de menustructuren (door middel van cardsorting). De Reisplanner en site werden daarbij elk in opeenvolgende ontwikkelfasen onderzocht. Aanvullend op de onderzoeken met gebruikers uit de doelgroep werden diverse concepten en tussenontwerpen aan kort pragmatische expert reviews onderworpen.

SNS heeft eveneens haar site in verschillende ontwikkelfasen laten onderzoeken. Daarbij werden net als bij de NS telkens onderdelen apart onderzocht, zodat per onderzoek de scope van het onderzoek niet te breed zou worden ten koste van de diepgang. Zo is het onderdeel Hypotheken separaat onderzocht, evenals de onderdelen Betalen, Homepage en Klantenservice.

Voor zowel SNS als NS gold dat door verschillende onderdelen te onderzoeken er op algemene onderdelen (bijv. vlakverdeling, menu’s) ervaring kon worden opgedaan en lering kon worden getrokken voor andere site onderdelen. Het iteratieve karakter (onderzoeken, aanpassen en wederom met onderzoek toetsen) heeft in beide gevallen bijgedragen tot een bepaalde mate van user centered design met als gevolg een usable site.

De kwaliteitsbepalende factoren

Diverse factoren hebben voor NS en SNS de kwaliteit van het onderzoek beïnvloed, we noemen hieronder de belangrijkste:

1. Het belang van vroegtijdige aandacht voor usability.
2. De invloed van het aantal onderzoekers.
3. De invloed van de ervaring van onderzoekers.
4. Creëren van een realistische situatie:
   o Kwaliteit van het klikmodel.
   o Kwaliteit van de respondenten (deelnemers aan onderzoek).
5. Het aantal respondenten.
6. De noodzaak en kwaliteit van een onderzoeksplan

Ik behandel hieronder elk van deze factoren en geef aansluitend volgen nog enkele ervaringen en leerpunten.

1. Het belang van vroegtijdige aandacht voor usability

Circa vier jaar geleden vond nagenoeg 100% van het usability onderzoek voor websites plaats voor live sites. Een steekproef in een beperkte klantenkring onder bedrijven met omvang en profiel als NS en SNS leert dat dit in 2009 nog maar 20%-30% bedraagt. De overige 70%-80% van alle usability investeringen worden doorgaans besteed aan sites in ontwikkeling. Ook NS en SNS hebben het merendeel van hun investering gericht op de site in de ontwikkelfase. Met name NS (met een langere ontwikkelfase dan SNS voor de site tot nu toe) was er relatief erg vroeg bij in deze professioneel belangrijke trend.

Hiervoor bestaan duidelijke rationele redenen. Uit onderzoek van Prof. Dr Mark Neerincx blijkt dat het vroegtijdig detecteren van verbeterpunten in de ontwerpfase een factor 40 kostenverschil uitmaakt in vergelijking met het detecteren en verbeteren van dezelfde punten in de live fase.

Pressman wijst er in lijn met Neerincx op dat elke dollar geïnvesteerd in user-centered design (inbreng van usability tijdens de ontwerpfase) tussen de $2 en $100 opbrengt.

2. Twee onderzoekers zien meer dan één. Drie ook?

Uit eerder onderzoek van ondermeer Nielsen bleek dat twee onderzoekers tijdens het veldwerk meer usability issues vinden dan één onderzoeker. Dit mag als niet al te verrassend lijken, toch is de vraag of a) dit verschil groot is en b) het dan ook de moeite waard is om een derde of vierde onderzoeker toe te voegen.

Er blijkt hierbij sprake te zijn van een sterk afnemende meercurve: twee onderzoekers (die het veldwerk verdelen c.q. ieder voor de helft uitvoeren) nemen drastisch meer waar dan één. Het aantal extra gevonden usability issues bij het toevoegen van een derde of vierde onderzoeker neemt echter weer degressief verder af.

Bij zowel NS als SNS zijn daarom telkens twee tot drie onderzoekers per onderzoek ingezet. Nog meer onderzoekers leidt tot nog eens meer complexiteit tijdens de verwerking van de onderzoeksgegevens (analyse, conclusies, rapportage).

Het is daarom veelal niet aan te bevelen meer dan twee tot drie onderzoekers voor het veldwerk in te zetten. De geïnvesteerde tijd (en daarmee kosten) neemt hiermee niet toe, de kwaliteitstoename van het eindresultaat is echter erg groot te noemen.

3. Ervaring: ieder ziet wat, maar wie ziet het meest?

Tijdens het bijwonen van een usability onderzoek zullen alle meekijkers usability problemen waarnemen. De vraag is echter hoeveel problemen men waarneemt en of dit de belangrijkste problemen zijn.

“Ervaren specialisten zien tot bijna drie maal zoveel usability issues”.

Ook hier heeft Nielsen cs. meta-onderzoek verricht. Het blijkt dat de ervaring van de onderzoekers een groot effect heeft op het aantal te detecteren usability issues. In een case study van Nielsen werd aangetoond dat specialisten 2.7 maal zoveel issues vonden dan personen met geen usability specialisatie.

Ook ziet de specialist 1.5 maal meer dan personen met alleen algemene basiskennis over usability. De impact van ervaring is dus groot en blijft niet enkel beperkt tot de wijze van onderzoeksuitvoering of kwaliteit van de analyse. Ervaren onderzoekers detecteren dan ook sneller problemen en zien dus meer usability issues.

4a. Realistisch situatie: kwaliteit van het klikmodel

Het onderzoeken van een site in de ontwikkelingsfase vereist een weergave van de toekomstige situatie. Hiertoe kan een klikmodel worden ontwikkeld of kunnen afbeeldingen worden getoond. De ervaring leert dat:

• respondenten in het algemeen doorgaans moeilijk kunnen omgaan met abstracte situaties
• abstracte situaties tot minder betrouwbare metingen leiden
• alle afwijkingen van de reële situatie verstorend op het onderzoek werken.

Voor betrouwbare metingen is het dus van belang dat een zo reëel mogelijke situatie wordt gepresenteerd aan gebruikers. Schema’s en schetsen toepassen in onderzoek zijn daarom vaak te beperkend en minder gewenst. Beter is het om een interactief klikmodel toe te passen.

Een interactief klikmodel kan vrij eenvoudig worden ontwikkeld op basis van het interaction design en het grafisch ontwerp. Echter, voor een grote en/of complexe site kan dit leiden tot veel ontwikkeluren voor het klikmodel. Dit werkt doorlooptijdverhogend, kostenverhogend en is vaak niet nodig. Beter is het om vanuit onderzoeksdoelen, taken en scenario’s de pagina’s van het klikmodel te bepalen. Op basis daarvan kan vervolgens meer gericht worden gewerkt aan een zo reëel mogelijke situatie. Reëel impliceert dat teksten, getallen, simulaties en weergaven zo realistisch mogelijk zijn.

Concreet heeft dit voor de NS bijvoorbeeld geleid tot weergave van data in de te onderzoeken NS Reisplanner die overeen kwamen met de onderzoeksdata, personalisatie van pagina’s op naam van de deelnemende respondent, Bij SNS ging het bijvoorbeeld om hypotheekberekeningen op basis van het budget van de respondent. Let wel: het betreft dus onderzoek met behulp van een realistisch klikmodel, waarbij ook deze variabelen per respondent gesimuleerd werden.

“Een enkel onrealistisch getal kan het onderzoek al drastisch verstoren”.

Het kan niet voldoende benadrukt worden dat hier zeer grote zorg aan moet worden besteed. Een enkel onrealistisch getal, per abuis achterblijvende Lorum Ipsum-tekst of haperende rekenmodule kan het onderzoek al drastisch verstoren met als gevolg een veel minder meetresultaat. Anderzijds kan met een onderzoekstechnisch zorgvuldig samengesteld model de hierover geïnformeerde respondent dusdanig in zijn of haar rol brengen dat deze vergeet in een klikmodel te surfen.

4b. Realistische situatie: soort en kwaliteit van respondenten

Ook de selectie van de juiste deelnemers aan het onderzoek is van grote invloed op de kwaliteit ervan. Respondenten die niet in de rol kunnen worden gebracht om de eenvoudige reden dat men de betreffende rol in real life ook niet aanneemt zijn per definitie ongeschikt. Wanneer bijvoorbeeld een rekenmodule voor hypotheken is bedoeld voor doorstromers boven de 40 jaar met een budget van € 400.000, dan zullen ook personen met exact dit profiel in het usability lab moeten verschijnen.

De kwaliteit van deelnemers kan geborgd worden door een juiste en tijdige briefing als ook een kwaliteitscontrole bij de ontvangst van de respondent. Dit laatste kan eenvoudigweg door de respondent een vragenlijst te laten invullen. Wanneer de respondent alsnog niet aan het profiel blijkt te voldoen rest maar één weg: die naar de deur.

5. Hoeveel respondenten zijn er nodig voor goed usability onderzoek?

Uit onderzoek van J. Nielsen bleek dat met vijf gebruikers ongeveer 80% van de usability problemen worden gevonden (Virzi, Nielsen). Nielsen definieert daarbij zorgvuldig confidence intervals. Het getal vijf is echter ten onrechte een eigen leven gaan leiden en voor een betrouwbaar usability onderzoek veelal niet voldoende.

Volgens Spool en Schroeder (2001) worden met vijf testpersonen slechts 35% van de problemen ontdekt uit het totaal aan problemen wat door een grotere groep werd ontdekt. Bovendien bleek uit onderzoek van Perfetti en Landesman (2002) dat elke persoon meer dan vijf en tot zeker de achttiende persoon vijf of meer problemen ontdekte die niet door de eerst vijf personen waren ontdekt.

Faulkner (2003) ontdekte dat het testen met vijf personen gemiddelde 85% van de usability problemen ontdekte. Echter, het percentage varieerde van bijna 100% tot slechts 55%. Het is dan ook niet binnen een acceptabele bandbreedte te stellen welk percentage van de usability issues zijn gedetecteerd. Gemiddelden zijn slechts bruikbaar indien de spreiding beperkt is.

Direct uitgaan van 5 testpersonen leidt dus tot de kans dat bijna de helft van de usability problemen niet worden gevonden. Met 10 deelnemers ontdekte zij gemiddeld 95% van de problemen, met minder spreiding: minimaal 82% werd in ieder geval gevonden.

Met 15 deelnemers werd 97% van de usability problemen gevonden met een minimum van 90%. Met meer onderzoeksdeelnemers neemt dus het aantal gevonden usability issues toe en neemt de spreiding af. Dat laatste is gunstig, we weten dan immers binnen een kleinere bandbreedte welk percentage van de usability issues zijn gevonden.

“Met 5 respondenten tast je in het duister over het percentage gevonden issues”.

Het kostenverschil tussen 10 of 15 respondenten hoeft niet groot te zijn: in beide gevallen moet er een onderzoeksplan worden gemaakt, onderzoek georganiseerd, data worden verzameld en geanalyseerd op vervolgens te rapporteren. De relatief geringe meerkosten geven de mogelijkheid meer issues te vinden door zowel dieper als breder te onderzoeken. Tijdens een onderzoek wordt daarmee met enkele extra respondenten ruimte gecreëerd om onverwachte zaken in observaties nader te kunnen onderzoeken.

6. Onderzoeksplan: test de test

In theorie zou men kort door de bocht enkele voor de hand liggende taken aan respondenten voor kunnen leggen, om deze vervolgens te observeren. Echter, enerzijds moeten deze taken rechtstreeks verband houden met onderzoeksdoelen en use cases.

Anderzijds is het scala van mogelijke onderzoeksmethoden en af te wegen registratiemethoden doorgaans dusdanig groot dat 60 minuten bruto onderzoekstijd per respondent te kort is. Er moeten dus afwegingen en keuzes worden gemaakt. Kortom: het onderzoek moet vooraf grondig worden ontworpen voor de betreffende situatie en vast worden gelegd in een onderzoeksplan.

“Het eerste wat getest moet worden is de test zelf.”

Voor zowel SNS als NS heeft het ontwerpen van een onderzoeksplan per onderzoek één tot twee dagen gevergd. Daarbij moet dit plan worden kortgesloten met de opdrachtgever en vooraf worden getest. Dit vooraf testen van de test is een cruciaal punt in het borgen van de kwaliteit van het onderzoeksplan en de uitvoering van het onderzoek.

Ervaringen en leerpunten

In het algemeen (en los van de hier aangeduide cases) blijkt nog vaak dat meekijkende ontwerpers zelf weinig tot soms nog nooit een usability onderzoek hebben meegemaakt. De grote vraag is dan waar de veronderstellingen met betrekking tot het gebruikersgedrag op zijn gebaseerd.

Beter is het om deze te baseren op onderzoekservaring, bijvoorbeeld opgedaan in een vergelijkend usability onderzoek. Door respondenten telkens voor de site belangrijk taken te laten uitvoeren op sites van anderen (bijv. concurrenten) kan meer diepgaande kennis van het gebruikersgedrag en de gebruikersvoorkeuren worden verkregen. Deze gedragscomponent kan als belangrijke bouwsteen dienen voor het uiteindelijke siteontwerp.

In bredere zin kan daaraan voorafgaand het hele gebruikersproces in onder meer focusgroeponderzoek worden achterhaald. Het gebruikersproces is het proces wat de gebruiker doorloopt in het bereiken van zijn of haar doel. De site is daarin een ondersteunend middel. In geheel andere situaties is achterhaald hoe mensen zich oriënteren op een nieuwe woning of een weekendje weg. In het klantproces van initieel idee naar uiteindelijke aankoop kan vervolgens worden bepaald hoe het middel site het proces ondersteunt.

Last but not least blijkt telkens weer dat niemand alle gevonden usability issues kan voorspellen. Hoe goed ook de ontwerper en de onderzoeker, hoe grondig ook het voortraject: onderzoek met respondenten uit de doelgroep levert altijd welkome verassingen op. De interpretatie van de verassingen vormt vaak een uitdaging. En zowel verassing als de interpretatie maken usability onderzoek een blijvend interessante zoektocht en nooit eindigend leerproces. Met als hoofddoel een optimale site, bij voorkeur net als NS en SNS geschikt voor een nominatie voor de Usability Award.