Evalueren om te optimaliseren: 5 vormen van gebruikersonderzoek

Dat niet elke website het gewenste effect bereikt, zal niemand verbazen. Maar wat te doen als je bezoekers voortdurend de weg kwijtraken, informatie niet begrijpen of zonder leesbril geen kant op kunnen? Eén van de oplossingen: een succesvolle webevaluatie door middel van gebruikersonderzoek. In dit artikel een overzicht van 5 effectieve evaluatiemethoden.

5 evaluatiemethoden

Webevaluatie kan op twee manieren plaatsvinden: met behulp van gebruikers en met behulp van experts. In het laatste geval bezoeken web- en communicatie-experts een website, waarbij ze nagaan of deze site gebruiksvriendelijk is. Bij gebruikersonderzoek bezoeken werkelijke gebruikers of proefpersonen een website, terwijl onderzoekers hun gedrag registreren. Daar kunnen ze verschillende evaluatiemethoden voor gebruiken. 5 doeltreffende manieren op een rij:

1. hardopdenkmethode (thinking aloud)
2. oogbewegingsregistratie (eye tracking)
3. evaluatievragenlijsten
4. feedbackfaciliteit
5. splittesten

Met de meeste methoden heb ik kennis gemaakt tijdens mijn studie aan de Universiteit Utrecht en het schrijven van mijn scriptie o.l.v. Sanne Elling en Leo Lentz. In samenwerking met onderzoekers van de Universiteit Twente onderzoeken zij momenteel aan de hand van gemeentewebsites de bruikbaarheid van webevaluatiemethoden. Daarbij gaat het onderzoeksprogramma ook na in hoeverre de combinaties van deze methoden effectief zijn voor het achterhalen van problemen op de websites. Overigens volgt mijn overzicht niet exact de methoden die in dit programma worden onderzocht.

De hardopdenkmethode

Een veelgebruikte methode bij webevaluatie is de hardopdenkmethode. Bij een evaluatie met deze methode krijgen proefpersonen een taak voorgelegd, die ze moeten uitvoeren op een website. Vervolgens wordt hen gevraagd om hardop de gedachten te verwoorden die ze tijdens het uitvoeren van die taak hebben. Er zijn verschillende variaties mogelijk:

• Synchroon hardopdenken (concurrent think aloud)
  Synchroon hardopdenken is de variant waarbij proefpersonen tijdens het uitvoeren van een taak op een website hun gedachten en handelingen hardop uitspreken.

• Retrospectief hardopdenken (retrospective think aloud)
  Bij deze methode werken proefpersonen in stilte aan hun taak. Achteraf verwoorden zij hun gedachtegang met behulp van video-opnamen van hun surfgedrag.

• Hardopdenken in teamverband
  Deze variant wordt weinig ingezet, omdat er meer proefpersonen voor nodig zijn dan bij de overige varianten. Bij hardopdenken in teamverband moeten 2 mensen samen de taak volbrengen en daarbij uitgebreid overleggen. De gedachte hierachter is dat mensen het makkelijker vinden om met elkaar over een website te praten, dan om in hun eentje hardop te denken.

Onderzoekers verwachtten dat deze verschillende varianten effect hebben op  de uitkomsten van de evaluatie, bijvoorbeeld omdat proefpersonen die achteraf verbaliseren zichzelf gedachten toeschrijven die ze tijdens de taakuitvoering niet hadden. Onlangs studeerde ik af op dit onderwerp; daarover in een volgend artikel meer.

De hardopdenkmethode is zinvol omdat onderzoekers hiermee inzicht krijgen in de gedachtegang van webgebruikers. Door zowel te observeren als te luisteren naar de gedachten ontstaat een beeld van de problemen die het werken op een bepaalde website oplevert, en ook waarom deze problemen ontstaan. Daarnaast is deze methode relatief goedkoop en eenvoudig uit te voeren: je hebt slechts een computer en eventueel (bij de retrospectieve methode) opnameapparatuur voor beeld en geluid nodig.

Oogbewegingsregistratie (eye tracking)

Over deze methode is al veel geschreven op Frankwatching, zoals door Charlotte van Dael en Anneriek Poelman. Bij oogbewegingsregistratie voeren proefpersonen taken uit op een website, terwijl al hun oogbewegingen vastgelegd worden met behulp van een eye tracker, bijvoorbeeld de Tobii. Ook de nieuwe website van Frankwatching is met behulp van deze methode geëvalueerd. Met oogbewegingsregistratie kunnen onderzoekers nagaan naar welke items op een webpagina de proefpersonen kijken. En vooral: naar welke items niet.

Door de oogbewegingen van meerdere personen kunnen ook bepaalde patronen in kijkgedrag worden vastgesteld, zoals het ‘F-patroon‘ waarin sitebezoekers webinhoud lezen. Deze en soortgelijke conclusies kunnen de inrichting van webpagina’s beïnvloeden.

Het resultaat van oogbewegingsregistratie is een gaze trail of (bij de combinatie van meerdere registraties) een heatmap. In het eerste geval geeft de grootte van de cirkel de duur van de fixaties (‘het kijken’) aan. Hoe groter de cirkel, hoe langer de proefpersoon heeft gekeken. De heatmap geeft aan waar een groep van proefpersonen veel heeft waargenomen. De rode gebieden zijn het vaakst gezien.

Hoewel deze methode vaak gebruikt wordt, is alleen oogbewegingsregistratie als probleemopsporende methode vaak niet voldoende. Hoewel je ermee kunt achterhalen wat webgebruikers op je website doen, weet je nog niet waarom ze het doen. En juist dat is meestal noodzakelijke kennis om je website te optimaliseren. Ook maakt de geavanceerde registratieapparatuur deze methode relatief kostbaar.

Evaluatievragenlijsten

Vragenlijsten zijn vaak geschikt om voor langere tijd op een website te plaatsen. Het is een methode om ‘werkelijke bezoekers’ van je site te ondervragen: mensen die uit zichzelf op jouw website terecht zijn gekomen. Dimensies waarin je in de vragenlijst bijvoorbeeld aandacht kunt besteden zijn inhoud, navigatie en vormgeving. Toch bestaat er in de wetenschap nog onduidelijkheid over evaluatievragenlijsten: hoe komen mensen aan oordelen, waar baseren ze die op? En wanneer vormen ze die oordelen?

Als je een dergelijke lijst op je website zet, hebben bezoekers de keuze om deze wel of niet in te vullen. Een voordeel daarvan is dat de personen die ervoor kiezen dit wel te doen, serieus zijn. Een nadeel van de vragenlijst is daarentegen dat uit onderzoek blijkt dat de antwoorden die mensen geven niet de weergave zijn van hun ‘echte mening’, maar een weergave van de gedachten die op het moment van het antwoorden het beste bereikbaar zijn in het geheugen. De onderzoekers, Zaller en Feldman, dragen als bewijs de willekeur aan antwoorden aan. Als proefpersonen na een tijdje worden gevraagd dezelfde vraag te beantwoorden, geeft maar de helft hiervan hetzelfde antwoord.

Feedbackfaciliteit

De vierde methode is het plaatsen van een feedbackfaciliteit op je website. Hiermee krijgen je bezoekers de gelegenheid om per pagina commentaar op de site te geven. Een veelgebruikt instrument daarvoor is de feedbackbutton: een knop die verwijst naar een invulscherm waarop sitebezoekers hun commentaar kwijt kunnen.

Een voordeel van deze methode is dat je het gedrag van een gebruiker in een natuurlijke context onderzoekt. Je kunt op een eenvoudige manier spontaan feedback verkrijgen, en daarmee direct inzicht in problemen, wensen en ideeën van je bezoekers. De gebruiker is dan zowel gebruiker als beoordelaar van je website. In 2007 onderzocht een student van de Universiteit Utrecht het gebruik van de feedbackfaciliteit op gemeentewebsites.

Splittesten

De laatste methode is splittesten, ook wel a/b-testen. Bij splittesten wordt gebruik gemaakt van 2 of meer versies van een website, homepage of webapplicatie, die at random aan webbezoekers worden getoond. Uiteindelijk zal met een van de versies de meeste conversie worden behaald. Welke dat is, kun je achterhalen met gratis software van Google. Deze variant kun je, afhankelijk van je doelstellling, beschouwen als de beste site of applicatie. Splittesten wordt vooral gebruikt bij het evalueren van websites en applicaties met commerciële doeleinden. Een nadeel van deze methode is dat je niet precies weet wat webgebruikers aan de ene website beter vinden, en waarom.

Methoden combineren

Zoals uit dit overzicht blijkt, hebben alle bovenstaande evaluatiemethoden hun voor- en nadelen. Om een zo volledig mogelijke evaluatie uit te voeren is het een logische overweging om een aantal van deze methoden te combineren. Denk daarbij aan oogbewegingsregistratie en hardopdenken of splittesten en een evaluatievragenlijst.

Voor nu ben ik erg benieuwd naar jullie ervaringen met webevaluatie. Welke (combinaties van) methoden zijn volgens jullie succesvol? En welke absoluut niet? Laat het weten!

Bronnen

Van den Haak, M., De Jong, M. & Schellens, P.J. (2003). ‘Retrospective versus concurrent think-aloud protocols: Testing the usability of an online library catalogue.’ In: Behaviour & Information Technology, 22, 339 – 351.

Van den Haak, M. & De Jong, M. (2003). ‘Exploring two methods of usability testing: concurrent versus retrospective think-aloud protocols.’ In: IEEE International Professional Communication Conference, 21-24 Sept. 2003, Orlando, Florida, USA, 285 – 287.

Van den Haak, M., De Jong, M. & Schellens, P.J. (2009). ‘Evaluating municipal websites: A methodological comparison of three think-aloud variants.’ In: Government Information Quarterly, 26, 193 – 202.

Zaller, J. , Feldman, S. (1992). ‘A simple theory of the survey response: answering questions versus revealing preferences’. In: American journal of Political Science, nr 3, 579 – 616