Gebruiksvriendelijkheid meten met een vragenlijst

Objectief ervaringen vergelijken is lastig. Zeker als je het hebt over gebruiksvriendelijkheid. Hoe gebruiksvriendelijk is een website in vergelijking tot concurrerende websites? Zijn er verschillen in gebruikerservaringen tussen diverse doelgroepen die op deze website komen? En hoe kom je hier achter?

Dit artikel concentreert zich op kwantitatief usability-onderzoek. Ik bekijk welke vragenlijst (de thermometer) vanuit wetenschappelijk onderzoek het meest geschikt is om te bepalen hoe gebruiksvriendelijk je website is. En hoe je deze cijfers vervolgens kunt interpreteren om vast te stellen hoe goed je het doet. Tot slot beschrijf ik op welke manieren deze vragenlijst in usability-onderzoek kan worden ingezet.

Gebruikersonderzoek

Usability-onderzoek kan kwalitatief en kwantitatief zijn. Is het aantal onderzoekseenheden beperkt – minder dan 30 per onderzoek – dan spreek je van kwalitatief onderzoek. Een onderzoek met meer dan 30 onderzoekseenheden is kwantitatief. Kwalitatief usability-onderzoek is uitermate geschikt voor het achterhalen van gedrag en dieperliggende motivaties of attitudes van gebruikers ten opzichte van een website. Ook het verkrijgen van nieuwe ideeën en mogelijkheden voor de website kan een doelstelling zijn bij dit soort onderzoek.

Maar de resultaten blijven gelden voor een vrij kleine groep gebruikers. Dit betekent dat de conclusies niet te generaliseren zijn naar een grotere groep (website-)gebruikers. Ook is de gebruiksvriendelijkheid van een website in kwalitatief onderzoek altijd contextspecifiek. Dit betekent dat het lastig is om de usability van de ene website, bijvoorbeeld van een gemeente (informatief), te vergelijken met een andere website, die van een vliegmaatschappij (e-commmerce).

Welke thermometer is de beste?

Er bestaan diverse gevalideerde vragenlijsten voor kwantitatief onderzoek om de usability van een website te evalueren. Dit artikel bekijkt alleen de niet-commerciële vragenlijsten. Aangezien deze toegankelijk voor een breed publiek en wetenschappelijk onderbouwd zijn. Een greep uit de bestaande vragenlijsten voor het beoordelen van website usability:

• System Usability Scale (Brooke, 1996)
• Questionnaire for User Interface Satisfaction (Chin, Diehl & Norman, 1988)
• Computer System Usability Questionnaire (Lewis, 1995)
• Usability Magnitude Estimation metric (Rich & McGee, 2004)

Tullis & Stetson (2004), Bangor, Kortum & Miller (2008) en Lewis & Sauro (2009) hebben diverse vragenlijsten voor de beoordeling van websites onderzocht. Allen zijn tot de conclusie gekomen dat de System Usability Scale (SUS) van Brooke een robuuste, valide en veelzijdig inzetbare vragenlijst is om tot een score van de gebruiksvriendelijkheid van een systeem, productontwikkelingsproces of website te komen.

System Usability Scale

De System Usability Scale is opgesteld door Brooke (1996) als een ‘quick and dirty survey scale’ voor usability onderzoek om de gebruiksvriendelijkheid van een systeem te beoordelen. De SUS bestaat uit 10 vragen (zie figuur 1). De vragenlijst is gebaseerd op de 3 usability-criteria, opgesteld door ISO 9241-11 (internationale standaarden voor organisaties en overheid):

1. Effectiviteit: vermogen van gebruikers om taken uit te voeren en de kwaliteit van de output van de taak
2. Efficiëntie: de hoeveelheid taken de gebruiker kan uitvoeren
3. Tevredenheid van gebruikers over het systeem (website)

De vragen zijn gemeten met een 5-punts Likert schaal (zeer mee oneens – zeer mee eens). De helft van de vragen is positief geformuleerd en de andere helft negatief. Dit is gedaan om te voorkomen dat respondenten de vragen lukraak beantwoorden zonder goed te lezen. Deze volgorde ‘dwingt’ hen om de vragen beter te lezen. En dit komt weer de kwaliteit van de output ten goede.

De SUS is interessant voor het testen van de totale usability van een website, omdat de vragenlijst:

• 1 score (bijv. 73 op een schaal van 0-100) als output geeft, die makkelijk te interpreteren is voor verschillende betrokkenen in een organisatie
• Gemakkelijk is te beoordelen (score 0-100 die overeenkomt met beoordeling van studieresultaten) en dus een vergelijking met andere websites mogelijk maakt
• Voor meerdere interfaces toepasbaar is (ook mobiel)
• Snel en gemakkelijk te gebruiken is voor respondenten
• Veel verschillende aspecten van de gebruikers reactie toetst. Zoals ‘ik vond de website onnodig complex’ in plaats van de gebruikerspecifieke aspecten van de website te beoordelen (organisatie van informatie of de vormgeving)

Wanneer doe ik het goed?

Welke SUS-score geeft aan dat je website gebruiksvriendelijk is? De uiteindelijke score uit de SUS kan lopen van 0 tot 100. Hogere scores impliceren een hogere gebruiksvriendelijkheid. Bangor, et al. (2008) hebben bijna 10 jaar onderzoek gedaan met meer dan 2300 vragenlijsten en 200 studies als input voor een benchmark voor de SUS score.

De resultaten uit hun onderzoek geven usability-onderzoekers de gelegenheid om hun SUS-scores beter te kunnen evalueren. Zij concludeerden dat de universitaire manier van betekenis geven aan cijfers gelijk is aan hoe een SUS score wordt geëvalueerd. Dus <60 is onvoldoende, 60-70 voldoende, 70-80 goed, 80-90 zeer goed en >90 uitmuntend. Ultieme score is dus 100. Het gemiddelde is 70.14 (Bangor, et al.,2008).

Hoe de SUS toe te passen in usability-onderzoek?

De System Usability Scale (voor websites: Website Usability Scale (WUS)) kun je op 6 manieren binnen usability-onderzoek toepassen:

1. Onderdeel van kwalitatief usability-onderzoek (N<30)

De gebruiker wordt na het gebruik van de website gevraagd de vragenlijst in te vullen. Het aantal respondenten is klein dus de scores worden indicatief ingezet. De scores zijn zodoende niet generaliseerbaar, maar geven je wel de mogelijkheid om je eigen score af te zetten tegen die van anderen.

2. Na een kwalitatief usability-onderzoek (N>30)

Er komen bepaalde issues uit de usability-test, maar het is niet zeker of dit ook voor de totale doelgroep geldt. De WUS kan als follow-up ingezet worden bij een grote groep gebruikers. Ook kan het interessant zijn om op efficiënte wijze te onderzoeken of er verschillen zijn in usability score voor verschillende doelgroepen.

3. Kwantitatief usability-onderzoek (N>30)

De WUS kan als opzichzelfstaand kwantitatief onderzoek worden ingezet om de gebruiksvriendelijkheid van een website te meten. Dit is goed om te bepalen of verdere actie moet worden ondernomen.

4. Onderdeel van online enquête (N>30)

Tijdens een online enquête is een grote groep in korte tijd ondervraagd over bezoekreden, bezoekfrequentie van de website. WUS vragen kunnen uitstekend ingezet worden om het construct website-usability te meten.

5. Iteratief testen van een website (N>30)

Bangor, et al. (2008) hebben onderzocht dat de WUS voorziet in waardevolle benchmarkinformatie tijdens een product – of websiteontwikkelingstraject. De WUS wordt herhaaldelijk ingezet om de voortgang van het ontwikkel- of verbetertraject te evalueren.

6. Benchmarken van websites (N>30)

De WUS-scores van diverse websites verzamelen, vervolgens de diverse scores met elkaar vergelijken. Dit geeft de mogelijkheid om te bepalen of een bepaalde website ten opzichte van concurrerende websites zijn usability wel of niet moet verbeteren. Dit is de mooiste toepassing van de WUS in combinatie met kwalitatief usability-onderzoek.

Tot slot

Kwalitatief usability-onderzoek is zeer waardevol om de gebruiksvriendelijkheid van een website te evalueren. Daarnaast kan (aanvullend of opzichzelfstaand) kwantitatief usability onderzoek middels de WUS de ‘temperatuur’ van een website meten. Als je vervolgens je scores wilt afzetten tegen de ‘norm’ is de WUS een goede manier om de gebruiksvriendelijkheid je website te meten. Daarnaast geeft de WUS-score een duidelijke en betrouwbare betekenis aan de mate van gebruiksvriendelijkheid van een website voor een grote groep website gebruikers.

Bronnen

• Bangor, A., Kortum, P.T. & Miller, J.A. (2008). An empirical evaluation of the System Usability Scale (SUS). International Journal of Human-Computer Interaction 24(6). 574-594.
• Brooke, J. (1996). “SUS: a “quick and dirty” usability scale”. in P. W. Jordan, B. Thomas, B. A. Weerdmeester, & A. L. McClelland. Usability Evaluation in Industry. London: Taylor and Francis.
• Chin, J.P., Diehl, V.A. & Norman, K. (1988). Development of an instrument measuring user satisfaction of the human-computer interface. In Tullis & Stetson (2004).
• Lewis, J.R. (1995). IBM Computer Satisfaction Questionnaires: Psychometric evaluation and instructions for use. International Journal of Human-Computer Interaction.
• Lewis, J.R. & Sauro, K. (2009). The factor structure of the system usability scale. International conference (HCII 2009), San Diego.
• Rich & McGee (2004). Expected usability magnitude estimation. In Proceedings of the Human Factors and Ergonomics Society 48th Annual Meeting (pp.912-916). Santa Monica.
• Tullis, T.S., and Stetson (2004). J.N. A Comparison of Questionnaires for Assessing Website Usability, Usability Professional Association Conference, 2004.