Combineer onderzoeksmethoden voor een beter resultaat

Binnen het servicedesignproces is het van groot belang om de klant, gebruiker of burger en haar context echt te begrijpen. Op basis hiervan maken we de juiste ontwerpkeuzes en werken we aan een optimale dienstverlening. Inzichten in het gedrag, ervaring en de behoeften vormen hierbij het vertrekpunt. Door (kwalitatief) onderzoek te doen krijgen we inzicht in de context. Maar hoe zit het met de betrouwbaarheid van de resultaten?

Twijfels over de betrouwbaarheid van kwalitatief onderzoek

Als design-onderzoeker krijg ik van (potentiële) opdrachtgevers met enige regelmaat vragen over wat onderzoek doen oplevert. Zeker als het gaat om kwalitatief onderzoek, is antwoord daarop geven soms best lastig. Vooral als organisaties relatief weinig ervaring hebben met het (laten) doen van onderzoek. Ze weten dan niet wat ze kunnen verwachten. Vaak hoor ik twijfels als: hoeveel baat heeft mijn organisatie er nu echt bij? Wat voegt het toe? En: hoe betrouwbaar zijn de resultaten?

Mijn wedervraag is daarbij altijd:

Welke keuzes maak je nu op onderbuikgevoel of vanuit aannames? En wat kost het je als je er daarbij náást zit?

De waarde van onderzoek is wat mij betreft altijd: zekerheid. In elk geval tot op zekere hoogte. Onderzoek helpt je hoe dan ook om meer gefundeerde keuzes te maken. Toch is de vraag over betrouwbaarheid natuurlijk wel een legitieme.

De paradox van betrouwbaarheid

Om op die betrouwbaarheid wat verder in te zoomen: bij kwalitatief onderzoek zijn de resultaten gebaseerd op een kleine steekproef. Daarmee zijn ze minder betrouwbaar dan bij de inzet van kwantitatieve methoden. In elk geval in de beeldvorming. Maar: al zijn kwantitatieve data misschien gebaseerd op een grotere groep mensen, zonder kennis van je doelgroep en haar context zijn ze niet altijd waardevol. Om maar niet te zeggen: waardeloos.

Waarom? Ik leg het je uit. Kwantitatieve data laten vooral zien wat er gebeurt. Met kwalitatief inzicht wordt duidelijk hoe je data kunt duiden en binnen welke context je dat wat je ziet gebeuren moet plaatsen. Als je dat niet kunt, blijft elke conclusie een holle frase. Pas als je op basis van inzicht in drijfveren en context antwoord kunt geven op de ‘waarom’-vraag hebben kwantitatieve data écht waarde. Daarom zijn kwalitatieve inzichten volgens mij onmisbaar.

De kracht van het combineren

Om die reden geloof ik heel sterk in het combineren van dataverzamel- of analysemethoden. Oftewel: triangulatie, in onderzoekstaal. Door te combineren kun je bepaalde zwakheden of tekortkomingen van de ene methode opvangen met een andere. Zo verhoog je de betrouwbaarheid en validiteit van je onderzoeksresultaten. Dit geldt overigens alleen als je een combinatie van kwalitatieve en kwantitatieve dataverzamelingsmethoden gebruikt.

Triangulatie kun je op verschillende manieren toepassen. Er bestaan verschillende vormen: methodische, theoretische, bronnen- en onderzoekstriangulatie. In dit artikel ga ik vooral in op het toepassen van methodische triangulatie, wat ook wel mixed methods-onderzoek heet.

Het toepassen van ‘mixed methods’

Letterlijk betekent triangulatie ‘driehoeksmeting’, maar in de praktijk pas je het al toe als je twee of meer onderzoeksmethoden combineert om over hetzelfde onderwerp resultaten te verzamelen. Als design-onderzoeker zie ik voornamelijk de meerwaarde van ‘mixed methods’ in de verificatie van  resultaten.

Een van de meestgebruikte voorbeelden is het uitzetten van een enquête nadat je diepte-interviews hebt gedaan, om zo de inzichten te staven onder een grotere doelgroep. Je kunt ervoor kiezen om verschillende methoden parallel aan elkaar in te zetten. Ik kies er vaak voor om ze na elkaar toe te passen.

Een paar andere voorbeelden van methodische triangulatie zoals ik die inzet zijn:

1. Data-analyse, interview, enquête

Met een data-analyse van klantervaringen (bijvoorbeeld van eerder uitgevoerd klanttevredenheidsonderzoek waarin onder meer de NPS en/of Customer Effort Score wordt uitgevraagd) krijg je een algemeen beeld van de tevredenheid over je dienstverlening. Helaas is er binnen kwantitatief tevredenheidsonderzoek weinig tot geen ruimte voor diepere inzichten. Je kunt met kwalitatieve feedback van respondenten of feedback (vragen/klachten) van de doelgroep die via een callcenter binnenkomen nog extra kwalitatieve inzichten verzamelen. Maar de echte drijfveren en motieven van klanten haal je er onvoldoende uit.

Door interviews te doen krijg je meer inzicht in de klantervaring en tegen welke zaken de klant aanloopt in relatie tot je organisatie, welke verwachtingen hij van de organisatie heeft en waar hij echt mee geholpen is. Met een enquête staaf je de inzichten uit het interview onder een grotere groep gebruikers. Zo stijgt de validiteit van je onderzoeken zijn de resultaten betrouwbaarder.

2. Dagboekstudie, interviews, enquête

Om meer inzicht te krijgen in de activiteiten, het gedrag en ervaringen van doelgroepen kan longitudinaal onderzoek zoals een dagboekstudie goed werken. Longitudinaal onderzoek is onderzoek waarbij de dataverzameling over een lange periode plaatsvindt, op vaste momenten, met dezelfde proefpersonen.

Een dagboekstudie verzamelt inzichten door deelnemers te vragen zaken bij te houden tijdens een bepaalde periode. In het ‘dagboek’ legt de deelnemer antwoorden vast op vragen over gedrag, acties en ervaringen die verband houden met het probleem dat je onderzoekt. Dit kan met tekst, (bewegend of stilstaand) beeld of geluid. De data die je hiermee verzamelt vormt een goede basis om met die deelnemer verder in gesprek te gaan. Je vindt zo voldoende aanknopingspunten in wat de deelnemer heeft vastgelegd om te bespreken en op door te vragen.

Zo krijg je diepere inzichten in de drijfveren, behoeften en onderliggende motivatie. Dit kost wel veel tijd, en daardoor kun je vaak maar een klein aantal deelnemers betrekken. Daarom is het verstandig om ook hier inzichten te toetsen onder een grotere groep. En dat kan dan weer het beste met een enquête.

Eventueel kun je ervoor kiezen om voorafgaand aan de dagboekstudie deskresearch te doen. Je analyseert dan bijvoorbeeld beschikbare cijfers en studies die bekend zijn over de doelgroep of het probleem. Zo kun je al iets meer focus aanbrengen in je dagboekstudie en gerichtere vragen of opdrachten ontwerpen.

Als er erg weinig bekend is over de context van de problematiek of de doelgroep die je onderzoekt, kun je ook starten met een online enquête en deze inzichten vervolgens juist verdiepen met een dagboekstudie en interviews.

Het beste van twee werelden

Zo zijn er nog veel meer goede combinaties te maken van kwalitatieve en kwantitatieve onderzoeksmethoden die elkaar ondersteunen en betere resultaten geven dan wanneer je één dataverzamelingsmethode inzet. Het combineren van verschillende methoden hoeft niet altijd veel geld te kosten: je kunt het prima kleinschalig en eenvoudig opzetten. Ook als je budget niet tot in de hemel reikt.

Dus: combineer onderzoeksmethoden. Zo heb je het beste van beide werelden: dieper gaande inzichten in wat mensen drijft én een grotere betrouwbaarheid van je resultaten. En pas dit het liefst zo vroeg mogelijk in het (ontwerp)proces toe.