Als je niks vraagt, krijg je niks te horen: hoe je inzicht haalt uit je onderzoek

Veel merk- en publieksonderzoek levert wel ‘informatie’, maar bijster weinig inzicht op. Laat staan dat het inspireert tot zinnige verbeteringen. Wat maakt dat onderzoeken vaak de plank misslaan? En hoe stel je kwaliteit nu boven kwantiteit?

Reclameman David Ogilvy constateerde het al in de jaren 60:

I notice increasing reluctance on the part of marketing executives to use judgement; they are coming to rely too much on research, and they use it as a drunkard uses a lamp post: for support, rather than for illumination.

Helaas lijkt er een slordige halve eeuw later weinig veranderd. Niet alleen de manier waarop onderzoeksresultaten gebruikt worden is twijfelachtig. Ook de manier waarop ‘gemeten’ wordt, is vaak tenenkrommend. Als gevolg leveren veel onderzoeksinvesteringen wel ‘informatie’, maar bijster weinig bruikbaar inzicht in de belevingswereld van klanten. Laat staan dat ze zinnige vervolgstappen inspireren (zoals slimme aanpassing van product, dienst, beleid, marketing- of communicatiestrategie).

Wat de organisatie graag wil horen, is te vaak leidend

Consumenten/burgers krijgen op jaarbasis een indrukwekkende hoeveelheid onzinnige onderzoeken voorgelegd. Het onrustbarende is dat ook gerenommeerde onderzoeksbureaus en instellingen zich er schuldig aan maken. Met onderzoek geldt hetzelfde als met een creatieve briefing: garbage in, garbage out. My word: there’s a lot of garbage out there.

Onlangs werd ik door de Gemeente Amsterdam (Dienst Onderzoek & Statistiek) uitgenodigd om “mijn mening te geven over mijn buurt”. Zoals de meeste bewoners verheugde ik me daar meteen enorm op. Wat schetste mijn verbazing: aan de meest beruchte buurtproblemen (zwerfvuil, opstoppingen, Airbnb, Nutella-winkels) waren geen vragen gewijd. Wel mocht ik vertellen of ik graag met een wooncoach(?) wilde praten, of ik het fenomeen ‘buurtrestaurant’ kende en of ik wist op welke dagen ik het vuilnis buiten mag zetten. Voor mijn ‘mening’ was bijster weinig ruimte.

Waar je niet naar vraagt, krijg je niet te horen

De onderzoeksaanpak van de Gemeente Amsterdam is vergelijkbaar met een dokter die tegen een patiënt met een longontsteking zegt: “Heeft u pijnlijke voeten, nee? Dat is er niks met u aan de hand mevrouwtje”. Waar je niet naar vraagt, krijg je niet te horen – het klinkt bijna Cruijffiaans.

Het meest hilarische was nog wel dat deelname aan de enquête niet tot bewoners was gelimiteerd. Iedereen in het bezit van de postcode kon zich voor bewoner uitgeven en meedoen. Ook partijen die belang hebben bij een ‘niks aan de hand, meeste bewoners reuze blij’-conclusie (zoals bijvoorbeeld de beruchte bierfietsexploitanten).

Wil je weten wat je klanten belangrijk vinden, of wil je je zelfbeeld bevestigen?

Ook dit weekend was het weer raak. Ik kreeg een enquête voorgelegd over mijn meest geliefde theaterfestival. Zelfs voor mij als hardcore-fan, bleken de vragen (zoals over 20 imago-aspecten over “het festival als geheel”) een uitdaging. Zo werd me bijvoorbeeld gevraagd of ik de imago-aspecten ‘verwonderend’, ‘overdadig’ en ‘ontroerend’ van toepassing vond op het festival als geheel. Tja. Ondanks mijn liefde voor het festival, had ik over de genoemde ‘imago-aspecten’ nog nooit nagedacht. Laat staan dat ze enige invloed hebben op mijn bezoek aan en/of liefde voor het festival.

Hoe erg is het als bezoekers het festival wel/niet ‘overdadig’ vinden (wat bedoelen ze hier überhaupt mee?). En wat heeft het festival eraan om te weten of ik het imago aspect ‘feestelijk’ van toepassing vind? Interessantere vragen zouden zijn:

• Hoe belangrijk is de sfeer rondom een festival voor jou?
• Hoe zou je de sfeer van dit festival omschrijven?
• Wat maakt een feestelijke sfeer?
• Waarom voelt dit festival meer/minder feestelijk dan andere festivals?
• Wat zou de organisatie kunnen veranderen om dit gevoel te vergroten?

Maar daar werd dan weer niet naar gevraagd. Ik ben reuze benieuwd wat deze enquête de festivalorganisatie oplevert. Vooralsnog lijkt het vooral weggegooid subsidiegeld.

14 stellingen over een schuursponsjes-merk, seriously?

Het voorbeeld van de festival-enquête staat helaas niet op zichzelf. De ‘actieve kennis’ van consumenten over producten, merken, organisaties en onderwerpen wordt vaak zwaar overschat. Let’s face it: het geheugen van iedere consument puilt uit van de informatie. Als hij over een merk of organisatie überhaupt al informatie opslaat, bestaat die vaak uit enkele trefwoorden, een paar beelden, een gevoel.

De ‘actieve kennis’ van consumenten over producten, merken, organisaties en onderwerpen wordt vaak zwaar overschat.

Ondertussen schromen marketeers en onderzoeksbureaus niet om respondenten 20 tot 30 stellingen over vergezochte imago- en persoonlijkheidskenmerken voor te leggen. Tja, als je mensen een vraag stelt, antwoorden ze wel. Ook als het over dingen gaat waar ze volstrekt geen mening over hebben. Maar wat zegt dit over hun actieve belevingswereld? Bijster weinig.

Meet de verandering waar je op stuurt

Meten op merk(kennis, imago)-doelen die voor je klanten niet relevant zijn en/of waar je niet op stuurt, heeft geen enkele zin. Focus je liever op het goed operationaliseren van de aspecten die er echt toe doen, en die daadwerkelijk leidend zijn voor je communicatie. Op welke prestatie- of imagoaspecten wil je hoog of hoger scoren? Op welke verandering van merkkennis en gevoel stuur je in je marketingcommunicatie? Wat zijn de belangrijkste imagoaspecten waar je verandering in wil brengen, waarop je je voorsprong wil bewaren?

Wat heb je aan een mening als je niet weet wat erachter zit?

Een ander probleem van veel onderzoeken is dat de vragen enorm vaag geoperationaliseerd zijn. Wat kun je met antwoorden op stellingen in de trant van: ‘Dit product is helemaal van deze tijd’ of:  ‘Dit is een product dat bij mij past’. En zelfs als ik ‘ja’ antwoord, wat weet je dan? Fair enough, je weet dan in hoeverre klanten jouw product of merk als inwisselbaar of bijzonder beschouwen. Maar de vraag is of het antwoord op deze vraag je helpt om daarachter te komen: “In hoeverre bent u ermee eens dat merk X uniek is?” Als 80 procent dan ‘ja’ zegt, wat weet je dan?

Het wordt pas interessant bij de waarom-vraag

De totaalscore op de vraag ‘Dit is een product/merk dat bij mij past’ is dus weinig informatief. Wat interessanter is: waarom vind iemand dat deze boter met verjongingsvitaminen zo goed bij hem of haar past? Waarom vindt hij/zij dat deze op afstand bestuurbare koffiezetmachine zo uniek is – of niet? Als ik weet waarom iemand zich wel of niet aangesproken voelt door een product, geeft dat me inzicht in zijn drijfveren.

Waarom ziet iemand er wel of geen voordeel en/of verbetering in? Then we’re talking. Maar de waarom-vraag wordt in kwantitatief onderzoek om praktische redenen (want lastig te analyseren en kwantificeren) niet gesteld. En als de onderzoeksresultaten eenmaal binnen zijn, wordt er intern vrijwel nooit op doorgevraagd.

Onderzoek, ‘gewoon, omdat het kan’ of…

Ook gaat er nog steeds enorm veel geld om in branchemonitors die jaar op jaar gedaan worden. Dat soort onderzoeken zijn relatief goedkoop, maar leveren vaak ook weinig op. Zeg eens eerlijk: rechtvaardigen de jaarlijkse kosten van die branchemonitor de kosten nou wel echt? Helpt deze je om beslissingen te nemen? Doe je mee aan een jaarlijkse imagometing omdat dit je inzichten geeft om je beleid, merk, marketing- of communicatiestrategie op aan te passen? Of gewoon, omdat het vaste prik is en omdat je het al jaren zo doet?

Wat levert het op om periodiek je imago op twintig generieke kenmerken te meten? Een paar duizend euro per jaar om mee te lopen in een branchemonitor klinkt misschien als koopje. Maar als het je geen moer aan werkbaar inzicht oplevert, is het een pennywise pound foolish-investering.

Doe je mee aan een jaarlijkse imagometing omdat dit je inzichten geeft om je beleid, merk, marketing- of communicatiestrategie op aan te passen? Of gewoon, omdat het vaste prik is en omdat je het al jaren zo doet?

Hoeveel zekerheid geven cijfers nou echt?

In menig boardroom geldt nog steeds het credo ‘meten is weten’. En dat meten doe je bij voorkeur in cijfers: de lingua franca van de boardroom. Cijfers zijn ‘waar’. Als de cijfermatige scores op vage stellingen intern (door)gepresenteerd worden, vraagt dan ook vrijwel nooit iemand door over wat ze nu echt vertellen. Als het in een getal past, moet het waar zijn.

“Het feit dat 80 procent van de respondenten ons merk uniek vindt (vorig jaar was het nog maar 75 procent, hoera!) betekent een plusje voor de marketingafdeling en dat is fijn. Dus herhalen we hetzelfde waardeloze onderzoek volgend jaar weer”. Wie houdt wie nou voor de gek?

Cijfers geven weliswaar informatie en een schijn van nauwkeurigheid, maar niet per se ook bruikbaar inzicht. Niet alles is in een getal te vatten. Diepte-inzicht uit kwalitatief onderzoek wordt vaak afgedaan als vaag en onbetrouwbaar (“hoe kun je op basis van 16 interviews..”).

Tja, als je op basis van kwantitatieve non-informatie een flop op de markt brengt (of een verkiezing verliest) is het ineens een stuk minder vaag. En best ook behoorlijk concreet financieel merkbaar. Het belang van diepgravend kwalitatief onderzoek in iedere fase van een beleids- of conceptontwikkelingsproces kan niet genoeg benadrukt worden. Alleen dat geeft je inzicht in wat je doelgroep echt bezighoudt, drijft – en/of juist tegenhoudt om voor je product, dienst, partij of beleidsvoorstel te kiezen – of niet.

Aan informatie zonder inzicht heb je geen moer

Kortom stel kwaliteit boven kwantiteit. Onderzoek goed of doe het niet.

1. Focus op de vragen die er het meeste toe doen. Stel een duidelijk doel: wat wil je weten? Waarom is het antwoord op deze vragen belangrijk? Welke toekomstige beslissingen moeten/kunnen het onderzoek ondersteunen?
2. Staar je niet blind op cijfers. Neem geen genoegen met kwantitatieve scores, zonder te weten wat erachter zit.
3. Als je wel kwantitatief meet, doe het dan op een kwalitatieve manier. Operationaliseer liever 1 tot 3 imagoaspecten goed, dan 20 op een oppervlakkige en knullige manier. Ben realistisch over de interesse en voorkennis die je veronderstelt bij je doelgroep.
4. Stop met jaarlijks geld over de balk smijten aan branche-monitors, omdat je dat al jarenlang doet.

In hoeverre zie je kansen jouw onderzoeken te optimaliseren? Ik ben benieuwd.