The measure of reality in A/B-testing

Je kent het wel: je bent op een evenement over online communicatie en het onderwerp A/B-testing komt aan bod. Er wordt verteld waarom de vrouw met het blonde haar vaker geklikt heeft dan de vrouw met het donkere haar, of waarom de gele button veel beter scoort dan de rode variant. Als online marketeer en communicatie-expert plaats ik hier enkele kritische kanttekeningen bij.

Algemene conclusies

Aan deze en andere testresultaten worden al snel algemene conclusies verbonden. Bijvoorbeeld ‘Vrouwen met blond haar met gele buttons scoren beter dan brunettes met rode buttons’. Een hogere waarheid is gevonden, wordt omarmd, gedeeld en haast tot profetie uitgeroepen. “Waarom is nooit eerder iemand tot zulke inzichten gekomen?” en “laten we vanaf nu alle campagnes op deze manier inrichten, want uit deze resultaten blijkt duidelijk dat we hierdoor een hoger rendement halen” zijn enkele kreten die ik in deze context vaak hoor.

Een nieuwe pseudowetenschap

Deze conclusies komen op mij soms over alsof wij onszelf een nieuwe pseudowetenschap eigen aan het maken zijn. En dat kan nooit goed zijn. Want laten we wel wezen: is het überhaupt mogelijk dergelijke kwantificeerbare uitspraken te doen over een groep mensen? Kan ik zeggen dat wanneer 60% van de mensen klikt op een gele button en 40% op een rode, dit betekent dat de rode button zonder meer heeft afgedaan? Zien we dan niet iets over het hoofd?

Voorbeeld: mensen tekort doen met chocolade

Laten we voor de grap de gele button eens vergelijken met een schaal chocolaatjes en de rode met een mand fruit die midden op een tafel staan. Er omheen zit een groep van twintig mensen. Van deze twintig mensen pakken er twaalf zonder meer een chocolaatje en acht altijd een stuk fruit. Conform de regels van A/B-testing zou ik dan de conclusie trekken dat de chocolaatjes beter gewaardeerd worden.

Bij een volgende sessie met dezelfde groep mensen zou ik – wederom volgens die regels  – beter twee schalen chocolaatjes op tafel kunnen zetten. Dan doe ik echter acht mensen tekort. Deze personen hebben immers liever fruit en doe ik absoluut geen plezier met chocolade.

Is communicatie altijd kwantificeerbaar?

Naar aanleiding van bovenstaand voorbeeld wil ik voorstellen voor eens en voor altijd af te stappen van de gedachte dat in online communicatie altijd alles maar kwantificeerbaar moet zijn. We moeten er juist naar streven die diepere laag in communicatie aan te boren:  op individueel niveau de juiste boodschap bij de juiste persoon pogen te brengen. Weg met de nietszeggende metadata, op naar specifiekere persoonlijke data!

Laten we die persoon die meer om blonde vrouwen geeft, een blonde vrouw voorschotelen. En als hij of zij daarbij liever een rode button heeft, dan plaatsen we die. Gezien de razendsnelle technologische ontwikkelingen waarin big data steeds belangrijker worden en het steeds beter mogelijk is om tot op individueel niveau een uiting in te richten, is specifiekere persoonlijke data voor de digitale communicatie een absolute must.

Voorspelbaarheid van gedrag

Mis ik dan nog iets? Ja. Want hoewel je op basis van het verleden natuurlijk een gefundeerde uitspraak kunt doen over iemands gedrag in de toekomst, betekent dit niet automatisch dat het voorspelde gedrag daadwerkelijk uit zal komen. Als ik gisteren een chocolaatje heb gepakt en vandaag weer, wie zegt dan dat ik morgen weer voor chocolade kies? Misschien heb ik wel meer trek in fruit. Dit maakt het nog complexer om daadwerkelijk in te spelen op de behoefte die ik mogelijkerwijs heb.