Durf jij blind te vertrouwen op uitkomsten A/B-testen?

Over het algemeen zijn marketeers altijd op zoek naar nieuwe feitjes, weetjes en cijfers. Ook analyseren zij resultaten het liefst meerdere malen. E-mailmarketeers vertonen dezelfde trekjes als collega-marketeers. Ook e-mailmarketeers zijn altijd op zoek naar nieuwe inzichten in de resultaten van mailings en het gedrag van de ontvangers.

A/B-testen: een veel voorkomende manier van testen

De meest voorkomende manier van testen zijn nog steeds A/B-testen ofwel splittesten. Met A/B-testen kun je verschillende onderdelen van je e-mailuitingen testen en optimaliseren. Het meest voorkomende testelement is de openratio. Veelal worden de openingsregels uitvoerig getest om er achter te komen waar de ontvangers het best op reageren. Ondanks dat cijfers ons veel duidelijk maken is het toch verstandig om goed stil te staan bij wat de cijfers echt “zeggen”. Want welke (test)elementen bepalen daadwerkelijk wanneer een mailing geslaagd is en wat zeggen de resultaten ons eigenlijk?

1. Is de openrate leidend als er een A/B-test gedaan wordt op basis van onderwerpsregel?

Vaak is het de openrate die getest wordt. Dit gebeurt dan door mailings te verzenden met verschillende onderwerpregels, pre-headers, afzendernaam et cetera. E-mailmarketeers zijn vaak meesters in het verzinnen van leuke, uitdagende, actuele en uitnodigende onderwerpsregels. De mailuiting blijft vervolgens hetzelfde waardoor alleen de openingsregel het testelement is. Vervolgens wordt er een representatief aantal uit het e-mailbestand genomen om de test op uit te voeren. Maar is uiteindelijk de (door het e-mailpakket gekozen) winnende variant ook daadwerkelijk de winnende variant? Aan de hand van onderstaande voorbeeld wordt bekeken wat de verschillende elementen daadwerkelijk zeggen. (Klik op de afbeelding voor een vergroting)

Bovenstaande afbeelding laat zien dat er een A/B-test gedaan is op basis van drie verschillende onderwerpregels, waarbij de overige elementen exact hetzelfde zijn gebleven. De cijfers geven de verschillende versies van de splittest aan. Er vanuit gaande dat test als criterium het aantal opens heeft, is versie twee op het oog de logische winnaar. Vervolgens wordt versie twee verzonden over het totale e-mailbestand.

Als we dieper op de cijfers ingaan en een analyse loslaten op de cijfers, dan zien we dat het verschil in clicks tussen versie 1 en 2 nihil is (in absolute aantallen). Terwijl het verschil tussen de varianten in geopende e-mails groter is. Dit roept een aantal vragen op:

• Zegt het aantal opens altijd dat de e-mail ook vaker geopend en gelezen is?
• Betekent meer geopende e-mails ook dat er meer actie is ondernomen (CTR)?
• Moet de versie met minder opens maar in verhouding een hogere CTR niet de winnaar zijn?
• Moet het aantal bouncers, per variant, een rol spelen in het kiezen van de winnende variant?

De openrate is niet per definitie leidend als er een A/B-test gedaan wordt op basis van de onderwerpsregel. Tuurlijk speelt de onderwerpsregel een belangrijke rol en is dit de eerste aanzet tot het openen van een e-mail. Dit moet ook zeker constant getest worden. Maar dat betekent niet dat een variant met de meeste opens ook de meest succesvolle variant is. Want kan het niet zo zijn dat variant 2 vaker is geopend, maar vervolgens meteen verwijderd is door de ontvanger of als niet interessant/relevant beschouwd wordt? Of kan het zijn dat de onderwerpsregel geniaal is, maar niet aansluit bij de content van de e-mail waardoor ontvangers direct afhaken bij het lezen van de e-mail?

2. Wat is de rol van het aantal clicks als er een A/B-test gedaan wordt op basis van onderwerpsregel?

In ons voorbeeld zou niet variant 2, maar juist 1 de winnende moeten zijn. Variant 1 heeft dan wel minder opens gerealiseerd, maar heeft in verhouding een hogere CTR behaald en procentueel gezien tot meer actie geleid. Het aantal clicks geeft aan hoe interessant de ontvangers de mailing daadwerkelijk vinden. Door op de links/afbeeldingen/button(s) et cetera te klikken, blijkt wat de interesse is van de ontvangers en of er behoefte is aan het product of informatie die je verzonden hebt. De opens zeggen dus vooral iets over je onderwerpsregel en of die de aandacht getrokken heeft, de clicks vertellen iets over de behoefte van de ontvangers en relevantie van je e-mail.

Uiteindelijk willen alle e-mailmarketeers dat het resultaat goed is en dat er een hoge eCPM uit de mailing gehaald wordt. Laat je dus niet misleiden door hoge opens, wees bewust dat er uiteindelijk actie ondernomen moet worden en zoveel mogelijk sales/leads uit je mailing komen. En dat als de opens dicht bij elkaar liggen, de clicks bepalend zouden moeten zijn bij het kiezen van een winnende variant.

3. Wat is de invloed van verschillende testfactoren?

Testelementen

Naast de opens en clicks, is het ook belangrijk dat alle varianten gelijke testfactoren toebedeeld krijgen. Test per verzending één element van de mailing. Kies je er toch voor om meerdere elementen te testen, dan is het achteraf moeilijk te bepalen welk element het verschil heeft gemaakt en wat de winnende variant is. Zorg ervoor dat de testvarianten naar gelijke aantallen ontvangers gaan. Zit er een groot verschil in bereik van de varianten? Dan beïnvloedt dit je test en is de winnende variant niet representatief meer.

(Non) actieve ontvangers

Daarnaast is het belangrijk dat je testbestand uitsluitend bestaat uit actieve ontvangers. Mocht een variant verzonden worden naar veel niet-actieve ontvangers dan heeft dit grote invloed op het eindresultaat van de test. Je wilt niet dat je test bevuild en nadelig beïnvloed wordt door niet-actieve ontvangers in je testbestand. Daarnaast is het raadzaam om niet-actieve ontvangers uit je verzendlijst te halen, dit zal de resultaten alleen maar ten goede komen.

Verschillende e-mailtemplates: wel of niet?

Het kiezen voor één of meerdere templates is afhankelijk van de doel van je test. Als je er voor kiest om de CTR te verbeteren dan is het een optie om te kiezen voor verschillende e-mailtemplates. De template die door je ontvangers het aantrekkelijkst bevonden wordt zal de test winnen. Kies je voor deze optie, wees er dan wel van bewust dat de onderwerpsregel en andere testelementen wel gelijk aan elkaar zijn. Is het doel om de openratio te verbeteren? Kies dan voor één e-mailtemplate met verschillende onderwerpregels.

Blijf kritisch & bepaal de juiste testelementen

Je kunt dus stellen dat het doel van de test bepalend is voor de elementen die getest worden. Bij de openrate is het vaak de onderwerpsregel die getest wordt. In het geval van CTR is het eerder de e-mailtemplate die getest zal worden. Laat je niet leiden door uitkomsten in je e-mailpakket. De versie met de meeste opens is niet altijd de beste testversie. Blijf zelf altijd kritisch in het analyseren van de uitkomsten en bepaal duidelijk vooraf wat de elementen zijn die je wilt testen.