Nieuwe standaard voor e-mailstatistieken: All the SAME

Vanaf 2008 is er gewerkt aan het ‘Support the Adoption of Metrics for Email project’, ook wel het SAME-project genoemd. In Nederland wordt deze internationale standaard voor e-mailstatistieken nog lang niet door alle e-mail serviceproviders gebruikt. Maar er is hoop. In de Nationale E-mail Benchmark van de DDMA is er wel gebruik gemaakt van de definities uit het SAME-project. Maar wat moet een marketeer er nu mee?

Standaard definities om e-mailmarketingstatistieken overal hetzelfde te rapporteren zijn erg belangrijk. Op die manier kun je ze ook vergelijken, net zoals bij de presentatie van de Nationale E-mail Benchmark werd gedaan met de Nederlandse en Belgische statistieken. Het kunnen vergelijken van deze statistieken is dus gewenst. Een petitie voor de SAME-statistieken werd door meer dan 11.000 deelnemers ondertekend. Luke Glasner, de voortrekker van het SAME-project, vertelt me in een gesprek waarom de internationale standaard zo belangrijk is en wat een individuele marketeer er mee kan.

Misvattingen over e-mailstatistieken

“Tijdens de uitvoering van het SAME-project, werd er gedacht dat we de voorkeur gaven aan een meetmethode van een van de ESP’s in het project of dat we vonden dat onze statistieken ‘beter’ waren dan andere. Dat is niet zo. Het doel was om de meest accurate set van e-mail statistieken samen te stellen, niet degene die het meest gebruikt werden of de ‘beste’.

Alle definities kunnen gebruikt worden voor hun specifieke doel. Ze zijn dan goed geschikt voor dat doel op dat moment. CTO (de verhouding tussen het aantal clicks en het aantal bevestigde e-mails dat geopend is) is goed voor het testen van de impact van veranderingen in design en content. De Render Rate is een meer accurate weergave van bijvoorbeeld advertentievertoningen dan Confirmed Open Rate, waar ook een klik als een open wordt geteld.

Elk van de statistieken die is te vinden in de SAME-gids kan dus gebruikt worden. Maar ik zou niet zeggen dat bijvoorbeeld Render Rate beter is dan Confirmed Open Rate. Of dat Click to Open beter is dan Click Through Rate.”

Het grote misverstand van afgeleverde e-mail

“Een ander groot misverstand voor marketeers ging over de delivery van de e-mails. De meeste e-mail marketeers, zeker als ze net beginnen, denken dat ‘delivered’ betekent dat de e-mail is afgeleverd in de inbox. Ik noem ik dit de ‘Fallacy of Delivered’. We hebben de term delivered veranderd naar ‘accepted’. De reden hiervoor is dat delivered of afgeleverd betekent dat de ontvangende e-mail server de mail heeft geaccepteerd, niet dat hij in de inbox is afgeleverd. In alle gevallen hebben we geprobeerd om namen te gebruiken die duidelijker aangeven wat de statistieken nu echt inhouden.”

Verschil tussen veelgebruikte e-mail statistieken en SAME-statistieken

“De namen van de definities zijn waarschijnlijk het grootste verschil tussen de SAME-statistieken en de meest voorkomende definities van de ESP’s. Bij de berekeningen gingen we uit van de methodes die in de industrie al grotendeels waren geaccepteerd.

Een grote uitdaging voor de industrie was het feit dat veel ESP’s dezelfde berekeningen, maar verschillende en onduidelijke namen gebruikten. De CTR (click through rate) betekende bijvoorbeeld voor de een iets anders dan voor de ander. De CTR en de Click to Open rate zijn twee verschillende ratio’s, maar veel ESP’s gebruikten die namen door elkaar. Beide statistieken kunnen waardevol zijn voor e-mail marketeers, maar we moeten wel onderscheid maken om verwarring te voorkomen.

Wat moet een e-mail marketeer doen om SAME-statistieken te krijgen?

“Bij het kiezen van een E-mail Service Provider moeten ze er een nemen die de standaarden uit het SAME-project volledig heeft doorgevoerd, haha! Maar ze kunnen ook de EEC-standaarden pagina bekijken. Lees en gebruik de statistieken zoals ze in de SAME Guide PDF worden omschreven.”  Hier is een Nederlandse vertaling van de SAME-statistieken te lezen.

En wat als hij zijn eigen systeem heeft?

“Het maakt niet uit welk system de e-mail marketeers gebruiken, ze kunnen nog steeds de statistieken, definities en labels gebruiken om hun systeem duidelijker te maken. De EEC/DMA doet geen audits op eigen ontwikkelde of beheerde systemen, alleen de platformen van de ESP’s. Er zijn een aantal bekende ESP’s die een lokaal geïnstalleerd product aanbieden dat de SAME standaard wel benadert, maar met zoveel verschillende mogelijkheden om een lokale installatie te configureren, heeft de roundtable besloten dat het niet haalbaar was om dat type producten te auditen. Alleen web-based producten.”

Hoe kun je je huidige statistieken omzetten naar SAME-statistieken?

“Pak de ruwe data en exporteer die naar een spreadsheet om de statistieken om te zetten. Ik zou zelfs adviseren aan marketeers om hun data sowieso ook periodiek te exporteren, veel ESP’s verwijderen de data namelijk voor een jaar of minder. Of je nu de statistieken wilt omzetten naar de SAME standaard of dat je een vergelijking wilt maken tussen verschillende jaren: je hebt de data nodig om het te doen.

Zodra je de data in een spreadsheet hebt, maak je eenvoudig de formules om de statistieken volgens de SAME-standaard te berekenen. De methoden om de verschillende ratio’s te berekenen variëren van ESP tot ESP, maar met de totalen en unieke aantallen voor verzonden, afgeleverd (geaccepteerd), bounces, opens en kliks, kun je alle ratios voor je eigen e-mails berekenen.”

Wat is het verschil tussen unieke en totale aantallen?

“Als ik unieke aantallen zeg, bedoel ik daarmee één e-mailadres per actie, dus als de e-mailweergave is vastgelegd en de ontvanger opent de e-mail meerdere malen, telt dit toch als 1 unieke weergave. ‘Uniek’ betekent in de SAME-standaard (en in bijna alle ESP systemen) dus eigenlijk het aantal mensen , of e-mail adressen dat die actie heeft gedaan. Terwijl ‘totaal’ het totaal aantal keren is dat de actie is gedaan. Dit kan dus meerdere keren per e-mailadres zijn.

Als dezelfde persoon een e-mail op zijn smartphone bekijkt en op zijn desktop – en beide keren de plaatjes download en doorklikt op een link, zou dit worden gerapporteerd als 1 unieke confirmed open en 1 unieke klik. Maar ook als twee total confirmed opens of renders en twee total clicks. Dit voorbeeld laat het praktische verschil zien tussen uniek en totaal.”

Invoering van de SAME-statistieken

Als iedereen gebruik maakt van de SAME-statistieken wordt veel verwarring voorkomen. Ook wordt het dan mogelijk om statistieken van ESP’s onderling, maar ook van cases, rapportages en verschillende landen goed te vergelijken. Dus nu is het de tijd om je ESP te bellen en te vragen of ze z.s.m. de SAME-standaard invoeren.

De Nederlandse vertaling van de SAME-statistieken definities is hier te lezen, met tevens een download van de originele SAME guide van de EEC. Lees hier nog meer uit een eerder gesprek met Luke Glasner over de SAME-statistieken.