A/B-testen, ook wel split testing genoemd, is een e-mail marketingexperiment waarbij je jouw doelgroep twee varianten van een e-mail stuurt, met de bedoeling te testen welke het best presteert.
Bij het A/B-testen van een e-mail wordt jouw testdoelgroep in tweeën gedeeld. De eerste groep krijgt versie A te zien, de tweede groep variant B. Na de test krijgen de overige personen de mailvariant die als beste resultaat uit de test is gekomen.
We geven aan waarom jij zou moeten A/B testen, welke elementen belangrijk zijn en waar de big wins (kunnen) zitten.
Het testen van je mail heeft in essentie 2 doelen:
Méér eye-balls dus op de boodschap die je wil vertellen in je mail, en/of meer clicks naar je blogpost of landing pages, bijvoorbeeld. Meer resultaten dus.
Zo makkelijk is het nu ook weer niet. Je hebt niet alleen een tool nodig die A/B-tests kan doen (met HubSpot zit je prima), maar je hebt ook een kritisch aantal adressen nodig.
Over het algemeen wordt een minimum sample size van 1..000 adressen als benchmark genomen. Heb je een mail te versturen naar zo'n 500 contacten? Vergeet de split test dan maar, want je zal geen resultaten krijgen die voldoende statistisch relevant zijn.
Wie het gehele statistische verhaal wil uitpluizen: dat kan hier. Het aantal adressen dat je nodig hebt hangt af van het confidence level (betrouwbaarheidsinterval) dat je wil gebruiken om een winnaar te kiezen.
HubSpot, bijvoorbeeld, neemt standaard een confidence level van 85%: stel dat ik de test 100 maal zou herhalen, dan verwacht ik dat de werkelijke waarde (parameter) minstens 85 keer binnen het betrouwbaarheidsinterval ligt. Statistische relevantie, daar gaat het om, en daarom moet je een keuze maken.
Plus. Een A/B-test vraagt (wat) tijd. Omdat bij zo'n test eerst de varianten worden uitgestuurd, dan x-aantal uur gewacht wordt en tot slot een winnaar wordt bepaald. Heb jij een mail die dringend buiten moet, en kan je pas na 12 uur een duidelijke winnaar aanduiden? Dan is testen geen optie.
Even een stap terug. Voor we een e-mail gaan optimaliseren, moeten we weten wat van een e-mail ... een goede e-mail maakt.
De volgende elementen zijn doorslaggevend voor een goede (of slechte) e-mail:
Met die wetenschap komen we bij de volgende vraag: wat willen we gaan A/B-testen?
Denk nog even terug aan de doelen: een betere open ratio en/of CTR, right?
Check alvast even je huidige resultaten, en benchmark ze met volgende resultaten. Zo weet je meteen waar je hoger moet mikken. Uit onderzoek geeft GetResponse volgende, generieke, resultaten mee voor ...
Europa:
België:
Nederland:
Voor een betere open rate van je mail kan je volgende zaken testen:
Of je zelfs maar overweegt om een mail te openen, hangt af van grosso modo 2 factoren: afzender en subject line (bron). Krijg je een mail aan van een persoon of bedrijf waar je nog nooit van gehoord hebt, dan slinken de kansen voor een betere open rate meteen.
Onderzoek toont aan dat mails die van een persoon afkomstig zijn 15% tot 35% meer worden geopend dan wanneer een bedrijf diezelfde mail verstuurt. Ook HubSpot bevestigde dit in een experiment:
Tip: kent je doelgroep de naam van de afzender niet (of niet goed), voeg dan ook het bedrijf toe. Een afzender Johan Vandecasteele wordt dan bijvoorbeeld Johan - leadstreet.
Er zijn -tig manieren om een subject line aan te passen:
Je merkt dat er in bovenstaande voorbeelden best wat psychologie schuilt, die vaak ook in persuasive copywriting wordt toegepast.
Heb jij een mailclient die je een stukje preview toont? Dan kan dat net de trigger zijn om de mail verder te openen.
Enkele populaire tactieken voor de inhoud van deze preview:
Volgende tips helpen je bij een betere doorklik (CTR) op je mail zelf:
Zeker het proberen waard: een platte tekstmail in plaats van je grafisch vormgegeven mail. Misschien niet intuïtief voor je, maar ze werken vaak wel goed. Testen dus!
Van aanspreking ('Beste Johan') tot inhoud van de tekst. Hoe relevanter en persoonlijker jij de tekst maakt voor mij, hoe hoger de kans tot interactie en een klik.
Schrijf, en herschrijf. Weet dat je mail ook op een mobiel toestel wordt gelezen. Is je tekst compact en duidelijk genoeg? Schaaf, schaaf en schaaf.
In deze context is de e-mail piramidetechniek ook belangrijk: organiseer je mail zodat je design/lay-out, copy en call to action een duidelijke focus hebben. Klassieke conversie-optimalisering dus :-)
Het omgekeerde van platte tekst: afbeeldingen in je e-mail. Ons brein is geconditioneerd om beelden te scannen en te programmeren. Gebruik ze om je doel te ondersteunen.
Je hebt enkele mails in de planning met een voldoende grote doelgroep. Hoe ga je best te werk?
Wat is je doel? Wat wil je verbeteren:
Geef in je mail tool aan welke winnende metric je wil hanteren (open rate, CTR, ...), en op welke basis je de winnaar bepaalt (bijvoorbeeld na het versturen van 50% van de mails en na 4 uur tijd).
De argumentatie er achter? Dit zijn mails waar je de volgende keer je learnings op kan toepassen. Keer op keer.
Probeer grote ideeën uit. Het is interessanter om grote winsten te boeken dan kleintjes. Daar test je tenslotte voor.
En implementeer die ook in je volgende mails.
HubSpot bevat alle elementen om A/B-testen uit te voeren. Bij elke mail (behalve automated mails) kan je de A/B test activeren, en kan je zowel een A- als een B-versie van je mail maken.
Daarna duid je aan hoe groot je jouw test wil maken (bijvoorbeeld 50% van de doelgroep testen), wat de tijdsduur is, en wat de winnende metric wordt. Statistici onder ons - standaard gebruikt HubSpot het 85% betrouwbaarheidsinterval (zie hierboven).
Noot: verwar A/B-testen niet met HubSpot's Smart Content. Smart Content is een vorm van personalisatie, waarbij je op basis van verschillende elementen (het behoren tot een specifieke lijst, land, toestel waarmee je surft, ...) andere content te zien krijgt. Personalisatie dus, geen A/B-test.
Wil je gaan A/B testen met email, dan moet je alvast een voldoende groot verzendadressen hebben. Duizend wordt als een minimum gezien. Weet wat je wil testen (verhogen van de open rate dan wel de click-through rates), bepaal een doel en think big - ga voor grote wins!