Hoe voer ik een succesvolle A/B test uit?

Wat is een A/B test?

Dankzij A/B-tests is het mogelijk om jouw nieuwsbrief op te splitsen in twee varianten: variant A en variant B. Hierbij test je of het een wezenlijk (conversie)verschil maakt om iets aan te passen in je nieuwsbrief voor doelgroep. Een A/B test roep je in het leven als je een hypothese hebt. Via een A/B test is het antwoord te vinden op belangrijke vragen in je bedrijf, de omzet van je bestaande bezoekers verhogen en de basis leggen voor een op data gedreven marketingstrategie. A/B test hoort dan eigenlijk wel thuis in je marketingstrategie.

Zo werkt een A/B test

Bij onze A/B test laat je een gedeelte van je nieuwsbriefabonnees variant A zien en aan een ander gedeelte variant B. De versie die tot de meeste kliks, opens of afmeldingen leidt, is de winnaar. De groep nieuwsbriefabonnees die overblijft, krijgt uiteindelijk de winnende variant in de inbox. Vervolgens wordt deze variant de nieuwe controleversie en ga je aan de slag om een nieuwe variant te ontwerpen. Zo blijf je doortesten totdat je tevreden bent over je eindresultaat, zoals je conversieratio, clickratio en noem maar op.

Wel willen we je meegeven dat je je niet blind moet staren op enkel je conversie. Wanneer je een A/B test gaat doen op enkel conversie dan is het logisch dat hoe goedkoper je product, hoe hoger je conversie zou zijn. Wat leidt tot gratis producten. Geen aanrader dus. 🤑

Waarvoor wil je A/B testen gebruiken?

Dat is een goede vraag! Het verschilt per webshop wat handig is om A/B te testen. We zouden je graag een lijstje geven, maar een ‘magische must A/B test lijst’ is er niet. De tests doe je met je eigen data, zoals klantdata, segment data etc. Kijk goed naar jouw vergaarde data en kijk vanuit daar waarin het waardevol is om A/B te testen.

Hoe zorg je voor een succesvolle A/B test?

Om een succesvolle A/B test uit te voeren, gaat er vooronderzoek aan vooraf. Zo stel je eerst doelen, analyseer je je doelen, kom je met een hypothese, stel je daarna je design op en daarna ga je pas A/B testen. Dat klinkt als enorm veel werk, maar geloof ons: dit valt best mee. Uiteindelijk krijg je er een waardevolle A/B test voor terug waar goed over is nagedacht.

1. Doelen stellen

Stel voor jezelf doelen op wat je precies wilt behalen met je A/B test. Wil je graag meer nieuwsbriefabonnees? Of juist meer conversie? Met een duidelijk doel voor ogen weet je zeker dat je een goed begin voor je A/B test hebt.

2. Analyseren

Nadat je je doel hebt opgesteld is het tijd om je huidige resultaten te analyseren. Dit noemen we ook wel je nulpunt. Want: hoe weet je of je test geslaagd is zonder dat je weet hoe je er nú voor staat? Juist, dat weet je niet. Daarom is het van belang om eerst te kijken wat je resultaten nu zijn. Op basis van deze analyse stel je een hypothese op.

3. Stel een hypothese op

Voordat je begint met een A/B test moet je eerst een hypothese hebben. Een hypothese is meetbaar en heeft als doel een specifiek (conversie)probleem op te lossen. Bij een A/B test test je dan ook een hypothese en niet een idee.

Je kan hiervoor Craig Sullivan’s Hypotheses Kit gebruiken:

• Omdat ik gemerkt hebt dat [data en/of feedback van eerder onderzoek]
• Verwacht ik dat [de verandering/verbetering die je wilt gaan testen] zorgt voort [impact die je verwacht] en
• Die impact meet ik door middel van [de data meetlat die je gaat gebruiken]

Vul de plekken in en je testidee is veranderd naar een hypothese. Dit maakt het uiteindelijk makkelijker om je resultaten goed uit te lezen van je A/B test. Nu je weet wat het doel is van je A/B test en je je doel hebt omgezet in een hypothese is het nu tijd om je design op te stellen.

4. Het design opstellen

Met een design opstellen bedoelen we dat je nu gaat nadenken over je design van je nieuwsbrief. Want wat je ook gaat testen: hoe komt dit eruit te zien? Wanneer je ín je nieuwsbrief je content aan wilt passen dan komt hier misschien nog een UX/UI-designer bij kijken. Wil je testen met onderwerpregel, pre-header of afzender van je nieuwsbrief? Ook dit valt onder het design opstellen. Leg ergens vast wat je gaat testen en hoe je dit gaat testen.

5. De magie van de A/B test

Hoera! Eindelijk, maar toch: hier begint het A/B testen pas. In deze stap maak je je A/B test op zoals jij voor ogen hebt. Dat is niet lastig meer. Je hebt een hypothese en een design voor ogen. Het is nu nog een kwestie van de A/B test in elkaar zetten. In Reloadify gaat dit erg gemakkelijk, gezien variant A gekopieerd wordt naar variant B. Zo hoef jij nooit twee keer dezelfde nieuwsbrief op te maken. Handig!

6. De evaluatie van de A/B test

Je hebt je huiswerk keurig gedaan. Je hebt doelen gesteld, een hypothese gesteld en een A/B test uitgevoerd. Klaar. Toch? Niets is minder waar. Want nadat je je A/B test hebt uitgevoerd komt misschien wel het allerbelangrijkste: wijzer worden van je A/B test resultaten. Want waarom heeft de winnende variant gewonnen? En waarom heeft de verliezende variant verloren?

Grote kans dat je verliezende variant bij sommige segmenten juist de winnaar is, informatie waar je nu en in de toekomst je voordeel mee kunt doen.

De analyse gaat over veel meer dan alleen bekijken welke variant gewonnen of verloren heeft. Kijk ook eens naar de afzonderlijke segmentdata bijvoorbeeld.

Zo bewaar je de resultaten van je A/B test

Stel dat je morgen je eerste test doet. Weet je dan over een paar jaar nog precies wat de uitslag was en waarom? Waarschijnlijk niet. Bewaar daarom je resultaten van je A/B tests goed. Zonder een goed test-archief gaan alle inzichten verloren. Daarnaast is de kans groot dat je dezelfde tests uit gaat voeren als je alles niet goed bewaard.

In principe kun je je archief inrichten zoals je zelf wilt, als het maar de volgende elementen bevat:

• Je hypothese
• Screenshots van je A/B testresultaten
• Welke variant gewonnen/verloren heeft
• Inzichten die de analyse je gebracht heeft

In de loop van de jaren zul je jezelf dankbaar zijn voor het bijhouden van dit archief.

Meer informatie

Wist je al dat je bij Reloadify ook een personaliseerde IP adres kan laten aanmaken? Je IP adres heb je nodig om je e-mails uit de sturen. Niet jij alleen, verschillende klanten maken bij Reloadify gebruik van één IP adres. Dit kan ook makkelijk. Wanneer je meer dan 50.000 profielen hebt en deze meerdere keren in de week mailt, raden we je aan een eigen IP adres te genereren. Heb je interesse in een eigen IP adres? Neem dan contact met ons op.