Seite wählen

Email Test: Optimierung durch A/B Testing

Sonny Damiri

Sonny is CEO and Co-Founder of Content Garden and supervises the daily operations at the company. He works hand in hand with the campaign, content and tech units.

Es gibt eine Sache, die ich am E-Mail Marketing besonders praktisch finde – die Möglichkeit Kampagnen einfach und kostengünstig testen zu können. A/B Testing kann dabei sehr hilfreich sein. In diesem Artikel möchte ich einige Tipps geben, wie man am besten einen Email Test angelegt.

Ein A/B Splittest ist eine einfache und vor allem kostengünstige Methode um festzustellen, wie sich Änderungen an einem Newsletter auf die Performance auswirken. Im Gegensatz zum multivariaten Verfahren werden dabei immer nur zwei Versionen getestet, die sich lediglich in einem Element voneinander unterscheiden. Vor dem Test sollte man aber immer die Metriken festlegen – d.h. jenes Element, das getestet werden soll:

  • Betreff
  • Layout
  • Titel
  • Schrift
  • Bilder
  • Absender
  • HTML-Template oder reine Text-Mail
  • Sendetag
  • Sendezeit
  • Personalisierung
  • Angebote und Aktionen

Jeder dieser Punkte kann die Performance beeinflussen. Um qualitative Aussagen über die Auswirkung einer Änderung machen zu können, muss man sich beim Email Test auf lediglich ein zu testendes Element konzentrieren. Ein häufiger Grund für nicht eindeutige Testergebnisse ist, dass mehrere Komponenten eines Newsletters gleichzeitig überprüft werden.

Mailing-Listen richtig aufbereiten

Ein weiterer häufiger Fehler ist, dass die Mailing-Adressen nicht entsprechend für den Splittest aufbereitet wurden. Meist wird die Verteiler-Liste einfach in zwei Gruppen geteilt. Diese Vorgehensweise kann das Testergebnis verfälschen.

Meist sind die Adressen nämlich nach dem Einschreibungsdatum geordnet. User, die erst vor kurzem den Newsletter abonniert haben, öffnen Mails eher als jene Nutzer, die sich schon vor längerer Zeit eingeschrieben haben. Hier sind die wichtigsten Schritte, um die Listen für den A/B Test korrekt aufzubereiten.

  • Inaktive User aussortieren: Sortieren Sie aus Ihrer Mailingliste alle User aus, die noch nie oder nur sehr selten Ihre E-Mails geöffnet haben und übertragen Sie diese Adressen in eine eigene Liste.
  • Aktive User aussortieren: Sammeln Sie auch jene Nutzer in einer eigenen Liste, die sehr oft oder regelmäßig Ihre Mails öffnen.
  • Alphabetisch ordnen: Sortieren Sie die verbliebenen Adressen nach dem Alphabet. So stellen Sie sicher, dass die Namen wirklich zufällig angeordnet werden.
  • Provider überprüfen: Sortieren Sie im nächsten Schritt die Mail-Adressen nach Providern und teilen Sie diese dann so in zwei gleichgroße Hälften, dass alle Provider gleichmäßig auf beide Listen aufgeteilt sind.
  • Inaktive und aktive User alphabetisch ordnen: Ordnen Sie nun Ihre inaktiven und Ihre aktivsten Nutzer ebenfalls nach dem Alphabet, halbieren Sie diese und teilen Sie sie auf beide Listen auf. Auf diese Art und Weise ist garantiert, dass jede Aufstellung gleich viele inaktive und aktive User enthält.

Nun sind Sie bereit für Ihren Email Test! Auch wenn ich mich wiederholen sollte, achten Sie immer darauf, dass Sie wirklich nur jeweils ein Element ihres Newsletters testen. Folgende Dinge sollten Sie ebenfalls beachten:

  • Mails mit und ohne Bilder: Wenn Sie überprüfen wollen, wie die Performance mit und ohne Bilder ist, vergessen Sie auf keinen Fall entsprechende Keywords dem Alt-Text hinzuzufügen. Nicht jeder User lässt Bilder automatisch in seinen Emails anzeigen. Daher ist es ratsam auf diese Weise entsprechende Klickreize zu bieten.
  • Überschriften testen: Stellen Sie sicher, dass Sie bei der Prüfung von verschiedenen Texten für die Überschrift in beiden Versionen des Newsletters jeweils die gleiche Schriftart, Schriftgröße, Farbe und Platzierung haben.

Analyse der Ergebnisse

Nachdem Sie Ihren Email Test mit beiden Versionen eines Newsletters durchgeführt haben, gilt es die Ergebnisse auszuwerten. Dabei werden vier Leistungskennzahlen unterschieden:

  • Öffnungsrate
  • Click to Open Rate (CTOR)
  • Klickrate (CTR)
  • Conversion Rate

Je nachdem welches Element Ihres Mails Sie analysieren wollen, liegt der Schwerpunkt auf einer anderen Kennzahl. Wollen Sie den „Betreff“ oder personalisierte E-Mails testen, dann wird die Öffnungsrate von Interesse sein. Beim Vergleich von Newslettern mit reinem Bild und Bild und Text, ist die Click to Open Rate wichtig. Sie sagt aus, wie viele Nutzer, die eine E-Mail bekommen haben mindestens einen Link geklickt haben.

Die Klickrate und die Conversion Rate spielen vor allem bei Angeboten und Aktionen eine wichtige Rolle. Sie wollen schließlich wissen, wie viele User nicht nur auf Ihrer Website gelandet sind, sondern auch einen Kauf getätigt haben.

Fazit

Splittestings eignen sich hervorragend, um die Performance von Newslettern laufend zu verbessern. Sie sind einfach umzusetzen und kostengünstig. Wichtig ist dabei, dass für jede Analyse jeweils nur ein bestimmtes Element herangezogen wird. Vor dem eigentlichen Testdurchlauf sollte die Mailingliste in zwei gleichwertige Gruppen geteilt werden. Auch bei der Auswertung sollte man sich auf eine bestimmte Leistungskennzahl konzentrieren. Das Schöne am Email Test ist, dass es meistens ein eindeutiges Ergebnis gibt. In diesem Sinne – möge der Bessere gewinnen.

Wer tiefer in die Materie eintauche möchte, dem kann ich zwei Artikel empfehlen:

A Beginner’s Guide To A/B Testing: An Introduction

A Beginner’s Guide To A/B Testing: Exceptional Web Copy