Ein A/B Test für deinen Newsletter funktioniert nach einem einfachen Prinzip: Du schickst zwei Versionen derselben Mail an jeweils einen Teil deiner Empfänger, misst, welche besser abschneidet, und nutzt das Ergebnis für die restliche Aussendung oder für die nächste. Entscheidend ist, dass du pro Test nur eine einzige Sache veränderst, genug Empfänger hast und das Ergebnis nicht überinterpretierst. In Klaviyo läuft das sowohl für Kampagnen (einmalige Aussendungen) als auch für Flows (automatisierte Mails), allerdings mit kleinen Unterschieden, die weiter unten wichtig werden.
Dieser Artikel zeigt dir, was sich testen lässt, wie du methodisch sauber vorgehst und wie du das Ganze konkret in Klaviyo umsetzt.
- Verändere pro Durchlauf immer nur eine Variable, sonst bleibt unklar, woran das Ergebnis lag.
- Wähle die Zielmetrik passend zur Variable: Öffnungsrate für den Betreff, Klickrate für den Inhalt.
- Ein Ergebnis zählt erst als Gewinner, wenn Klaviyo es als statistisch signifikant ausweist.
- Teste zuerst die Mails, die über die Zeit viele Empfänger erreichen.
Was sich an einer Shop-Mail testen lässt
Grundsätzlich kannst du fast jedes Element einer Mail testen. Sinnvoll sind diese fünf Hebel:
Betreffzeile
Die Betreffzeile entscheidet, ob eine Mail überhaupt geöffnet wird, und ist deshalb der naheliegendste Testkandidat. Klaviyo nennt in seiner Dokumentation konkrete Testideen: Aussage gegen Frage, kurze gegen lange Betreffzeile, mit gegen ohne Personalisierung und mit gegen ohne Emoji 1.
Beispiel für einen Mode-Shop: "Neu eingetroffen: deine Herbstfavoriten" gegen "20 neue Teile, die diese Woche reingekommen sind". Du testest hier Neugier gegen Konkretheit.
Absender
Auch der Absendername und die Absenderadresse lassen sich testen. Ob "Lena von [Shopname]" besser läuft als nur "[Shopname]", hängt stark von deiner Marke ab. Ein persönlicher Absender wirkt nahbarer, ein Markenabsender klarer. Das misst du am besten über die Öffnungsrate.
Vorschautext
Der Vorschautext (Preview Text) ist der kleine Textausschnitt, der im Postfach neben oder unter der Betreffzeile steht. Klaviyo führt ihn ausdrücklich als Testvariable für Kampagnen auf und empfiehlt bei einem Vorschautext-Test die Öffnungsrate als Zielmetrik 1.
Inhalt
Beim Inhalt kannst du Aufbau, Bilder, Textmenge und besonders den Call-to-Action variieren. Klaviyo nennt als Beispiele die Größe und Farbe des Buttons sowie die Frage, ob Bestseller oder Neuheiten mehr Conversions bringen 1. Teste bei einem Shop zum Beispiel "Jetzt shoppen" gegen "Kollektion ansehen" als Button-Text, oder ein großes Produktbild oben gegen eine Reihe aus drei Produkten.
Versandzeit
Wann eine Mail rausgeht, beeinflusst, ob sie im vollen oder im leeren Postfach landet. Klaviyo bietet dafür einen eigenen Testtyp an. Wichtig: Beim Versandzeit-Test geht die Mail an 100 Prozent der Empfänger, die Gruppen werden nur zeitversetzt beschickt 1. Es gibt also keinen zurückgehaltenen Rest, der später die Gewinnerversion bekommt, weil hier die Zeit und nicht der Inhalt die Variable ist.
So testest du sauber
Ein Test ist nur so viel wert wie seine Methode. Drei Regeln entscheiden darüber, ob dein Ergebnis belastbar ist.
✓Mach das
- Pro Test genau eine Variable verändern und den Rest identisch lassen
- Die Zielmetrik zur getesteten Variable passend wählen
- Das Ergebnis erst bei ausgewiesener Signifikanz als Gewinner werten
- Unentschiedene Ergebnisse akzeptieren und zur nächsten Variable gehen
✕Vermeide das
- Betreff und Button gleichzeitig ändern und dann raten, was gewirkt hat
- Bei wenigen hundert Kontakten aus zwei, drei Öffnungen mehr einen Gewinner machen
- Einen Betreffzeilen-Test über die Klickrate entscheiden
- Einen Flow-Test schon nach wenigen Tagen abbrechen
Regel 1: Immer nur eine Variable
Wenn du gleichzeitig Betreffzeile und Button-Text änderst und Variante B gewinnt, weißt du nicht, woran es lag. Teste pro Durchlauf genau eine Sache. Das ist langsamer, aber nur so lernst du wirklich etwas über deine Zielgruppe. Willst du mehrere Elemente optimieren, mach daraus mehrere aufeinanderfolgende Tests.
Regel 2: Passende Zielmetrik zur Variable
Welche Kennzahl den Gewinner bestimmt, muss zur getesteten Variable passen. Klaviyo empfiehlt das klar:
- Öffnungsrate als Zielmetrik, wenn du Betreffzeile, Vorschautext oder Absender testest.
- Klickrate als Zielmetrik, wenn du den Inhalt testest, etwa Button-Größe oder Farbe.
- Bestellrate (Placed Order Rate) für Tests, die auf Conversion abzielen.
Diese Zuordnung steht so in der Klaviyo-Dokumentation 1. Die Logik dahinter: Die Betreffzeile kann nur die Öffnung beeinflussen, nicht den Klick weiter unten. Es ergibt also keinen Sinn, einen Betreffzeilen-Test über die Klickrate zu entscheiden.
Regel 3: Genug Empfänger und Signifikanz nicht überinterpretieren
Das ist der Punkt, an dem die meisten Shop-Mail-Tests scheitern. Bei einer Liste mit wenigen hundert Kontakten ist ein Unterschied von zwei oder drei Öffnungen reiner Zufall, kein echtes Ergebnis. Klaviyo arbeitet deshalb mit einer "Win Probability" (Gewinnwahrscheinlichkeit). Sie gibt an, wie wahrscheinlich es ist, dass die führende Variante tatsächlich die beste war, nachdem der Zufall herausgerechnet wurde 2.
Für Kampagnen gilt ein Ergebnis bei Klaviyo als statistisch signifikant, wenn die Gewinnwahrscheinlichkeit über 90 Prozent liegt und jede Variante mehr als 50 erfolgreiche E-Mail-Zustellungen hat 2. Erreicht ein Test diese Schwelle nicht, ist das Ergebnis kein verlässlicher Gewinner, sondern Rauschen. In dem Fall ist die ehrliche Konsequenz: Es gibt keinen klaren Gewinner, und du solltest nicht so tun, als gäbe es einen.
Klaviyo zeigt zusätzlich die "Lift"-Kennzahl, also die relative Verbesserung. Das Beispiel aus der Doku: Wenn Variante A fünf Prozent Klickrate erzielt und Variante B vier Prozent, beträgt der Lift (5 Prozent minus 4 Prozent) geteilt durch 4 Prozent mal 100, also 25 Prozent 2. Solche relativen Zahlen klingen beeindruckend, sind aber nur dann aussagekräftig, wenn die absolute Basis groß genug und das Ergebnis signifikant ist.
Kampagnen testen: so läuft es in Klaviyo
Bei einer Kampagne legst du innerhalb der Aussendung mindestens zwei Varianten an und bestimmst eine Testgröße sowie eine Testdauer 1.
Das Prinzip bei Inhalts- und Betreffzeilen-Tests: Ein Teil der Liste bekommt die Varianten, der Rest bekommt später die Gewinnervariante. Klaviyos eigenes Beispiel: Bei einer Testgröße von 40 Prozent und sechs Stunden Testdauer bekommen 20 Prozent der Empfänger Variante A und weitere 20 Prozent Variante B. Nach der Testphase geht die Gewinnervariante an die restlichen 60 Prozent 1.
Damit das funktioniert, muss die Testgröße unter 100 Prozent liegen, sonst bleibt niemand übrig, der die Gewinnervariante erhält. Genau deshalb ist der Versandzeit-Test die Ausnahme: Er läuft über die volle Liste, weil es dort keine zurückgehaltene Gewinnergruppe gibt.
Konkrete Schritte für einen Betreffzeilen-Test:
- Kampagne erstellen und die A/B-Test-Option aktivieren.
- Zwei Betreffzeilen anlegen, sonst alles identisch lassen.
- Als Zielmetrik die Öffnungsrate wählen.
- Testgröße und Testdauer festlegen.
- Nach Testende prüft Klaviyo Gewinnwahrscheinlichkeit und Signifikanz und sendet die Gewinnervariante an den Rest.

Flows testen: der wichtige Unterschied
Flows sind automatisierte Mails, etwa die Willkommensstrecke oder die Warenkorbabbruch-Serie. Hier testest du anders, weil keine einmalige große Liste existiert, sondern über die Zeit einzelne Empfänger durch den Flow laufen.
In Klaviyo legst du für eine Flow-Mail zwei oder mehr Varianten an und bestimmst die Gewichtung, also welcher Anteil der durchlaufenden Empfänger welche Variante bekommt. Du kannst die Verteilung manuell festlegen oder Klaviyo automatisch mehr Empfänger auf die bessere Variante lenken lassen 3.
Ein wichtiger Punkt bei der Zielmetrik: Klaviyo empfiehlt für Flows die Klickrate statt der Öffnungsrate. Grund ist Apples Mail Privacy Protection (MPP). Seit iOS 15 lädt Apple für Nutzer mit aktiviertem MPP das Tracking-Pixel vorab über eigene Server, unabhängig davon, ob die Mail je geöffnet wurde. Das bläht die gemessene Öffnungsrate auf. Die Klickrate ist davon nicht betroffen 35.
Für die Gewinnerermittlung im Flow gilt eine Variante laut Klaviyo als statistisch signifikant, wenn unter anderem mehr als 500 Nachrichten pro Variante zugestellt wurden und die Gewinnwahrscheinlichkeit über 90 Prozent liegt. Klaviyo prüft zusätzlich, ob genug Empfänger die gemessene Aktion abgeschlossen haben (mindestens 10 über alle Varianten) und ob sich die Ergebnisbereiche der Varianten klar genug unterscheiden 4. Du kannst den Gewinner automatisch bei erreichter Signifikanz wählen lassen oder manuell entscheiden, wenn du genug Daten gesammelt hast 3.
Der praktische Unterschied zu Kampagnen: Ein Flow-Test braucht oft Wochen, bis die 500 Zustellungen pro Variante zusammenkommen, vor allem bei Flows mit wenig Durchlauf. Lass solche Tests in Ruhe laufen und zieh keine voreiligen Schlüsse nach den ersten Tagen.
: Setz Tests in Flows mit wenig Durchlauf früh auf und lass sie in Ruhe laufen. Bis genug Zustellungen pro Variante zusammenkommen, vergehen oft Wochen.
Woran du bei Shop-Mails denken solltest
- Teste die Mails, die oft laufen, zuerst. Eine Willkommensmail oder die erste Warenkorbabbruch-Mail erreicht über die Zeit viele Empfänger. Dort lohnt ein Test am meisten, weil ein kleiner Gewinn dauerhaft wirkt.
- Dokumentiere, was du getestet hast. Sonst testest du in drei Monaten dasselbe erneut. Ein einfaches Dokument mit Datum, Variable, Ergebnis und Signifikanz reicht.
- Akzeptiere unentschiedene Ergebnisse. Wenn kein signifikanter Unterschied herauskommt, ist das auch ein Ergebnis: Diese Variable war deinen Empfängern egal. Geh zur nächsten über.
- Übertrag Erkenntnisse von Kampagnen auf Flows. Was in einer Kampagne mit großer Liste gewinnt, ist ein guter Startpunkt für die langsamer messbaren Flows.
Ein A/B Test ist kein einmaliges Projekt, sondern eine Gewohnheit. Jede Aussendung ist eine Gelegenheit, eine kleine Sache sauber zu messen. Über Monate entsteht daraus ein echtes Bild davon, was deine Kunden öffnen, klicken und kaufen, statt einer Sammlung von Bauchgefühlen.
Hinweis
Die in diesem Artikel genannten Zahlenschwellen (über 90 Prozent Gewinnwahrscheinlichkeit, mehr als 500 zugestellte Nachrichten pro Flow-Variante, mehr als 50 Zustellungen pro Kampagnenvariante) stammen aus der offiziellen Klaviyo-Dokumentation zum Zeitpunkt der Veröffentlichung. Klaviyo kann diese Werte und die Oberfläche ändern. Prüfe im Zweifel die verlinkten Hilfeartikel.
QuellenQuellen
Hol dir den Retention-Brief
Jede Woche eine konkrete Taktik, die Kunden wiederkommen lässt.
Geschrieben von der Redaktion growretention. growretention ist ein Angebot der RIANTHIS GmbH.