A/B-Tests

Engage lässt Sie 2-4 Varianten einer Kampagne testen und den Sieger automatisch promoten. Im Hintergrund verwendet es ein bayesianisches Modell - was einschüchternd klingt, aber tatsächlich einfacher zu lesen ist als die t-Tests der meisten Marketing-Tools.

Was Sie testen können

Wie der Test läuft

1. Sie hängen 2-4 Varianten an eine Kampagne.
2. Jeder Empfänger wird deterministisch zugewiesen (per customer_id geseedet), sodass ein einzelner Fahrer immer dieselbe Variante sieht.
3. Während Engagement-Ereignisse einströmen, aktualisiert Engage seinen Glauben über die wahre Leistung jeder Variante.
4. Sobald jede Variante mindestens 500 Sendungen hat UND eine Variante 95 %+ Wahrscheinlichkeit besitzt, die beste zu sein, wird der Sieger fixiert.
5. Bei aktiviertem Rest an Sieger senden erhält der Rest die Siegervariante.

Was Bayesianisch hier wirklich bedeutet

Sie haben vielleicht A/B-Tests durch "p-Werte" und "statistische Signifikanz" gelernt. Dieser frequentistische Ansatz fragt: "Wenn die Varianten tatsächlich identisch wären, wie oft würde ich so extreme Ergebnisse sehen?" Eine nützliche Frage, aber langsam und leicht zu missbrauchen.

Der bayesianische Ansatz fragt die Frage, die Sie tatsächlich beantwortet haben wollen: "Wie hoch ist die Wahrscheinlichkeit, dass Variante B besser als Variante A ist?"

Engage gibt Ihnen diese Wahrscheinlichkeit direkt:

Variante A: 4,1 % Klickrate (n=523), 12 % Chance, die beste zu sein
Variante B: 5,8 % Klickrate (n=518), 87 % Chance, die beste zu sein
Variante C: 3,9 % Klickrate (n=515), 1 % Chance, die beste zu sein

Sobald eine Variante 95 % überschreitet, ist das Ihr Sieger.

Die Mathematik (kurz erklärt)

Überspringen Sie diesen Abschnitt, wenn Sie kein Statistik-Fan sind - das Tool funktioniert auch ohne.

Engage modelliert jede Variante als Beta-Binomial:

• Der Binomial-Teil ist die Grundmechanik - von N Sendungen gab es einige Erfolge.
• Der Beta-Teil ist eine A-priori-Verteilung über die wahre Erfolgsrate. Engage nutzt eine schwach informative uniforme A-priori.
• Nach Beobachtung der Daten ist die A-posteriori auch eine Beta-Verteilung.

Zur Schätzung von "P(Variante B ist die beste)" zieht Engage viele Zufallsstichproben aus jeder Posteriori und zählt, wie oft jede Variante gewinnt. Die Stichprobenziehung verwendet den Marsaglia-Tsang-Gamma-Algorithmus - eine schnelle und numerisch stabile Methode, Beta-Stichproben zu ziehen.

Das praktische Ergebnis: Sie erhalten eine saubere Wahrscheinlichkeitszahl, die in Echtzeit aktualisiert wird, ohne p-Hacking und ohne Bias durch frühes Stoppen.

A/B-Test einrichten

1. Im Kampagnen-Composer A/B-Varianten klicken.
2. Variante hinzufügen klicken.
3. Pro Variante:
   • Name (A: Original-Betreff, B: Emoji-Betreff)
   • Vorlage anhängen
   • Traffic-Anteil setzen (Standard: gleichverteilt)
4. Optional: 10 % Holdout für Kontrollgruppe.
5. Optional: Rest an Sieger senden.

Speichern und senden.

Ergebnisse lesen

Sobald eine Variante 95 % trifft und alle mindestens 500 Sendungen haben, sehen Sie "Sieger erklärt".

Minimale Stichprobengröße

Das 500-Sendungen-pro-Variante-Gate verhindert vorzeitige Sieger-Ausrufung. Selbst mit starkem Bayes-Framework sagen 50 Sendungen pro Variante nicht viel aus.

Bei kleinerer Zielgruppe:

• Test läuft trotzdem, aber kein Sieger wird automatisch erklärt.
• Nutzen Sie Sieger erzwingen auf der Analytik-Seite manuell.
• Oder überspringen Sie A/B-Tests bei kleinen Zielgruppen.

Holdout-Gruppen

Bei aktiviertem 10 % Holdout erhalten diese 10 % gar keine Nachricht. Ihre Conversion-Rate wird zur "Baseline".

Inkrementeller Lift = Sieger-Conversion-Rate minus Baseline-Conversion-Rate.

A/B-Tests in Journeys

Journeys unterstützen aktuell keine schritt-spezifischen A/B-Tests. Workaround: eigene Kampagne mit A/B-Test, Sieger picken, dann in Journey einbauen.

Best Practices

• Eine Sache nach der anderen testen.
• Geduldig sein. 95 % Wahrscheinlichkeit mit realistischen Effektgrößen braucht meist 1.000-5.000 Sendungen pro Variante.
• Auf Confounder achten. Test nur am Dienstag = "Dienstag vs anderer Tag"-Test.
• Sieger dokumentieren.

Fehlerbehebung

Varianten-Verkehrsaufteilung ungleichmäßig

Deterministisch pro Empfänger. Unter ~200 Sendungen pro Variante konvergiert es langsam.

Kein Sieger nach 5.000 Sendungen

Bedeutet meist, dass die Varianten genuin ähnlich sind. Akzeptieren oder differenziertere B-Variante entwerfen.

Klickrate ist null in allen Varianten

Funnel prüfen - wenn delivered auch null ist, ist der Versand kaputt. Wenn hoch und clicked null, ist Link-Tracking kaputt.

---