Intercom macht es Ihnen super einfach, Ihre Nachrichten per A/B-Test zu optimieren, damit sie so effektiv wie möglich sind. Alle A/B-Tests sollten mit einer Frage beginnen, z. B. ‚Wird A oder B besser sein, um X zu erreichen?‘.
Hier sind einige Beispiele:
Welches Inhaltslayout führt zu mehr Antworten?
Welcher Inhalt führt dazu, dass mehr users upgraden?
Welches Inhaltslayout hilft mir, mehr Besucher-E-Mails zu erfassen?
Welche Betreffzeile bringt mehr users dazu, meine E-Mail zu öffnen?
Erzeugt ein Button mehr Klicks als ein Textlink?
Es gibt viele weitere Gründe, warum Sie A/B testen sollten. Wir haben dazu einen Blogbeitrag hier geschrieben.
Testen, testen und nochmals testen
Sie sollten immer testen und lernen. Wenn Sie z. B. einen Button gegen einen Link testen und der Button gewinnt, sollten Sie als Nächstes die Button-Farbe testen. Wenn Sie dann einen Gewinner haben, testen Sie den Button-Text. Je mehr Sie testen, desto effektiver werden Ihre Nachrichten. Testen Sie immer.
So richten Sie Ihren A/B-Test ein
Gehen Sie zuerst im Hauptmenü zu Outbound und klicken Sie oben rechts auf + Neue Nachricht.
Bevor Sie live gehen, stellen Sie sicher, dass Sie mindestens Folgendes haben:
Ihrer Nachricht einen Namen gegeben haben
Ihre Zielgruppe ausgewählt haben.
Ihren Kanal ausgewählt haben.
Den Inhalt Ihrer Nachricht hinzugefügt haben. Diese Nachricht wird Nachricht „A“ in Ihrem Test sein.
Hinweis: Sie können einen A/B-Test auch gegen eine bereits live geschaltete Nachricht starten. Es muss nicht beim ersten Erstellen der Nachricht sein.
Starten Sie jetzt Ihren A/B-Test
Sobald Sie Ihre Nachricht A eingerichtet haben, klicken Sie auf ‚Neuen Test starten‘ und wählen Sie die Option für den A/B-Test.
Dies erstellt einen Entwurf Ihrer Nachricht B. Zunächst ist dies nur eine Kopie Ihrer bestehenden Nachricht. Sie können die Kopie nun mit allem bearbeiten, was Sie testen möchten (z. B. unterschiedliche Betreffzeilen, anderen Text, andere Button-Farben oder andere Bilder, was immer Sie wollen). Sie können sogar die beiden Nachrichten von verschiedenen Teammitgliedern senden lassen!
Was kann A/B-getestet werden?
Sie können alles A/B-testen, was im Schritt der Inhaltserstellung der Nachricht enthalten ist:
Beste Praxis
Wir empfehlen, immer nur einen Unterschied auf einmal zu vergleichen. So wissen Sie bei einem klaren Gewinner genau warum und müssen nicht raten, welche Variante den Unterschied verursacht hat.
Schließlich live schalten
Wenn Sie mit den beiden Nachrichten zufrieden sind, schalten Sie sie live.
Fortschritt überwachen
Sie können die Leistung auf der Seite der automatischen Nachrichtenliste oder auf der Nachrichtenseite überprüfen. Auf der Nachrichtenseite wechseln Sie einfach zwischen Version A und Version B, um die Statistiken für jede zu sehen. Mit der Zeit können Sie sehen, welche Variante in den für Sie wichtigsten Kennzahlen besser abschneidet. Wenn Sie z. B. Betreffzeilen A/B-testen, interessieren Sie sich wahrscheinlich für die Öffnungsraten.
Wählen Sie einen Gewinner, sobald Sie ein Ergebnis haben
Wenn Sie sicher sind, dass eine Nachricht besser abschneidet als die andere (z. B. wenn das Ziel-% einer Nachricht höher ist als das der anderen), wählen Sie die Schaltfläche ‚Pause‘ bei der Nachricht, die Sie stoppen möchten. 100 % der Empfänger erhalten nun die Gewinnnachricht. Die andere Nachricht wird automatisch pausiert und die Nutzer erhalten sie nicht mehr (es sei denn, Sie schalten sie wieder live).
Im aktuellen Outbound-A/B-Nachrichten-Setup von Intercom wird das URL-Feld zwischen beiden Testvarianten geteilt. Wenn Sie die URL in einer Variante bearbeiten, wird sie für beide aktualisiert, sodass es nicht möglich ist, unterschiedliche URLs für Test A und B zu verwenden.
FAQs
Wie funktioniert das mit A/B-Nachrichten innerhalb einer Serie?
Wie funktioniert das mit A/B-Nachrichten innerhalb einer Serie?
Wenn ein user eine Serie betritt und für eine Nachricht mit A/B-Test infrage kommt, ist es zufällig, welche Variante er erhält. Wenn mehrere Nachrichten innerhalb einer Serie A/B-getestet werden, kann ein user eine Mischung aus As oder Bs erhalten.
Wenn Sie eine Abfolge von Nachrichten innerhalb ihrer Serie A/B-testen möchten, können Sie die Split-Test-Funktion verwenden, wenn sie Teil Ihres Abonnements ist. Wenn Sie keinen Zugriff auf diese Funktion haben, ist eine Lösung, zwei verschiedene Serien einzurichten und die Serien-Zielgruppe zu halbieren.
Was passiert, wenn ich nach dem Livegang kleine Änderungen an Version A oder B vornehme? Werden die Statistiken für diese Version zurückgesetzt?
Was passiert, wenn ich nach dem Livegang kleine Änderungen an Version A oder B vornehme? Werden die Statistiken für diese Version zurückgesetzt?
Was passiert, wenn ich nach dem Livegang kleine Änderungen an Version A oder B vornehme? Werden die Statistiken für diese Version zurückgesetzt?
Änderungen an einer Version nach dem Livegang können Ihre Ergebnisse verfälschen.
Änderungen an einer Nachrichtenvariante setzen die Statistiken für diese Version nicht zurück. Wenn Sie möchten, dass die Statistiken zurückgesetzt werden, müssen Sie diese Version löschen und eine neue Version erstellen (beachten Sie, dass Sie dann keine Aufzeichnungen der vorherigen Statistiken haben, daher sollten Sie Ihre Ergebnisse vorher exportieren).
Was passiert mit den Nachrichtenstatistiken, wenn ich eine Version B erst nach dem Livegang erstelle?
Was passiert mit den Nachrichtenstatistiken, wenn ich eine Version B erst nach dem Livegang erstelle?
Die Nachrichtenstatistiken für Version A umfassen alle bis zu diesem Zeitpunkt gesendeten Nachrichten, und Version B beginnt bei Null.
Wenn Sie Version B erst spät nach dem Livegang einrichten, erhalten Sie keine echte 50/50-Aufteilung und möglicherweise keinen klaren Gewinner.
Ist es möglich, den A/B-Test live zu schalten, aber die Zielgruppe zunächst nur einer kleinen Gruppe von users zu senden, bevor ein Gewinner ausgewählt wird?
Ist es möglich, den A/B-Test live zu schalten, aber die Zielgruppe zunächst nur einer kleinen Gruppe von users zu senden, bevor ein Gewinner ausgewählt wird?
Beide Versionen der Nachricht werden gleichzeitig versendet. Wir senden nicht an einen Teil der Zielgruppe, warten auf einen ‚Gewinner‘ und senden dann alle verbleibenden Empfänger an diese Version.
Eine Lösung wäre, einen Teil der users zu taggen und das Tag in den Zielgruppenregeln beim Live-Schalten der Nachricht zu verwenden. Nachdem die Nachricht an die kleinere Zielgruppe gesendet wurde, können Sie das Tag aus den Regeln entfernen und nur noch A oder B an den Rest der Zielgruppe senden.
Warum sehe ich keine gleichmäßige 50/50-Aufteilung in den Versandstatistiken?
Warum sehe ich keine gleichmäßige 50/50-Aufteilung in den Versandstatistiken?
Hier sind einige Dinge, die Sie überprüfen sollten:
1: Prüfen Sie, ob eine der Versionen lange vor der zweiten Version live geschaltet wurde (daher stammen die meisten Sendungen von der ersten Version).
2: Prüfen Sie, ob die Nachricht Firmendaten im Inhalt verwendet – da alle users eines Unternehmens in diesem Fall dieselbe Version erhalten, kann die Aufteilung je nach Anzahl der users im Unternehmen verzerrt sein.
3: Wenn die Zielgruppe der Nachricht recht klein ist, erscheint die Aufteilung möglicherweise nicht als 50/50. Die Größe der Aufteilung hängt von der Wahrscheinlichkeit ab. Je größer die Zielgruppe wird, desto wahrscheinlicher gleichen sich die Zielgruppen beider Varianten aus.
Ist es möglich, einen A/B-Test durchzuführen, bei dem die Hälfte der Zielgruppe die Nachricht erhält und die andere Hälfte keine Nachricht?
Ist es möglich, einen A/B-Test durchzuführen, bei dem die Hälfte der Zielgruppe die Nachricht erhält und die andere Hälfte keine Nachricht?
Ja, das können Sie mit einer Kontrollgruppe.