Intercomは、メッセージをできるだけ効果的に調整できるように、A/Bテストを非常に簡単に行えます。すべてのA/Bテストは質問から始めるべきです。例:「Xを達成するのにAとBのどちらが良いか?」
いくつかの例を紹介します:
どのコンテンツレイアウトがより多くの返信をもたらすか?
どのコンテンツがより多くのusersのアップグレードを促すか?
どのコンテンツレイアウトがより多くの訪問者のメールを取得できるか?
どの件名がより多くのusersにメールを開封させるか?
ボタンはテキストリンクよりも多くのクリックを生み出すか?
A/Bテストを行うべき理由は他にもたくさんあります。こちらのブログ記事で詳しく説明しています。
テスト、テスト、そしてまたテスト
常にテストと学習を続けるべきです。例えば、ボタンとリンクを比較してボタンが勝ったら、次はボタンの色をテストします。その後、勝者が決まったらボタンの文言をテストします。重要なのは、テストを重ねるほどメッセージの効果が高まることです。常にテストを続けましょう。
A/Bテストの設定方法
まず、メインメニューからOutboundに移動し、右上の+ 新しいメッセージをクリックします。
公開前に、以下を最低限確認してください:
メッセージに名前を付ける
対象のaudienceを選択する。
チャネルを選択する。
メッセージの内容を追加する。このメッセージがテストの「A」メッセージになります。
注意:すでに公開されているメッセージに対してもA/Bテストを開始できます。メッセージ作成時でなくても構いません。
さあ、A/Bテストを開始しましょう
メッセージAの設定が完了したら、「新しいテストを実行」をクリックし、A/Bテストのオプションを選択します。
これによりBメッセージのドラフトが作成されます。最初は既存メッセージの複製です。テストしたい内容(例:異なる件名、テキスト、ボタンの色、画像など)を編集できます。異なるチームメンバーから送信することも可能です!
何をA/Bテストできる?
メッセージのコンテンツ作成ステップ内のあらゆる要素をA/Bテストできます。
ベストプラクティス
一度に1つの違いだけを比較することを推奨します。そうすれば明確な勝者がわかり、どのバリアントが違いを生んだか推測に悩まされません。
最後に公開する
2つのメッセージに満足したら、公開しましょう。
進捗を監視する
自動メッセージ一覧ページやメッセージページでパフォーマンスを確認できます。メッセージページではバージョンAとBを切り替えてそれぞれの統計を見られます。時間が経つにつれ、重要な指標でどちらのバリアントが優れているかがわかります。例えば件名のA/Bテストなら開封率が関心事でしょう。
結果が出たら勝者を選ぶ
一方のメッセージが他方より優れていると判断したら(例:目標達成率が高い場合)、停止したいメッセージの「一時停止」ボタンを選択します。受信者の100%が勝者のメッセージを受け取ります。これにより他のメッセージは自動的に停止され、再度公開しない限り配信されません。
Intercomの現在のアウトバウンドA/Bメッセージ設定では、URLフィールドは両方のテストバリアントで共有されています。どちらかのバリアントでURLを編集すると両方に反映されるため、AとBで異なるURLを使うことはできません。
よくある質問
シリーズ内のA/Bメッセージはどう機能しますか?
シリーズ内のA/Bメッセージはどう機能しますか?
ユーザーがシリーズに入り、A/Bテストがあるメッセージにマッチすると、どのバリアントを受け取るかはランダムです。シリーズ内で複数のメッセージがA/Bテストされている場合、ユーザーはAとBの混合を受け取ることがあります。
シリーズ内のメッセージのシーケンスをA/Bテストしたい場合は、スプリットテスト機能を利用できます(サブスクリプションに含まれている場合)。利用できない場合は、2つの異なるシリーズを作成し、audienceを半分に分ける方法があります。
公開後にバージョンAまたはBに小さな変更を加えた場合はどうなりますか?そのバージョンの統計はリセットされますか?
公開後にバージョンAまたはBに小さな変更を加えた場合はどうなりますか?そのバージョンの統計はリセットされますか?
公開後にバージョンAまたはBに小さな変更を加えた場合はどうなりますか?そのバージョンの統計はリセットされますか?
公開後にバージョンに変更を加えると、結果が歪む可能性があります。
メッセージバリアントへの変更は、そのバージョンの統計をリセットしません。統計をリセットしたい場合は、そのバージョンを削除して新しいバージョンを作成する必要があります(以前の統計記録は残らないため、結果をエクスポートしておくことをお勧めします)。
メッセージを公開してからバージョンBを作成した場合、メッセージの統計はどうなりますか?
メッセージを公開してからバージョンBを作成した場合、メッセージの統計はどうなりますか?
バージョンAの統計は公開日までのすべての送信メッセージを含み、バージョンBはゼロから始まります。
メッセージ公開後に遅れてバージョンBを設定すると、真の50/50分割にならず、明確な勝者を選べない可能性があります。
A/Bテストを公開して、最初は少数のusersにだけ送信し、その後勝者を選ぶことは可能ですか?
A/Bテストを公開して、最初は少数のusersにだけ送信し、その後勝者を選ぶことは可能ですか?
両バージョンのメッセージは同時に送信されます。audienceの一部に送信し、勝者が決まるまで待ってから残りに送ることはありません。
回避策として、一部のusersにタグを付け、メッセージ公開時のaudienceルールにそのタグを含めます。小規模audienceに送信後、ルールからタグを外し、残りのaudienceにはAかBのどちらかだけを送信します。
送信統計で50/50の均等分割が見られないのはなぜですか?
送信統計で50/50の均等分割が見られないのはなぜですか?
以下の点を確認してください:
1: どちらかのバージョンがもう一方よりかなり前に公開されている場合(そのため送信の大部分が最初のバージョンからになります)。
2: メッセージに会社データが含まれている場合、同じ会社のusersは同じバージョンを受け取るため、users数によって分割が偏ることがあります。
3: audienceが小さい場合、50/50に見えないことがあります。分割の大きさは確率によるもので、audienceが大きくなるほど両バリアントのaudience数は均等になります。




