メインコンテンツにスキップ

異なるメッセージバリエーションのA/Bテストを行う

A/Bテストとコントロールグループを使って、メッセージの改善時期と方法を学びましょう

対応者:Beth-Ann Sher

Intercomは、メッセージをできるだけ効果的に調整できるように、A/Bテストを非常に簡単に行えます。すべてのA/Bテストは質問から始めるべきです。例:「Xを達成するのにAとBのどちらが良いか?」

いくつかの例を紹介します:

  • どのコンテンツレイアウトがより多くの返信をもたらすか?

  • どのコンテンツがより多くのusersのアップグレードを促すか?

  • どのコンテンツレイアウトがより多くの訪問者のメールを取得できるか?

  • どの件名がより多くのusersにメールを開封させるか?

  • ボタンはテキストリンクよりも多くのクリックを生み出すか?

A/Bテストを行うべき理由は他にもたくさんあります。こちらのブログ記事で詳しく説明しています。

テスト、テスト、そしてまたテスト

常にテストと学習を続けるべきです。例えば、ボタンとリンクを比較してボタンが勝ったら、次はボタンの色をテストします。その後、勝者が決まったらボタンの文言をテストします。重要なのは、テストを重ねるほどメッセージの効果が高まることです。常にテストを続けましょう。

A/Bテストの設定方法

まず、メインメニューからOutboundに移動し、右上の 新しいメッセージをクリックします。

公開前に、以下を最低限確認してください:

  1. メッセージに名前を付ける

  2. 対象のaudienceを選択する。

  3. チャネルを選択する。

  4. メッセージの内容を追加する。このメッセージがテストの「A」メッセージになります。

注意:すでに公開されているメッセージに対してもA/Bテストを開始できます。メッセージ作成時でなくても構いません。

さあ、A/Bテストを開始しましょう

メッセージAの設定が完了したら、「新しいテストを実行」をクリックし、A/Bテストのオプションを選択します。

これによりBメッセージのドラフトが作成されます。最初は既存メッセージの複製です。テストしたい内容(例:異なる件名、テキスト、ボタンの色、画像など)を編集できます。異なるチームメンバーから送信することも可能です!

何をA/Bテストできる?

メッセージのコンテンツ作成ステップ内のあらゆる要素をA/Bテストできます。

ベストプラクティス

一度に1つの違いだけを比較することを推奨します。そうすれば明確な勝者がわかり、どのバリアントが違いを生んだか推測に悩まされません。

最後に公開する

2つのメッセージに満足したら、公開しましょう。

進捗を監視する

自動メッセージ一覧ページやメッセージページでパフォーマンスを確認できます。メッセージページではバージョンAとBを切り替えてそれぞれの統計を見られます。時間が経つにつれ、重要な指標でどちらのバリアントが優れているかがわかります。例えば件名のA/Bテストなら開封率が関心事でしょう。

結果が出たら勝者を選ぶ

一方のメッセージが他方より優れていると判断したら(例:目標達成率が高い場合)、停止したいメッセージの「一時停止」ボタンを選択します。受信者の100%が勝者のメッセージを受け取ります。これにより他のメッセージは自動的に停止され、再度公開しない限り配信されません。

Intercomの現在のアウトバウンドA/Bメッセージ設定では、URLフィールドは両方のテストバリアントで共有されています。どちらかのバリアントでURLを編集すると両方に反映されるため、AとBで異なるURLを使うことはできません。

よくある質問

シリーズ内のA/Bメッセージはどう機能しますか?

ユーザーがシリーズに入り、A/Bテストがあるメッセージにマッチすると、どのバリアントを受け取るかはランダムです。シリーズ内で複数のメッセージがA/Bテストされている場合、ユーザーはAとBの混合を受け取ることがあります。
シリーズ内のメッセージのシーケンスをA/Bテストしたい場合は、スプリットテスト機能を利用できます(サブスクリプションに含まれている場合)。利用できない場合は、2つの異なるシリーズを作成し、audienceを半分に分ける方法があります。

公開後にバージョンAまたはBに小さな変更を加えた場合はどうなりますか?そのバージョンの統計はリセットされますか?

公開後にバージョンAまたはBに小さな変更を加えた場合はどうなりますか?そのバージョンの統計はリセットされますか?

公開後にバージョンに変更を加えると、結果が歪む可能性があります。


メッセージバリアントへの変更は、そのバージョンの統計をリセットしません。統計をリセットしたい場合は、そのバージョンを削除して新しいバージョンを作成する必要があります(以前の統計記録は残らないため、結果をエクスポートしておくことをお勧めします)。

メッセージを公開してからバージョンBを作成した場合、メッセージの統計はどうなりますか?

バージョンAの統計は公開日までのすべての送信メッセージを含み、バージョンBはゼロから始まります。

メッセージ公開後に遅れてバージョンBを設定すると、真の50/50分割にならず、明確な勝者を選べない可能性があります。

A/Bテストを公開して、最初は少数のusersにだけ送信し、その後勝者を選ぶことは可能ですか?

両バージョンのメッセージは同時に送信されます。audienceの一部に送信し、勝者が決まるまで待ってから残りに送ることはありません。

回避策として、一部のusersにタグを付け、メッセージ公開時のaudienceルールにそのタグを含めます。小規模audienceに送信後、ルールからタグを外し、残りのaudienceにはAかBのどちらかだけを送信します。

送信統計で50/50の均等分割が見られないのはなぜですか?

以下の点を確認してください:

1: どちらかのバージョンがもう一方よりかなり前に公開されている場合(そのため送信の大部分が最初のバージョンからになります)。

2: メッセージに会社データが含まれている場合、同じ会社のusersは同じバージョンを受け取るため、users数によって分割が偏ることがあります。

3: audienceが小さい場合、50/50に見えないことがあります。分割の大きさは確率によるもので、audienceが大きくなるほど両バリアントのaudience数は均等になります。

audienceの半分にメッセージを送り、半分には送らないA/Bテストは可能ですか?

はい、コントロールグループを使って可能です。

こちらの回答で解決しましたか?