メインコンテンツにスキップ

コントロールグループでメッセージの効果を証明する

コントロールグループ実験を実施して、メッセージの効果を証明しましょう。

対応者:Beth-Ann Sher

メッセージをコントロールグループと比較テストすることで、どのメッセージが実際の行動を促しているかがわかります。対象の半分にメッセージを送り、残りの半分には送らずに保持します。

その後、どちらのグループの成果が良かったかを簡単に確認できます。これにより、どのメッセージを維持し、どれを改善すべきかの判断に役立ちます。

注意:

  • コントロールグループは継続的なメッセージに利用可能です。一度きりのメッセージには利用できません。詳細はこちらのプランと料金をご覧ください。

  • コントロールグループを有効にするには、メッセージの目標を設定する必要があります。目標を定義せずにコントロールグループを設定しようとすると、追加を促されます。これにより、メッセージの効果を正確に測定できます。

コントロールグループを作成する

メッセージの作成が完了したら、新しいテストを実行をクリックし、次にコントロールグループを選択します。

注意:

  • コントロールグループはメッセージ作成中にのみ設定可能です。メッセージがライブになった後は設定できません。

  • コントロールグループはすべてのメッセージチャネル(チャット、投稿メール、およびプッシュ)で利用可能です。

メッセージに満足したら、ライブに設定してください。

コントロールグループの仕組み

次に、メッセージの対象者を2つのグループに分けます。対象者の50%にメッセージを自動的に割り当て、残りの50%はコントロールグループに割り当てます。つまり、対象者の50%はこのメッセージを受け取りません。

コントロールグループ実験の結果を見る

メッセージがライブになると、コントロールグループ実験の結果を簡単に確認できます。

まず、概要タブをクリックします。ここで、メッセージを受け取った顧客数と、そのうち目標を達成した顧客の割合が表示されます。

次に、コントロールグループタブをクリックします。ここで、メッセージを受け取らなかった顧客数(コントロールグループのため)と、そのうち目標を達成した顧客の割合が表示されます。

メッセージの効果を高めるためのベストプラクティス

コントロールグループ実験の効果を評価する期間を設定することをおすすめします。メッセージの見直しと最適化のためのヒントは以下の通りです。

1. 最も効果的なメッセージを強調する

効果的なメッセージは強調すべきです。例えば、メッセージを受け取ったusersのうち目標を達成した割合がコントロールグループのusersより高い場合、その目標達成の向上はメッセージ自体の効果と考えられます。

メッセージが成功したとわかったら、次のことができます。

  • これらのメッセージを上層部に示し、あなたの仕事の効果を証明しましょう。

  • 本当に効果的なメッセージのパターンを特定し、xxx。

2. 最も効果の低いメッセージにフラグを立てる

効果が見られないメッセージにもフラグを立てるべきです。例えば、コントロールグループのusersが目標を達成した割合とメッセージを受け取ったusersの割合が同じ場合、顧客の行動はメッセージによるものではないかもしれません。

まずはメッセージの変更をおすすめします。例えば、コピーや行動喚起を調整して、メッセージの効果が改善するか試してみてください。

それでも効果が出ない場合は、より効果的なメッセージに置き換えることを検討してください。メッセージの枠は貴重なので、最も効果的で役立つメッセージだけをusersに送るべきです。

設定したコントロールグループを削除できますか?

はい、ただし2つの注意点があります。

  • コントロールグループを削除すると、メッセージの統計情報も削除されます。

  • そして、コントロールグループのusersはメッセージを受け取りません。

重要:一度コントロールグループを削除すると、復元はできません。

こちらの回答で解決しましたか?