メインコンテンツにスキップ

CXスコアで大規模な顧客体験を理解する

CXスコアで人間とFinの両方のやり取りにわたる顧客体験を完全に把握しましょう。

対応者:Egbert Gonzalez

CXスコアは、Finと人間の両方のやり取りにわたるサポート体験に対する顧客の感情を測定します。調査に頼らず、サポートリーダーやチームに顧客の感情を完全に可視化します。

この記事では、CXスコアが解決を目指す課題、スコアのアクセス方法と解釈方法、価値を最大化するベストプラクティスについて学びます。

注意: CXスコア機能にアクセスするにはProアドオンが必要です。Proアドオンがワークスペースで有効でない場合、会話がすべての条件を満たしていてもCXスコアは表示されません。


CXスコアはどのような課題を解決しますか?

CXスコアはサポートリーダーやチームが以下の問題に対処するのを支援します:

  • 調査されたCSATは不完全で偏りがある - 小規模で自己選択的なグループからのフィードバックを取得し、極端な意見が過剰に代表されることが多い。

  • 顧客はAIと人間のエージェントを異なる基準で評価する - 顧客はAIサポートを厳しく評価しがちで、公平なAI評価が難しい。

  • 関心を失った顧客は測定されない - 中立的または不満足な体験をした顧客を含め、調査に回答しない顧客は満足度指標から除外されることが多い。

  • すべてのAIおよび人間主導の会話にわたる満足度をスケーラブルに測定する方法がない - 完全なカバレッジがなければ、チームは傾向を追跡し、摩擦点を特定し、全体的なサポート品質を向上させるのに苦労する。

  • 調査設計が結果を歪めることがある - 調査のタイミングや表現の小さな変更が、サポート品質が変わっていなくてもスコアに影響を与える。

CXスコアは調査に頼らず、すべての意味のあるやり取りをスコアリングすることで、Finとチームメイトの会話全体にわたる顧客感情のより完全で一貫したビューをサポートチームに提供します。

注意: CXスコアはFinを使用している顧客のみ利用可能です - Finを展開してすべての会話でCXスコアを確認してください(すべての言語対応)。


CXスコアの仕組み

CXスコアは機械学習を使い、CXスコア理由と呼ばれる特定の要因に基づいて意味のある会話をスコアリングします。

モデルは会話を分析し、以下のカテゴリにわたる明確なシグナル(肯定的または否定的)を特定します:

理由

測定内容

値

回答の質(Fin AI Agent)

Fin AI Agent(自動workflowsを含む)が顧客の問い合わせにどれだけ適切に回答したか—具体的には、回答が明確で正確で、矛盾や繰り返しの説明なしに問題を解決したかどうか。

高 / 低 / 中立

回答の質(Teammate)

チームメイトエージェントが顧客の問い合わせにどれだけ適切に回答したか—具体的には、回答が明確で正確で、矛盾や繰り返しの説明なしに問題を解決したかどうか。

高 / 低 / 中立

顧客の努力

顧客がどれだけ努力したか(例:繰り返し説明、複数の引き継ぎ)。

高 / 低 / 中立

強い感情

顧客は強い肯定的または否定的な感情(喜び、感謝、苛立ち、怒り)を表現しましたか?

肯定的 / 否定的 / 中立

製品/サービスのフィードバック

顧客は製品(機能、バグ、設計のギャップなど)や提供されたサービス(配送、信頼性、オンボーディング、パフォーマンスなど)について称賛または批判をしましたか?

肯定的 / 否定的 / 中立

ポリシーフィードバック

顧客は会社のポリシー(返金、返品、アカウントルール)を称賛または批判しましたか?

肯定的 / 否定的 / 中立

評価の計算方法

各理由は独立して評価されます。明確なシグナルがあれば、モデルは値(肯定的、否定的、高、低)を割り当てます。強い指標がなければ属性は中立と見なされます。

特定の理由がスコアに他より影響を与える隠れた計算式や重み付けはありません。代わりに、モデルは中立でない理由の組み合わせを見て、1から5の総合的なCXスコア評価を導き出します。

データ処理とセキュリティ

CXスコアはIntercomの独自技術とサードパーティの大規模言語モデル(LLM)を組み合わせて会話データを分析し、評価を生成します。会話データはこの過程でサードパーティのAIプロバイダーと共有されます。

重要: 顧客データはLLMプロバイダーによるモデル学習には使用されません。すべてのサードパーティAIプロバイダーはゼロデータ保持ポリシーと厳格な契約上の保護を受けています。データ使用、セキュリティ対策、サードパーティAIプロバイダーの詳細はAI製品の法務・セキュリティガイドをご覧ください。

CXスコアの特定基準

以下の条件を満たすと会話にCX評価が付与されます:

  • 会話がクローズされていること。

  • 評価を決定するのに十分な決定的情報が会話に含まれていること。

  • 会話がチャットまたはメールで行われていること(電話ではない)。

  • 会話に少なくとも2回の顧客返信と2回のエージェント/チャットボット返信が含まれていること。

  • 会話はユーザーによって開始されました。

注意:最近、基準を拡大してより広範なカバレッジを含めました。以前は評価されなかった短いまたは低コンテキストの会話も、評価の明確なシグナルがあればスコアが付く場合があります。

スコアの正確性を保つために、モデルは自動的にスパムをフィルタリングします。


CXスコアへのアクセス方法

概要レポート

CXスコアを見るには、レポート > 概要に移動し、「CX Score」セクションが見つかるまでスクロールしてください。

これには以下が含まれます:

  • 全体のCXスコア - すべての会話からのスコア。

  • Fin AI Agent CX Score - Finのみが対応した会話。

  • Fin AI AgentとTeammateのCXスコア - FinとTeammateの両方が同じ会話に参加した場合。

  • Teammate CXスコア - Teammateのみが対応した会話。

  • 時間経過によるCXスコア - 上記の指標を用いたマルチメトリックの折れ線グラフで時間の傾向を表示。

  • ポジティブなCXスコアドライバー - ポジティブな顧客体験に最も影響を与えるCXスコア理由属性。
    ​ネガティブなCXスコアドライバー - ネガティブな顧客体験に最も影響を与えるCXスコア理由属性。

指標にカーソルを合わせてドリルインをクリックすると、特定のスコアが付けられた理由の詳細な説明が表示されます。

CXスコアのバケット — Fin AI Agent、Teammate、およびFin AI AgentとTeammate — は、会話全体の実際のメッセージ送信者によって決定され、最後のメッセージ送信者や会話の割り当てによって決まるわけではありません。

注意:

  • 概要レポートの「Customer Satisfaction」セクションは「Surveyed CSAT」に名称変更されました。

  • CXスコアはFinとTeammateの両方の会話で計算されますが、すべての会話のCXスコアを見るにはFinを使用している必要があります。

Topics Explorer

Topics Explorerでは、チームだけでなくトピックごとのパフォーマンスを追跡できます。各トピックにはCX Scoreが含まれており、どの問題がうまく対応されているか、どの問題に注意が必要かがわかります。

高ボリュームでCX Scoreが低いトピックを特定して重点的に対応し、サブトピックごとのツリーマップや折れ線グラフをクリックして表示します。これにより、ボリュームとネガティブなCXの根本原因に対処し、最も影響力のあるサブトピックを改善できます。

さらに詳しく調べるには、特定のCX Score理由でTopics Explorerをフィルタリングし、その理由でスコアを引き起こしているトピックを特定します。例えば、「CX Score reasons is Negative product feedback」でフィルタリングすると、その理由で最も多くのネガティブなCX Scoreを生み出すトピックがわかり、詳細を掘り下げて根本原因を理解し、的確な対策を取れます。

注意:CX Score付きのトピックを表示するには、十分な対象会話数が必要です。AI生成のトピックとサブトピックについて詳しくはこちら。

Fin Performance dashboard

Fin Performance dashboardは、人間のエージェントが関与せずFinのみが対応した会話に対する全評価のうち、ポジティブな顧客評価の割合を示します。

このスコアはFinのサービスに対する顧客満足度を反映しています。ドリルインをクリックすると、FinのCX Scoreの背後にある会話と、特定のCX Score reasonsと顧客の問い合わせ内容の文脈を組み合わせた詳細な要約が表示され、スコアの理由が正確に説明されます。

Fin AI Agent report template

Fin AI Agent report templateは、トップとFin AI Agent CX Scoreの時間経過による影響を示す折れ線グラフを含むように更新されました。

このテンプレートの「Fin AI Agent CX Score」セクションでは、以下の内容を完全に把握できます。

  • Fin AI Agent CX Score

  • CX Score評価付きのFin AI Agent会話

  • Fin AI Agent CX Score評価

  • 時間別のFin AI Agent CX Score評価

個々の会話評価と説明の表形式ビューが含まれます。

注意:

  • Fin AI CSATチャートはこのテンプレートから削除されました。チャートライブラリからレポートにドラッグして再追加できます。

  • これらの更新はテンプレートにのみ適用され、以前にワークスペースでFin AI Agentレポートを編集していない顧客にのみ影響します。

カスタムレポート

以下の指標がConversations datasetに追加されており、独自のレポート作成に使用できます。

指標

定義

CX Score

CX Score評価(4または5のスコア)を受けた会話の割合(CX Score評価が付けられたすべての会話に対して)。

CX Score評価付きの会話数

CX Score評価が付けられた会話の総数。

ポジティブなCX Score評価付きの会話数

ポジティブなCX Score評価(4または5のスコア)を受けた会話の数。

注意:これらの指標には異なるタイムスタンプの2つのバージョンもあります。

  • 会話開始日時

  • 会話最終クローズ日時

Intercomのレポートに新しい属性も追加しました:

  • CXスコア 評価: これは1(ネガティブ)から5(ポジティブ)までの評価です。

  • CXスコアの理由: スコアに影響を与えた具体的な要因(例:高い回答品質、ネガティブな製品フィードバック)。これを使ってチャートをフィルタリングまたはセグメント化し、どの理由がスコアに影響を与えているかを確認できます。

  • CXスコア評価の説明: 会話にCX評価が付けられると、その評価が付けられた理由の要約も提供されます。

ヒント: これらの属性はレポート、Inbox、およびAPIのConversationsエンドポイント内の"custom_attributes"オブジェクトで利用可能です。

レポートでAgent Type属性によってCX指標をセグメント化またはフィルタリングし、異なる参加者のパフォーマンスを理解できます。Agent Typeの値は会話中の実際のメッセージ送信者によって決まり、最後のメッセージ送信者や会話の割り当て先だけではありません。可能な値はFin AI Agent、Teammate、Fin AI AgentとTeammateで、Fin、チームメイト、または両方が返信を送ったかを反映しています。

例えば:

  • 人間のエージェントのみが対応した会話のCXスコアを見るには、Agent TypeがTeammateでフィルタリングしてください。

  • Finのパフォーマンスを見るには、Agent TypeがFinでフィルタリングしてください。

注意: これらのバケットを動かす内部フィールドagent_types_involved_groupingは公開APIでは利用できません。API経由でレポートを作成する場合、「Finのみ」会話の最良の近似はai_agent.resolution_stateの値でフィルタリングすることです。


CXスコアを最大限に活用する

CXスコアの価値を最大化するために、以下を推奨します:

アクション

確認すべきこと

傾向とパターンを追跡する

  • サポートコンテンツ、workflows、製品アップデートの変更後にスコアは改善していますか、それとも低下していますか?

  • 特定のカテゴリ(例:AI Agent対Teammate)は時間とともにより良いパフォーマンスを示していますか?

低スコアの会話を調査する

  • 低評価のやり取りに共通のテーマはありますか?

  • 顧客は特定の回答や解決時間に不満を持っていますか?

AI生成の説明を探る

  • どの具体的なCXスコアの理由(例:回答品質、強い感情)が評価に影響しましたか?

  • 満足度に影響する共通の摩擦点はありますか?

高い顧客努力の会話をルーティングする

  • 手動: レポートでCustomer effort: HighのCXスコア理由で会話をフィルタリングし、適切なチームやキューに直接割り当てます。

  • 自動: Conversations APIとデータコネクタを使い、CX Score reasons属性を読み取り、自動割り当てやタグ付けのロジックをトリガーします。自動ルーティングにはカスタム開発が必要です。


よくある質問

CXスコアはCSATとどう違いますか?

従来のCSAT調査は顧客満足度の狭く偏った見方を提供します。回答率は低く、フィードバックは極端な体験のみを反映しがちで、AIサポートは人間主導の会話より厳しく評価されることが多いです。

CXスコアは調査に頼らず、すべての意味のあるやり取りをスコアリングすることで、Finとチームメイトの会話全体にわたる顧客の感情をより完全かつ一貫して把握できるようにします。

CXスコアはどのように確認できますか?

CXスコアを見るには、レポート > 概要に移動し、「CX Score」セクションまでスクロールしてください。FinのCXスコアはFin AI Agentレポートテンプレート、パフォーマンスダッシュボードでも確認でき、CXスコアの指標や属性を使ってカスタムレポートを作成することも可能です。

注意:

  • CXスコアはFinとチームメイトの会話の両方で計算されますが、CXスコアを見るにはワークスペースでFinを使用している必要があります。

  • 会話にCXスコアが割り当てられるまでに数時間かかることがあります。

CXスコアのためにどのくらい過去の会話が遡って処理されますか?

「最終クローズ日時」のタイムスタンプを使って28日分の会話を遡って処理しました。

CXスコアに納得できない場合はどうすればいいですか?

CSATと同様に、CXスコアが正確でない、またはカウントすべきでないと思う場合は、会話にタグを付ける(例:「exclude_from_cx」)ことができます。そのタグを使ってレポートで該当会話を除外してください。

FinレポートのFin CSATチャートはどうなりましたか?

Fin AI AgentレポートテンプレートではFin CSATをCXスコアに置き換えました。Fin CSATを使い続けたい場合は、レポート編集時のチャートライブラリから古いCSATチャートを再追加できます。

CXスコアは個々のチームメイトのパフォーマンス測定に使えますか?

いいえ、CXスコアは個々のチームメイトのパフォーマンス評価を目的としていません。会話全体をチームメイトが担当した場合でも、複数参加者がいる会話(例:Finが開始しチームメイトが終了)では、CXスコアは個別の貢献ではなく全体の顧客体験を反映します。

また、調査されたCSATもエージェントレベルの帰属には完璧ではありません。CSAT調査は通常、会話終了時に顧客に送られ、最後に関わった人へのフィードバックとして表現されますが、顧客はFinや以前のエージェントを含む全体の体験を評価している可能性があります。

既存の利用規約の下で、顧客は人間のエージェントのパフォーマンス評価やレビューに関わる決定にCXスコアを使用または依存することは許可されていません。このような使用はEU AI法の下で高リスクAIシステムに分類される可能性があり、IntercomのAI製品利用規約および許容使用ポリシーに反します。

個々のチームメイトレベルでCXを測定するには?

個々のチームメイトのCXを特定するには、レポートのフィルターやセグメントで「Teammate replied to」属性を使用してください。これは選択したチームメイトが顧客に少なくとも1回返信した会話を含みます(Finや他のチームメイトが関与していても)。

なぜ一部のチャートやレポートでCX評価でフィルタリングできないのですか?

CX評価と説明属性はConversationsデータセットに由来する指標でのみ利用可能です。そのデータセット外の指標ではCX属性はフィルタリングやセグメント化に使えません。

CXスコアはticketsに適用されますか?

CXスコアはBack-office ticketsやIntercomのTracker ticketsには適用されません。ただし、メールやライブチャットチャネルで始まった会話から変換されたCustomer ticketsには適用されます。

注意: 会話がticketに変換されると、既存の会話が変換されるため、ticketが解決されたときにのみ会話にCXスコアが付与されます。

こちらの回答で解決しましたか?