モニターとは何ですか？
この文章は、モニターの仕組みと使用タイミングを理解するためのものです。サポートマネージャー、QAリード、または会話品質に責任を持つ方に役立ちます。MonitorsはFin AI Agentと人間のチームメイトの会話品質を大規模に継続的に評価・改善するための仕組みを提供します。どの会話をレビューすべきかを体系的に定義でき、基準品質のためのランダムサンプルやリスクや影響が大きい信号に基づくターゲットセットを指定できます。これにより、アドホックなサンプリングやスプレッドシートによる品質保証（QA）を置き換え、ボリューム増加に対応可能な反復可能なシステムとなります。MonitorsはProアドオンで利用可能です。開始前にこの記事の最後の注意事項をご覧ください。
チームがMonitorsを使う方法
チームはMonitorsを使って品質の継続的な可視化を維持し、最も重要な部分に注力します。
Monitorsは、全体的な品質傾向を理解するためのランダムサンプルの会話レビュー、低いCXスコア、ポリシー違反、法的脅威などの信号でフラグ付けされたリスクの高いやり取りに注目するため、または機能リリース、価格変更、製品アップデートなど特定の施策に関連する会話を追跡するために役立ちます。
Monitorsは、VIPとしてフラグ付けされた顧客など、高価値顧客とのFinが対応した会話をレビューする推奨手法でもあります。Finがやり取りを解決し、顧客がカスタム属性やタグなどのVIP条件を満たす会話を基準に設定すると、モニターは自動的にそれらの会話を専用のレビューキューに表示します。これにより、会話の割り当てやレポートの表示方法を変えずに、最も重要なやり取りの品質チェックが可能になります。
一般的に、Monitorsはパターン検出、問題の早期発見、製品、サポート、リーダーシップチームと共有可能な洞察の生成を容易にします。開始に役立つ3つのカテゴリの事前作成テンプレートがあります。
Finレビュー
Finレビュー用のモニターを使って、Finが対応した会話の品質を評価します。Intercomには以下のテンプレートが用意されています。
すべてのFin会話 — すべてのFin会話を自動レビューします。
週次Finレビュー — Fin会話のサンプルをレビューします。
低いFin回答品質 — 低品質のFin回答がある会話。
高いFin回答品質 — 高品質のFin回答がある会話。
エスカレーション処理の問題 — エスカレーションが適切に処理されていない会話をフラグ付け。
繰り返しループの問題 — Finが繰り返し応答に陥っている会話をフラグ付け。
チームメイトレビュー
チームメイトレビュー用のモニターを使って、人間のチームメイトが対応した会話を評価します。
これらはコーチング、キャリブレーション、パフォーマンス追跡に役立ちます。テンプレートには以下が含まれます。
すべてのチームメイト — すべてのチームメイトの会話を自動レビュー。
週次チームメイトレビュー — チームメイト会話のサンプルをレビュー。
高いチームメイト回答品質 — 高品質のチームメイト回答がある会話。
低いチームメイト回答品質 — 低品質のチームメイト回答がある会話。
その他のモニター
一般的なモニターは、Finまたはチームメイトが対応したかに関わらず、すべての会話における特定の顧客体験の信号やリスク要因を追跡できます。
テンプレートには以下が含まれます。
ネガティブな感情 — 顧客のネガティブな感情がある会話。
ポジティブな感情 — 顧客のポジティブな感情がある会話。
ネガティブな製品フィードバック — ネガティブな製品フィードバックがある会話を追跡。
法的およびセキュリティ問題 — 法的またはセキュリティ上のリスクが高い会話をフラグ付け。
脆弱な顧客 — 財政的に脆弱な顧客の会話をフラグ付け。
患者の安全懸念 — 健康リスクを示す可能性のある会話をフラグ付け。
差し迫った解約リスク — 解約の可能性が高い顧客の会話をフラグ付け。
リスクのある注文体験 — 深刻な注文不満がある会話をフラグ付け。
MonitorsとCustom Scorecardsの責任ある使用方法
複数参加者がいる会話（例：Finが会話を開始し、チームメイトが終了する、または複数のチームメイトが関与する場合）では、Scorecardはスコアカード設定時に顧客が指定した参加者の個別貢献を反映します。
MonitorsとCustom Scorecardsは会話品質レビューを支援するためのものであり、雇用目的で個々のチームメイトのパフォーマンスを評価するためのものではありません。顧客は適切な人間によるレビューなしに、AI評価されたCustom Scorecardsのみに基づいて人間エージェントの雇用関連の決定に重大な影響を与えることは許されません。これはFinのAI Product TermsおよびAcceptable Use Policyに反します。
MonitorsとCustom Scorecardsが人間エージェントの会話に使用される場合、顧客はすべての適用法、データ保護およびAI透明性義務を含む法令遵守を確実にする責任を負います。
MonitorsとCustom Scorecardsの連携方法
Intercomでは、MonitorsとCustom Scorecardsは会話品質評価のための2部構成システムとして連携します。
Monitorsはレビュー対象を定義します。
Scorecardsは各会話の評価方法を定義します。
Scorecardsには以下の評価基準が含まれます。
手動でレビューされるもの。
AIを使って評価されるもの。
またはその両方の組み合わせ。
スコアカードをモニターに関連付けて、マッチした会話を定義された基準で自動評価できます。選択後、会話がモニターに追加されるとスコアカードが実行され、結果はモニターに表示されてレポートやレビューに使われます。
これにより、品質評価の一貫性が保たれつつ、レビュー方法の柔軟性も確保されます。
ヒント: 自動レビューは、すべてのAI評価されたスコアカード基準を満たした場合に会話を合格と自動マークするモニター設定です。AIスコアが品質基準を満たす場合、手動チェックを完全に省略でき、チームは失敗や例外ケースのみ対応すればよくなります。
Monitorsの管理方法
複数のモニターを実行していると、レビューリストが急速に増えることがあります。Monitorsページ上部のフィルターを使って、特定のモニタータイプや注目すべき会話に絞り込みましょう。
モニタータイプでフィルター
IntercomのMonitorsページで、モニタータイプフィルターを使って特定のカテゴリにリストを絞り込みます。
Finレビュー — Finが対応した会話を評価するモニター。AI主導の品質に注力できます。
チームメイトレビュー — 人間のチームメイトが対応した会話を評価するモニター。コーチングやパフォーマンス追跡に役立ちます。
その他のモニター — 上記2つのカテゴリに該当しないモニター。
レビュー状況でフィルター
モニターを表示中は、割り当てやレビュー所有者に基づいてレビューキューをナビゲートするためにこれらのフィルターを使います。
すべてのレビュー — 割り当てや状況に関係なく、モニター内のすべての会話を表示。全体像を把握するのに最適です。
自分に割り当て — 自分に割り当てられた会話のみ表示。個人のレビューキューを集中して処理できます。
受け取ったレビュー — 自分の作業が他者にレビューされた会話を表示。フィードバック確認に便利です。
Monitorsの今後の予定
以下の機能はまだMonitorsにありませんが、将来のリリースで予定されています。
リアルタイムアラート: モニター内の会話が定義された閾値を超えたり、スコアカードに失敗した際に通知を受け取れます。
knowledge baseに対する評価: サポートコンテンツやポリシーに基づいて会話を評価し、承認された情報源と整合しているか確認します。
チームメイト向けコーチングヒント: レビュー対象のチームメイトやそのマネージャー向けのAI駆動コーチングヒント。
キャリブレーション workflows: 共有例を評価し結果を比較することで評価基準の整合性を高め、フィードバックと品質測定の一貫性と公平性を向上させます。
異議申し立て workflow: チームメイトがレビューに異議を申し立てられるようになります。
列の並べ替えと再配置。
Monitorsの始め方
モニターの作成方法に従ってステップバイステップで設定しましょう。会話フィルターでレビュー対象を定義し、スコアカードを添付して評価基準を設定し、オプションで自動レビューを有効にしてすべてのAI評価基準を満たす会話を自動合格させることができます。
注意: MonitorsはProアドオンが必要です。最初のモニターを設定する前に、ワークスペースにProアドオンがあることを確認してください。