モニターとは？
この文章では、モニターの仕組みと使用タイミングを説明します。サポートマネージャー、QAリーダー、または会話品質に責任を持つ方に役立ちます。MonitorsはFin AI Agentと人間のチームメイトの会話品質を大規模に継続的に評価・改善するための仕組みです。どの会話をレビューするかを体系的に定義でき、基準品質のランダムサンプルやリスクや影響の大きい信号に基づくターゲットセットを指定できます。これにより、アドホックなサンプリングやスプレッドシートによる品質保証(QA)を繰り返し可能なシステムに置き換え、ボリューム増加に対応します。MonitorsはProアドオンで利用可能です。開始前にこの記事の最後の注意事項をご覧ください。
チームによるMonitorsの活用方法
チームはMonitorsを使って品質の継続的な可視化を維持し、重要な部分に注力します。
Monitorsは、全体的な品質傾向を理解するためのランダムサンプルの会話レビュー、低いCXスコア、ポリシー違反、法的脅威などの信号でフラグ付けされた高リスクのやり取りに注目、機能リリース、価格変更、製品アップデートなど特定の施策に関連する会話の追跡に役立ちます。
Monitorsはパターン検出、問題の早期発見、製品、サポート、リーダーシップチームと共有可能な洞察の生成を容易にします。開始に役立つ3つのカテゴリの事前作成テンプレートがあります。
Finレビュー
Finレビュー用のモニターを使ってFinが対応した会話の品質を評価します。Intercomには以下のテンプレートが用意されています。
すべてのFin会話 — すべてのFin会話を自動レビュー。
週次Finレビュー — Fin会話のサンプルをレビュー。
低いFin回答品質 — 低品質のFin回答がある会話。
高いFin回答品質 — 高品質のFin回答がある会話。
エスカレーション処理の問題 — エスカレーションが適切に処理されていない会話をフラグ。
繰り返しループの問題 — Finが繰り返し応答に陥っている会話をフラグ。
チームメイトレビュー
チームメイトレビュー用のモニターを使って人間のチームメイトが対応した会話を評価します。
これらはコーチング、調整、パフォーマンス追跡に役立ちます。テンプレートには以下が含まれます。
すべてのチームメイト — すべてのチームメイト会話を自動レビュー。
週次チームメイトレビュー — チームメイト会話のサンプルをレビュー。
高いチームメイト回答品質 — 高品質のチームメイト回答がある会話。
低いチームメイト回答品質 — 低品質のチームメイト回答がある会話。
その他のモニター
一般的なモニターは、Finまたはチームメイトが対応したかに関わらず、すべての会話で特定の顧客体験の信号やリスク要因を追跡できます。
テンプレートには以下が含まれます。
ネガティブな感情 — ネガティブな顧客感情がある会話。
ポジティブな感情 — ポジティブな顧客感情がある会話。
ネガティブな製品フィードバック — ネガティブな製品フィードバックがある会話を追跡。
法的およびセキュリティ問題 — 法的またはセキュリティ上の高リスク会話をフラグ。
脆弱な顧客 — 財政的に脆弱な顧客の会話をフラグ。
患者の安全に関する懸念 — 健康リスクを示す可能性のある会話をフラグ。
差し迫った解約リスク — 解約の可能性が高い顧客の会話をフラグ。
リスクのある注文体験 — 深刻な注文不満足の会話をフラグ。
Monitorsの責任ある使用方法
複数参加者が関与する会話（例：Finが会話を開始しチームメイトが終了、または複数のチームメイトが関与）では、Monitorスコアはスコアカード設定時に顧客が指定した参加者の個別貢献を反映します。Monitorsは会話品質レビューを支援するものであり、雇用目的の個別チームメイト評価には使用されません。顧客はMonitorスコアを人間エージェントの雇用関連決定に実質的に影響させることを禁じられています。これはFinのAI Product TermsおよびAcceptable Use Policyに反します。人間エージェント会話でMonitorsを使用する場合、顧客はすべての適用法令遵守を確実にする責任を負います。
MonitorsとCustom Scorecardsの連携方法
Intercomでは、MonitorsとCustom Scorecardsが連携して会話品質を評価する二部構成のシステムとして機能します。
Monitorsはレビュー対象を定義します。
Scorecardsは各会話の評価方法を定義します。
Scorecardsには以下の評価基準が含まれます。
手動でレビューされるもの
AIを使って評価されるもの
または両方の組み合わせ
スコアカードをMonitorに関連付けることで、マッチしたすべての会話を定義された基準で自動評価できます。選択後、会話がMonitorに追加されるとスコアカードが実行され、結果がMonitorに表示されて報告・レビューに使えます。
これにより品質評価の一貫性が保たれつつ、レビュー方法の柔軟性も確保されます。
ヒント: 自動レビューは、すべてのAI評価スコアカード基準を満たした場合に会話を合格と自動マークするMonitor設定です。AIスコアが品質基準を満たす場合、手動チェックを完全に省略でき、チームは失敗や例外ケースのみ対応すればよくなります。
Monitorsの管理方法
複数のモニターを実行している場合、レビューリストはすぐに増えます。Monitorsページ上部のフィルターを使って、特定のモニタータイプや注目すべき会話に絞り込みましょう。
モニタータイプでフィルター
IntercomのMonitorsページで、モニタータイプフィルターを使って特定のカテゴリに絞り込みます。
Finレビュー — Finが対応した会話を評価するモニター。AI主導の品質に注目。
チームメイトレビュー — 人間のチームメイトが対応した会話を評価するモニター。コーチングやパフォーマンス追跡に有用。
その他のモニター — 上記2カテゴリに該当しないモニター。
レビュー状況でフィルター
モニターを表示中は、割り当てやレビュー所有者に基づいてレビューキューをナビゲートするためにこれらのフィルターを使います。
すべてのレビュー — 割り当てや状況に関係なく、モニター内のすべての会話を表示。全体像把握に最適。
自分に割り当て — 自分に割り当てられた会話のみ表示。個人のレビューキューを集中して処理可能。
受け取ったレビュー — 自分の作業が他者にレビューされた会話を表示。フィードバック確認に有用。
Monitorsの今後の予定
以下の機能はまだMonitorsにありませんが、将来リリース予定です。
リアルタイムアラート: Monitor内の会話が定義された閾値を超えたりスコアカードに失敗した際に通知。
knowledge baseに対する評価: サポートコンテンツやポリシーに基づき会話を評価し、承認済みソースとの整合性を確保。
チームメイトコーチングのヒント: レビュー対象のチームメイトやそのマネージャー向けのAI駆動コーチングヒント。
Calibration workflows: Calibrationはレビュアーが評価基準を共有例で合わせ、結果を比較してフィードバックと品質測定の一貫性と公平性を向上。
異議申し立てワークフロー: チームメイトがレビューに異議を申し立て可能に。
列の並べ替えと再配置。
Monitorsの始め方
モニターの作成方法に従ってください。会話フィルターを設定し、評価基準を定義するスコアカードを添付し、オプションで自動レビューを有効にして、すべてのAI評価基準を満たす会話を自動合格させます。
注意: MonitorsはProアドオンが必要です。最初のモニター設定前にワークスペースにあることを確認してください。