メインコンテンツにスキップ

モニターの説明

MonitorsがFinの会話品質を大規模に評価する方法と、Custom Scorecardsと連携する仕組みを理解しましょう。

対応者:Alissa Tyrangiel

モニターとは何ですか?

MonitorsはFinの会話品質を大規模に継続的に評価・改善するのに役立ちます。ランダムサンプルによる基準品質の確認や、リスクや影響の大きい信号に基づくターゲットセットなど、レビューすべき会話を構造的に定義できます。これにより、アドホックなサンプリングやスプレッドシートによるQAを繰り返し可能なシステムに置き換え、ボリュームの増加に対応します。


チームがMonitorsを使う方法

チームはMonitorsを使って品質の継続的な可視化を維持し、最も重要な部分に注力します。

一般的な使用例には以下が含まれます:

  • ランダムサンプルをレビューして全体的な品質傾向を把握する。

  • 以下のようなリスクや影響の大きい会話に注目する:

    • 低いCXスコア

    • ポリシー違反

    • 法的脅威

    • その他のビジネス固有の指標

  • 機能リリース、価格変更、製品アップデートなど特定の施策に関連する会話を追跡する。

Monitorsはパターン検出を容易にし、問題を早期に浮き彫りにし、製品、サポート、リーダーシップチームと共有できる洞察を生み出します。


MonitorsとCustom Scorecardsの連携方法

  • Monitorsはレビュー対象を定義します

  • Scorecardsは各会話の評価方法を定義します

Scorecardsには以下の基準が含まれることがあります:

  • 手動でレビューされるもの

  • AIを使って評価されるもの

  • またはその両方の組み合わせ

Monitorsにscorecardを関連付けることで、定義された基準に基づき一致した会話を自動的に評価できます。選択されると、会話がMonitorに追加されるとすぐにscorecardが実行され、結果がMonitorに表示されて報告・レビューに使われます。

これにより品質評価の一貫性が保たれつつ、レビュー方法の柔軟性も確保されます。

ヒント:MonitorsはAuto-reviewを使って、AIスコアが品質基準を満たす場合は手動チェックを完全にスキップできます。これによりチームは失敗や例外ケースのみ対応すればよくなります。


大規模なレビュー管理

各Monitorを個別にチェックする代わりに、Monitorsページの2つの集中ビューでチームの作業負荷を管理できます:

  • 未レビューの会話:手動レビューが必要なすべての会話の統合キュー。AIがscorecardを完了できなかった会話や、人間のレビュアーが特に割り当てられた会話が含まれます。

  • 修正が必要:AIまたは人間によるレビューで失敗ステータス(例:Reviewed + fix needed)が付いた会話を自動的にキャプチャします。


近日公開予定

Monitorsを拡張し、問題検出、品質測定、アクション実行のより強力な方法を提供します。今後の改善点には以下が含まれます:

  • リアルタイムアラート:Monitor内の会話が定義された閾値を超えたりscorecardに失敗した際に通知を受け取れます。

  • knowledge baseに対する評価:サポートコンテンツやポリシーに基づいて会話を評価し、回答が承認された情報源と一致しているかを確認します。


始めましょう

始める準備ができたら、how to create a Monitorで最初のMonitorとscorecardの作成手順を確認してください。

注意:MonitorsはPro add-onが必要です。最初のMonitorを設定する前に、ワークスペースにこれがあることを確認してください。

こちらの回答で解決しましたか?