メインコンテンツにスキップ

モニターの作成方法

モニターの設定方法を学び、会話の質を自動的に追跡し、チームのパフォーマンス基準を満たしていることを確認します。

対応者:Dawn

注意: MonitorsはProアドオンの一部として利用可能です。

Monitorsはどの会話をレビューするかを定義します。基準を設定し、レビュアーを選び、品質評価用のスコアカードを添付します。稼働後はMonitorsが自動的に実行され、該当する会話をチームに提示します。

モニターを最大限に活用するには、少なくとも1つのスコアカードが必要です。まだ設定していない場合は、スコアカードの作成と設定をご覧ください。

Monitorsにアクセスするには、Fin AI Agent > Analyze > Monitorsに移動します。+ Monitorをクリックして開始します。テンプレートを選ぶか、ゼロから始めてください。

ヒント: モニターの設定時にスコアカードを添付できるため、最初のモニター作成前に少なくとも1つのスコアカードを用意しておくと時間を節約できます。

必要な権限

QA Monitorsとスコアカードを表示および設定するには、ワークスペース管理者が有効にした2つの権限がチームメイトに必要です。

権限

許可内容

必要な人

FinとAutomation設定の閲覧が可能

日常のQA作業—会話のレビュー、基準値の調整

すべてのQAチームメイト

レポートの作成、編集、社内共有が可能

設定アクセス—Monitors、Scorecards、評価者の作成、編集、削除

QA管理者 / leads

完全なQA設定アクセスには両方の権限が必要です。最初はQA設定エリアの読み取りアクセスを提供し、次にMonitorsとScorecardsの書き込み/編集機能を提供します。

権限の有効化方法

ワークスペース管理者は、Monitorsを操作する各チームメイトにこれらを有効にする必要があります。

  1. 設定 > チームメイト & 役割に移動します。

  2. 設定したいチームメイトを選択します。

  3. FinとAutomation設定の閲覧が可能レポートの作成、編集、社内共有が可能を有効にします。

  4. 変更を保存します。

注意: どのチームメイトにアクセス権が必要か不明な場合は、Monitorとスコアカードの設定を担当するQA leadsまたはサポートマネージャーから始めてください。


ステップ1: 会話の選択

モニターに名前を付け、レビューする会話を選択します。

モニターは以下を対象にできます:

  • ランダムサンプル — 例えば、基準QAのための週次Fin会話サンプル

  • 特定のシグナルやリスクに基づくターゲットセット — 例えば、顧客が財務的脆弱性の兆候を示すすべての会話

会話を絞り込むには以下を使用できます:

  • 正確なフィルター — 解決状態、トピック、CXスコアなど

  • フラグ基準 — フラグ付けしたい会話の種類を記述する自然言語入力。効果的な基準の書き方はこちらを参照してください。

注意: 1つの会話が複数のMonitorsに表示されることがあります。各Monitorは独立して実行されるため、複数のMonitor基準に合致するとそれぞれでフラグが立ちます。会話をクリックすると、そのMonitorでフラグが立った理由が正確に表示されます。


ステップ2: モニタリングモードの選択

モニターの実行方法を選択します:

  • 継続的: 新しい会話が終了すると自動的に一致し、継続的に実行されます。

  • 一回限り: 過去データの会話のみを対象にバックフィル。設定後に終了した新しい会話は含まれません。

  • スケジュール: 毎日または毎週の定期的なスケジュールで実行され、チームメイトが定期的に会話をレビューできます。


ステップ3: 開始日の選択

モニターが会話の評価を開始する日時を選択します。これにより、特定の時点から過去の会話をQAしつつ、その日以降の新しい一致会話も継続的に表示できます。

注意: モニター作成時は最大90日分の過去会話をバックフィルできます。その後は新しい一致会話を自動的に取得し続けます。


ステップ4: 会話が追加されるタイミングの選択

会話がモニターに一致するタイミングを制御します。これにより、モニターが会話を評価するタイミングと、スコアカードが添付されている場合のスコアカード実行タイミングが決まります。

  • Finが完了したとき — Finが完全に処理を終えた後(解決、エスカレーション、または顧客の返信なしでフォローアップ)に会話が追加されます。

  • 会話がクローズされたとき — 会話がチームメイトまたはFinによってクローズされた後にのみ会話が追加されます。

この設定は評価のタイミングをワークフローに合わせるために使用します。Finが終了直後に評価したい場合や、会話が正式にクローズされた後のみ評価したい場合に適しています。


ステップ5: レビュアーの選択

Reviewersセクションで1人以上のチームメイトを選択します。新しく一致した会話は自動的にラウンドロビン方式で割り当てられ、手動の手間なくレビュー負荷が均等に保たれます。

注意: 添付されたスコアカードにAuto-reviewが有効になっている場合、レビュアーのステータスはAuto-reviewedと表示されます。これらの会話は、AIが失敗を検出したり、基準を自信を持って評価できない場合を除き、手動のUnreviewedキューをバイパスします。

この例では、Monitorは脆弱な顧客との会話にフラグを立て、設定された開始日から一致を見つけ始めます:

これらの会話は、選択したレビュアーに自動的に配分され、手動で評価された基準を完了します:


ステップ6: スコアカードを添付する

Monitorにスコアカードを関連付けて、定義された基準に対して一致したすべての会話を自動的に評価します。選択されると、会話がMonitorに追加されるとすぐにスコアカードが実行され、結果はレポートとレビューのためにMonitorに表示されます。

会話がすでにMonitorに追加された後でスコアカードを添付した場合、それ以前の会話は遡って評価されず、スコアは表示されません。スコアカードが添付された後にMonitorに追加された会話のみがスコアリングされます。

ヒント: スコアカードを添付することでMonitorが本当に役立つものになります — これがないと、会話はフラグが立てられてもスコアリングされません。まだスコアカードを作成していない場合は、スコアカードの作成と設定をご覧ください。


Monitorをオンにする前にテストする

自然言語のflag criteriaを使用するMonitorの場合、Test Monitorツールを使って実際の会話に対して基準を検証してください。どの会話がフラグを立てられるかを示し、不一致をハイライトして表現を洗練し、誤検知や見逃しを減らせます。

ヒント: すべてのflag criteriaを持つMonitorは、オンにする前に必ずテストすることを強く推奨します。

Flag criteriaセクションで、Run testをクリックするか、右上のTestボタンをクリックします。

サンプル会話をレビューする

既存のMonitorの場合、このリストはMonitorによってフラグが立てられた会話と立てられていない最近の会話で自動的に埋められます。特定のエッジケースをテストするために追加の会話URLやIDを貼り付けることもできます。

結果を確認する

各会話について、Monitor result(フラグあり/なし)をレビューし、Correctかどうかをマークします。評価の概要は全体の合格率を示し、不一致をハイライトします。

注意: 会話にはFinからのメッセージが少なくとも2件、顧客からのメッセージが2件以上含まれている必要があります。

洗練して再テストする

Flag criteriaの説明を更新し、結果がMonitorが捉えたい内容を正確に反映するまでテストを繰り返します。Refine wordingボタンを使うと、AIが自動的にフラグ基準を言い換え、言語を引き締めて精度を向上させるのに役立ちます。手動で基準を書き直す必要はありません。

Monitorが作成されると、一致を見つけ始め、Monitorsページに表示されます。必要に応じて後で設定を編集できます。


大規模なレビュー管理

各Monitorを個別に確認する代わりに、Monitorsページの2つの集中ビューでチームの作業負荷を管理します:

  • Unreviewed conversations — AIがスコアカードを完了できなかった会話や、人間のレビュアーが特に割り当てられた会話を含む、手動レビューが必要なすべての会話の統合キュー

  • Fixes needed — AIまたは人間によってレビューされ、失敗ステータス(例: Reviewed + fix needed)でマークされた会話を自動的にキャプチャ


Monitorのアーカイブと復元

Monitorsページを整理するために、もはや積極的に追跡する必要のないMonitorをアーカイブできます。アーカイブはMonitorをデフォルトビューから非表示にしますが、削除や履歴データの消去はしません。

Monitorをアーカイブする方法

Monitorsページの任意のMonitorカードの三点リーダーメニューをクリックし、Archive monitorを選択します。Monitorはメインビューから非表示になりますが、Archived monitorsフィルターでアクセス可能です。

Monitorを復元する方法

Monitorsページでフィルタードロップダウンを使い、Archived monitorsに切り替えます。Monitorカードの三点リーダーメニューをクリックし、Restore monitorを選択します。確認ダイアログで、オプションとしてBackfill missed conversations from the last 2 weeksを有効にして、アーカイブ中に発生した会話を取り戻せます。Restoreをクリックして再有効化します。

レビューを完了する方法

  1. MonitorsページのUnreviewedキューに移動します。

  2. 会話を選択します。

  3. 不足しているスコアカードの基準を入力します。AI生成のスコアは評価をクリックして上書きできます。すべてのスコアを入力してもレビューのステータスは自動的に更新されないため、スコアリング完了後に手動で設定する必要があります。

  4. 必要に応じてメモを追加します — 例えば「内容の更新が必要です」など。

  5. すべての基準にスコアを付けたら、結果を反映するようにレビューのステータスを手動で設定します — 例えば、対応不要の場合はReviewed、修正が必要な場合はReviewed + fix needed。Reviewed + fix neededとマークされた会話は、自動的にフォローアップアクションが必要なキューに移動し、チームが対応します。

必要に応じて、AI生成のスコアは人間のレビュアーによって上書きできます。レビュアーは自分の名前でキューをフィルタリングし、割り当てられた会話に集中できます。

QAレビューのステータスラベル

レビューのステータスラベルは、一貫したReviewedプレフィックスを使用して、レビュー結果を必要なアクションから明確に区別します。

ラベル

意味

Unreviewed

まだレビューが行われていません

Reviewed

レビュー完了、対応不要

Reviewed + fix needed

レビュー完了、修正が必要

Reviewed + won’t fix

レビュー完了、問題は認識されましたが対応されません

Reviewed + fixed

レビュー完了、修正が適用されました


モニター制約

以下の制約に注意してください:

  • 会話には、Monitorに含めるためにFinからのメッセージが2件以上、顧客からのメッセージが2件以上含まれている必要があります。

  • MonitorsはFin Voiceの会話をサポートしていません。

  • 顧客のticketsおよびtrackerのticketsはMonitorsにマッチしません — 会話のみです。

  • Monitorを初めて作成する際、最大90日分の過去の会話をバックフィルできます。

  • 自然言語フラグ基準を使用して最大20個のモニターを作成できます。事前定義されたフィルターを使用するモニターは無制限です。

  • スコアカードは最大20のAIスコア基準をサポートします。手動スコア基準は無制限です。

注意: AI評価者の制限はワークスペース全体に適用され、スコアカードごとではありません。これにより、usersは制限の真の範囲を理解し、スコアカード設定時の混乱を避けられます。


よくある質問

同じ会話が複数のMonitorsに表示されることはありますか?

はい。各Monitorは独立してはい/いいえのチェックを行うため、会話が複数のMonitorの基準に合致すると、それぞれでフラグが立ちます。会話をクリックすると、その特定のmonitorがなぜフラグを立てたかが正確に表示されます。

会話が評価されてから再度開かれた場合、再評価されますか?

いいえ。会話はMonitorごとに一度だけ評価されます。顧客が新しいメッセージを送って会話が再開された場合でも、同じMonitorバージョンで再マッチや再評価はされません。元の評価のみが記録されます。

MonitorsはFin Voiceに対応していますか?

いいえ、Fin Voiceは現在Monitorsでサポートされていません。

ticketsはMonitorsで評価されますか?

いいえ、顧客のticketsもtrackerのticketsもMonitorsにマッチしません — 会話のみです。

誰が権限を割り当てたり変更したりできますか?

workspaceの管理者のみがチームメンバーの権限を有効化または変更できます。管理者権限がない場合は、workspaceの管理者に設定の更新を依頼してください。

会話をレビューするには両方の権限が必要ですか?

日常的なレビュー(会話の閲覧、スコアカードの記入)には、Can view FinとAutomation設定の権限のみが必要です。2つ目の権限(Can create, edit and internally share Reports)は、Monitorsやスコアカードの作成、編集、削除が必要な場合に必要です。

Monitorが会話を評価するための最小会話長は?

会話には、Monitorに含めるためにFinからのメッセージが2件以上、顧客からのメッセージが2件以上含まれている必要があります。

こちらの回答で解決しましたか?