メインコンテンツにスキップ

モニターの作成方法

モニターの設定方法を学び、会話の質を自動的に追跡し、チームのパフォーマンス基準を満たしていることを確認します。

対応者:Dawn

注意: MonitorsはProアドオンの一部として利用可能です。

Monitorsはどの会話をレビューするかを定義します。基準を設定し、レビュアーを選び、品質評価用のスコアカードを添付します。稼働後はMonitorsが自動的に動作し、該当する会話をチームに提示します。

モニターを最大限に活用するには、少なくとも1つのスコアカードが必要です。まだ設定していない場合は、スコアカードの作成と設定をご覧ください。

Monitorsにアクセスするには、Fin AI Agent > Analyze > Monitorsに移動します。+ Monitorをクリックして開始します。テンプレートを選ぶか、ゼロから始めてください。

ヒント: セットアップ中にスコアカードをモニターに添付できるため、最初のモニターを作成する前に少なくとも1つのスコアカードを用意しておくと時間を節約できます。

必要な権限

QA Monitorsとスコアカードを表示および設定するには、ワークスペース管理者が有効にした2つの権限がチームメイトに必要です。

権限

許可内容

必要な人

FinとAutomation設定を閲覧可能

日常のQA作業—会話のレビュー、基準値の調整

すべてのQAチームメイト

レポートの作成、編集、社内共有が可能

設定アクセス—Monitors、Scorecards、基準の作成、編集、削除

QA管理者 / leads

完全なQA設定アクセスには両方の権限が必要です。最初はQA設定エリアの読み取りアクセスを提供し、次にMonitorsとScorecardsの書き込み/編集機能を提供します。

権限の有効化方法

Monitorsを操作する各チームメイトに対して、ワークスペース管理者がこれらを有効にする必要があります。

  1. 設定したいチームメイトを選択します。

  2. FinとAutomation設定を閲覧可能レポートの作成、編集、社内共有が可能を有効にします。

  3. 変更を保存します。

注意: アクセスが必要なチームメイトが不明な場合は、Monitorとスコアカードの設定を担当するQA leadsまたはサポートマネージャーから始めてください。


ステップ1: スコアカードを添付する

モニターに名前を付け、次にモニターにスコアカードを関連付けて、定義された基準に基づき一致したすべての会話を自動的に評価します。

一度選択すると、会話がモニターに追加されるとすぐにスコアカードが実行され、結果がモニターに表示されて報告およびレビューに使われます。

会話がすでにモニターに追加された後にスコアカードを添付した場合、それ以前の会話は遡って評価されず、スコアは表示されません。スコアが付くのはスコアカード添付後にモニターに追加された会話のみです。

ヒント: スコアカードを添付することでモニターが本当に役立ちます。スコアカードがなければ会話はフラグが立つだけでスコアは付きません。まだスコアカードを作成していない場合は、スコアカードの作成と設定をご覧ください。

レビュアーを選ぶ

Reviewersセクションで1人以上のチームメイトを選択します。新しく一致した会話は自動的にラウンドロビン方式で分配され、手動の手間なくレビュー負荷が均等に保たれます。

注意: 添付されたスコアカードに自動レビューが有効な場合、レビュアーのステータスは自動レビュー済みと表示されます。これらの会話はAIが失敗を検出したり基準を自信を持って評価できない場合を除き、手動の未レビューキューをバイパスします。


ステップ2: 会話を選ぶ

次に、このモニターに含める会話を選択します。

モニターは以下を対象にできます:

  • ランダムサンプル — 例えば、基準QAのための週次のFin会話サンプル

  • 特定のシグナルやリスクに基づくターゲットセット — 例えば、顧客が財務的脆弱性の兆候を示すすべての会話

以下を使って会話を絞り込めます:

  • 正確なフィルター — 解決状態、トピック、CXスコア、トリガーされたProceduresなど

  • フラグ基準 — フラグを立てたい会話の種類を説明する自然言語入力。効果的な基準の書き方については、効果的なMonitorとScorecard基準の書き方をご覧ください。

ヒント: 特定のProcedureにモニターを限定するには、「このモニターに含める会話は?」セクションでフィルターを追加をクリックし、トリガーされたProceduresを選択して対象のProcedureを選びます。これにより、そのProcedureが使用された会話にQAレビューを集中できます。

注意: 1つの会話が複数のMonitorsに表示されることがあります。各Monitorsは独立して動作するため、会話が複数のMonitorsの基準に一致すると、それぞれでフラグが立ちます。会話をクリックすると、どのMonitorsでフラグが立ったかが正確にわかります。

監視モードを選ぶ

モニターの実行方法を選択します:

  • 継続的: 新しい会話が終了すると自動的に一致し、追加されて継続的に実行されます。

  • 一回限り: 過去のデータからのバックフィルのみ。設定後に終了した新しい会話は含まれません。

  • スケジュール: 毎日または毎週の定期的なスケジュールで実行され、チームメイトが定期的に会話をレビューできます。

開始日を選択してください

モニターが会話の評価を開始するタイミングを選択します。これにより、特定の時点から過去の会話に対してQAを実行し、その日付以降の新しい一致する会話を継続的に表示できます。

注意: モニターを初めて作成する際、最大90日分の過去の会話をバックフィルできます。その後、モニターは新しい一致する会話を自動的にキャプチャし続けます。


ステップ3: 会話が追加されるタイミングを選択

会話がモニターにマッチするタイミングを制御します。これにより、モニターが会話を評価するタイミングと、スコアカードが添付されている場合はそのスコアカードが実行されるタイミングが決まります。

  • Fin is done — Finが完全に処理を終えた後(解決、エスカレーション、または顧客の返信なしでフォローアップした場合)に会話が追加されます。

  • 会話がクローズされたとき — 会話がチームメイトまたはFinによってクローズされた後にのみ会話が追加されます。

この設定を使って評価のタイミングをワークフローに合わせて調整します。Finが終了した直後に評価したいか、会話が正式にクローズされた後にのみ評価したいかを選べます。


モニターをオンにする前にテストしてください。

自然言語のflag criteriaを使用するモニターの場合、Test Monitorツールを使って実際の会話に対して基準を検証してください。どの会話がフラグ付けされるかを示し、不一致をハイライトして表現を調整し、誤検知や見逃しを減らせます。

ヒント: flag criteriaを使うすべてのモニターは、オンにする前に必ずテストすることを強く推奨します。

Flag criteriaセクションで、Run testをクリックするか、右上のTestボタンをクリックしてください。

サンプル会話を確認する

既存のモニターの場合、このリストはモニターによってフラグ付けされた会話とされなかった最近の会話で自動的に埋められます。特定のエッジケースをテストするために追加の会話URLやIDを貼り付けることもできます。

結果を確認する

各会話について、Monitor result(フラグ付けされた/されていない)を確認し、Correctかどうかをマークします。評価の概要は全体の合格率を示し、不一致をハイライトします。

注意: モニターに含めるには、会話にFinからのメッセージが2件以上、顧客からのメッセージが2件以上含まれている必要があります。

修正して再テストする

Flag criteriaの説明を更新し、結果がモニターが捉えたい内容を正確に反映するまでテストを繰り返します。Refine wordingボタンを使うとAIが自動で表現を言い換え、手動で基準を書き直さずに言語を絞り込み精度を向上させることができます。

モニターが作成されると、マッチを見つけ始め、モニターのページに表示されます。必要に応じて後で設定を編集できます。


モニターのアーカイブと復元

モニターのページを整理するために、もはや積極的に追跡する必要のないモニターをアーカイブできます。アーカイブはモニターをデフォルトビューから非表示にしますが、削除や履歴データの消失はありません。

モニターをアーカイブする方法

モニターのページの任意のモニターカードの三点リーダーメニューをクリックし、Archive monitorを選択します。モニターはメインビューから非表示になりますが、Archived monitorsフィルターでアクセス可能です。

モニターを復元する方法

モニターのページでフィルタードロップダウンを使い、Archived monitorsに切り替えます。モニターカードの三点リーダーメニューをクリックし、Restore monitorを選択します。確認ダイアログで、オプションとしてBackfill missed conversations from the last 2 weeksを有効にして、アーカイブ中に発生した会話を取り戻せます。Restoreをクリックして再有効化します。


レビューを完了する方法

  1. モニターのページのUnreviewedキューに移動します。

  2. 会話を選択します。

  3. 不足しているスコアカードの基準を入力します。AI生成のスコアは評価をクリックして上書きできます。すべてのスコアを入力してもレビュー状態は自動で更新されないため、スコアリング完了後に手動で設定する必要があります。

  4. 必要に応じてメモを追加します。例:「内容の更新が必要です」。

  5. すべての基準にスコアを付けたら、レビュー状態をSubmittedに設定してレビューを完了としてマークします。

AI生成のスコアは必要に応じて人間のレビュアーが上書きできます。レビュアーは自分の名前でキューをフィルターし、割り当てられた会話に集中できます。レビュー状態ラベルは会話がレビュー済みかどうかを示します。


モニターの制約事項

以下の制約に注意してください:

  • モニターに含めるには、会話にFinからのメッセージが2件以上、顧客からのメッセージが2件以上含まれている必要があります。

  • モニターはFin Voiceの会話をサポートしていません。

  • 顧客のticketsやtracker ticketsはモニターにマッチしません。会話のみが対象です。

  • モニターを初めて作成する際、最大90日分の過去の会話をバックフィルできます。

  • 自然言語flag criteriaを使うモニターは最大20個まで作成可能です。事前定義フィルターを使うモニターは無制限です。

  • スコアカードは最大20のAIスコア基準をサポートします。手動スコア基準は無制限です。

注意: AI基準の制限はワークスペース全体に適用され、スコアカードごとではありません。これにより、usersが制限の実態を理解し、スコアカード設定時の混乱を避けられます。


よくある質問

同じ会話が複数のモニターに表示されることはありますか?

はい。各モニターは独立してYes/Noチェックを行うため、会話が複数のモニターの基準にマッチすると、それぞれでフラグ付けされます。会話をクリックすると、特定のモニターがなぜフラグ付けしたかが正確に表示されます。

会話が評価されてから再度オープンした場合、再評価されますか?

いいえ。会話はモニターごとに一度だけ評価されます。顧客が新しいメッセージを送って会話が再オープンしても、同じモニターのバージョンでは再マッチや再評価はされません。元の評価のみが記録されます。

モニターはFin Voiceに対応していますか?

いいえ、Fin Voiceは現在モニターでサポートされていません。

ticketsはモニターで評価されますか?

いいえ、顧客のticketsやtracker ticketsはモニターにマッチしません。会話のみが対象です。

誰が権限を割り当てたり変更したりできますか?

ワークスペースの管理者のみがチームメンバーの権限を有効化または変更できます。管理者アクセス権がない場合は、ワークスペースの管理者に設定の更新を依頼してください。

会話をレビューするには両方の権限が必要ですか?

日常的なレビュー(会話の閲覧、スコアカードの記入)には、Can view Fin と Automation 設定の権限だけで十分です。Monitorsやスコアカードの作成、編集、削除が必要な場合は、2つ目の権限(Can create, edit and internally share Reports)が必要です。

Monitorが会話を評価するための最小会話長はどのくらいですか?

Monitorに含めるには、会話にFinからのメッセージが2件以上、顧客からのメッセージが2件以上含まれている必要があります。

こちらの回答で解決しましたか?