注意: MonitorsはProアドオンの一部として利用可能です。
Monitorsはどの会話をレビューするかを定義します。基準を設定し、レビュアーを選び、品質評価用のスコアカードを添付します。稼働後はMonitorsが自動的に実行され、該当する会話をチームに提示します。
モニターを最大限に活用するには、少なくとも1つのスコアカードが必要です。まだ設定していない場合はスコアカードの作成と設定をご覧ください。
Monitorsにアクセスするには、Fin AI Agent > Analyze > Monitorsに移動します。+ Monitorをクリックして開始します。テンプレートを選ぶか、ゼロから始めてください。
ヒント: モニターの設定時にスコアカードを添付できるので、最初のモニターを作成する前に少なくとも1つのスコアカードを用意しておくと時間を節約できます。
必要な権限
Monitorsの権限は、Settings > Workspace > Teammates > Evaluationsの新しいEvaluationsセクションにあり、ReportsやFin AI Agent、Automation設定のアクセスとは別です。
権限 | 許可内容 | 必要な人 |
他のteammatesのレビューにアクセス可能 | 他のteammatesのレビューを見て作業できます。これがない場合でも、teammateは自分の作業のレビューを見て、割り当てられたレビューを完了できます。 | 他の会話をレビューするレビュアー |
スコアカードとMonitorsを作成・管理可能 | Monitorsとスコアカードの作成、編集、複製、アーカイブができます。他のteammatesのレビューへのアクセスは含まれません。 | QA管理者 / leads |
これら2つの権限は独立しており、teammateはどちらか一方、両方、またはどちらも持たない場合があります。これは他のteammatesの作業をレビューするか、QA設定を管理するか、またはその両方によります。
権限の有効化方法
ワークスペース管理者がMonitorsを扱うteammateごとにこれらを有効にする必要があります。
設定したいteammateを選択します。
必要に応じて他のteammatesのレビューにアクセス可能および/またはスコアカードとMonitorsを作成・管理可能を有効にします。
変更を保存します。
注意: どのteammatesがアクセスを必要とするかわからない場合は、Monitorとスコアカードの設定を担当するQA leadsやサポートマネージャーから始めてください。
ステップ1: スコアカードを添付する
モニターに名前を付け、次にモニターにスコアカードを関連付けて、定義された基準に基づき一致したすべての会話を自動的に評価します。
一度選択すると、会話がモニターに追加されるとすぐにスコアカードが実行され、結果がモニターに表示されて報告とレビューに使われます。
会話がすでにモニターに追加された後でスコアカードを添付した場合、それ以前の会話は遡って評価されず、スコアは表示されません。スコアが付くのはスコアカード添付後にモニターに追加された会話のみです。
ヒント: スコアカードを添付することでモニターが本当に役立ちます。スコアカードがなければ会話はフラグが立つだけでスコアは付きません。まだスコアカードを作成していない場合はスコアカードの作成と設定をご覧ください。
レビュアーを選ぶ
Reviewersセクションで1人以上のteammatesを選択します。新しく一致した会話は自動的にラウンドロビン方式で割り当てられ、手動の手間なくレビュー負荷が均等に保たれます。
注意: 添付されたスコアカードに自動レビューが有効になっている場合、レビュアーのステータスは自動レビュー済みと表示されます。これらの会話はAIが失敗を検出したり基準を自信を持ってスコアできない場合を除き、手動の未レビューキューをバイパスします。
ステップ2: 会話を選ぶ
次に、このモニターに含める会話を選択します。
モニターは以下を対象にできます:
ランダムサンプル — 例えば、基準となるQAのための週次のFin会話サンプル
特定のシグナルやリスクに基づくターゲットセット — 例えば、顧客が金融的脆弱性の兆候を示すすべての会話
以下を使って会話を絞り込めます:
正確なフィルター — 解決状態、トピック、CXスコア、トリガーされたProceduresなど
フラグ基準 — フラグを立てたい会話の種類を記述する自然言語入力。効果的な基準の書き方は効果的なMonitorとScorecard基準の書き方をご覧ください。
ヒント: 特定のProcedureにモニターを絞るには、「このモニターに含める会話は？」セクションでフィルターを追加をクリックし、トリガーされたProceduresを選択して対象のProcedureを選びます。これにより、そのProcedureが使われた会話にQAレビューを集中できます。
注意: 1つの会話が複数のMonitorsに表示されることがあります。各モニターは独立して実行されるため、会話が複数のモニターの基準に一致すると、それぞれでフラグが立ちます。会話をクリックすると、そのモニターでフラグが立った理由が正確に表示されます。
監視モードを選ぶ
モニターの実行方法を選択します:
継続的: 新しい会話が終了すると自動的に一致し追加され、継続的に実行されます。
一回限り: 過去のデータからの会話のみを対象にバックフィルします。設定後に終了した新しい会話は含まれません。
スケジュール: 毎日または毎週の定期的なスケジュールで実行され、teammatesが定期的に会話をレビューできます。
開始日を選択してください
モニターが会話の評価を開始するタイミングを選択します。これにより、特定の時点から過去の会話に対してQAを実行し、その日付以降の新しい一致する会話を継続的に表示できます。
注意: モニターを初めて作成する際、最大90日分の過去の会話を遡って取得できます。その後は、モニターが新しい一致する会話を自動的にキャプチャし続けます。
ステップ3: 会話が追加されるタイミングを選択
会話がモニターに一致するタイミングを制御します。これにより、モニターが会話を評価するタイミングと、スコアカードが添付されている場合はそのスコアカードが実行されるタイミングが決まります。
Fin is done — Finが完全に処理を終えた（解決、エスカレーション、または顧客の返信なしでフォローアップした）後に会話が追加されます。
会話がクローズされたとき — 会話がチームメンバーまたはFinによってクローズされた後にのみ会話が追加されます。
この設定を使って評価のタイミングをワークフローに合わせて調整します。Finが終了した直後に評価したい場合や、会話が正式にクローズされた後のみ評価したい場合に対応します。
モニターをオンにする前にテストする
自然言語のflag criteriaを使用するモニターでは、Test Monitorツールを使って実際の会話に対して基準を検証してください。どの会話がフラグ付けされるかを示し、不一致をハイライトして表現を調整し、誤検知や見逃しを減らせます。
ヒント: flag criteriaを使うすべてのモニターは、オンにする前に必ずテストすることを強く推奨します。
Flag criteriaセクションでRun testをクリックするか、右上のTestボタンをクリックします。
サンプル会話を確認する
既存のモニターでは、このリストはモニターによってフラグ付けされた最近の会話とフラグ付けされなかった会話で自動的に埋められます。特定のエッジケースをテストするために追加の会話URLやIDを貼り付けることもできます。
結果を確認する
各会話について、Monitor result（フラグ付け／未フラグ付け）を確認し、Correctかどうかをマークします。評価の概要には全体の合格率が表示され、不一致がハイライトされます。
注意: モニターに含めるには、会話にFinからのメッセージが2件以上、顧客からのメッセージが2件以上含まれている必要があります。
修正して再テストする
Flag criteriaの説明を更新し、結果がモニターで捉えたい内容を正確に反映するまでテストを繰り返します。Refine wordingボタンを使うとAIが自動で表現を言い換え、手動で書き直すことなく言語を絞り込み精度を向上させられます。
モニターが作成されると、一致するものを見つけてモニター一覧ページに表示されます。必要に応じて後で設定を編集できます。
モニターのアーカイブと復元
モニター一覧ページを整理するために、もはや積極的に追跡する必要のないモニターをアーカイブできます。アーカイブすると、モニターはデフォルトビューから非表示になりますが、削除や履歴データの消失はありません。
モニターをアーカイブする方法
モニター一覧ページの任意のモニターカードの三点リーダーメニューをクリックし、Archive monitorを選択します。モニターはメインビューから非表示になりますが、Archived monitorsフィルターでアクセス可能です。
モニターを復元する方法
モニター一覧ページでフィルタードロップダウンからArchived monitorsに切り替えます。モニターカードの三点リーダーメニューをクリックし、Restore monitorを選択します。確認ダイアログで、オプションとしてBackfill missed conversations from the last 2 weeksを有効にして、アーカイブ中に発生した会話を取り戻せます。Restoreをクリックして再有効化します。
レビューを完了する方法
モニター一覧ページのUnreviewedキューに移動します。
会話を選択します。
不足しているスコアカード基準を入力します。AI生成スコアは評価をクリックして上書き可能です。すべてのスコアを入力してもレビュー状態は自動で更新されないため、スコアリング完了後に手動で設定してください。
必要に応じてメモを追加します。例：「内容の更新が必要です」。
すべての基準にスコアを付けたら、レビュー状態をSubmittedに設定してレビューを完了としてマークします。
AI生成スコアは必要に応じて人間のレビュアーが上書きできます。レビュアーは自分の名前でキューをフィルターし、割り当てられた会話に集中できます。レビュー状態ラベルは会話がレビュー済みかどうかを示します。
モニターの制約事項
以下の制約に注意してください。
モニターに含めるには、会話にFinからのメッセージが2件以上、顧客からのメッセージが2件以上含まれている必要があります。
モニターはFin Voiceの会話をサポートしていません。
顧客のticketsやtracker ticketsはモニターに一致しません。会話のみが対象です。
モニターを初めて作成する際、最大90日分の過去の会話を遡って取得できます。
自然言語flag criteriaを使って作成できるモニターは最大20件です。事前定義フィルターを使うモニターは無制限です。
スコアカードは最大20件のAIスコア基準をサポートします。手動スコア基準は無制限です。
注意: AI基準の制限はワークスペース全体に適用され、スコアカードごとではありません。これにより、ユーザーは制限の範囲を正しく理解し、スコアカード設定時の混乱を避けられます。
よくある質問
同じ会話が複数のモニターに表示されることはありますか？
同じ会話が複数のモニターに表示されることはありますか？
はい。各モニターは独立してYes/Noチェックを行うため、会話が複数のモニターの基準に一致すると、それぞれでフラグ付けされます。会話をクリックすると、なぜ特定のモニターでフラグ付けされたかが正確に表示されます。
会話が評価された後に再度オープンした場合、再評価されますか？
会話が評価された後に再度オープンした場合、再評価されますか？
いいえ。会話はモニターごとに一度だけ評価されます。顧客が新しいメッセージを送って会話が再オープンしても、同じモニターのバージョンでは再一致や再評価はされません。元の評価のみが記録されます。
モニターはFin Voiceに対応していますか？
モニターはFin Voiceに対応していますか？
いいえ、Fin Voiceは現在モニターでサポートされていません。
ticketsはモニターで評価されますか？
ticketsはモニターで評価されますか？
いいえ、顧客のticketsやtracker ticketsはモニターに一致しません。会話のみが対象です。
誰が権限を割り当てたり変更したりできますか？
誰が権限を割り当てたり変更したりできますか？
ワークスペースの管理者のみがチームメンバーの権限を有効化または変更できます。管理者アクセス権がない場合は、ワークスペース管理者に設定の更新を依頼してください。
会話をレビューするには両方の権限が必要ですか？
会話をレビューするには両方の権限が必要ですか？
日常的なレビュー（会話の閲覧、スコアカードの記入）には、Can view Fin と Automation settings の権限のみが必要です。Monitorsやスコアカードの作成、編集、削除が必要な場合は、Can create, edit and internally share Reports の権限が必要です。
Monitorが会話を評価するための最小会話長はどのくらいですか？
Monitorが会話を評価するための最小会話長はどのくらいですか？
Monitorに含めるには、会話にFinからのメッセージが2件以上、顧客からのメッセージが2件以上含まれている必要があります。