メインコンテンツにスキップ

モニターに関するよくある質問

モニターの設定、権限管理、品質保証 workflows のトラブルシューティングに関するよくある質問の回答を見つけてください。

対応者:Dawn Perrott

モニターとスコアカードの違いは何ですか?

それらは異なる役割を持ち、一緒に機能します:

  • モニターはどの会話をレビューするかを定義します — 条件(フィルターまたは自然言語フラグ条件)を設定し、モニターが自動的に一致する会話を表示します。

  • スコアカードは各会話の評価方法を定義します — 評価基準、評価オプション、レビュアー(またはAI)が品質を評価するためのスコアリングルールを設定します。

スコアカードなしのモニターは会話にフラグを付けますが、スコアは付けません。完全なQA workflowには両方が必要です。

モニターやスコアカードの評価基準を作成できる数に制限はありますか?

はい、以下の制限があります:

  • 自然言語フラグ条件を使用するモニターは最大20個まで。事前定義されたフィルターを使用するモニターは無制限です。

  • AIスコア付きスコアカードの評価基準は最大20個まで。手動評価の基準は無制限です。

複数のモニターを同時に実行できますか?

はい、必要なだけモニターを作成でき、それぞれ異なるタイプの会話や品質シグナルを対象にできます。例えば、ランダムなベースラインサンプル用のモニター、低CXスコアの会話用のモニター、ポリシーリスクとしてフラグ付けされた会話用のモニターなどです。各モニターは独立して動作します。自然言語フラグ条件を使用するモニターは20個までの制限がありますが、事前定義フィルターを使うモニターは無制限です。

モニターは作成後に編集できますか?

モニターは作成後に部分的に編集可能です。モニター名、フラグ条件、フィルター、レビュアー、添付されたスコアカードはいつでもモニター一覧ページから更新できます。変更を保存すると、更新された条件に一致するすべての会話が自動的に再評価されます。以前にフラグ付けされた会話も、更新されたフラグ条件、フィルター、スコアカードなどに該当する場合は再評価されます。

ただし、モニタリングモード(連続、単発、スケジュール)、開始日、サンプリング制御(例:1日または1週間あたりの会話数)は、モニターが保存されてライブ設定されるとロックされます。これらの設定はモニターの動作やバックフィルの作成方法を制御するため、作成後に変更できません。

これらのロックされた設定を変更する必要がある場合は、新しい設定で新しいモニターを作成することをお勧めします。モニター一覧ページの三点リーダーメニューからモニターを複製オプションを使って既存のモニターをコピーし、素早く調整できます。

モニターはFinだけでなくチームメンバーの会話にも使えますか?

はい。Fin AI Agentの会話評価に加え、モニターは人間エージェントのQAもサポートします。人間チームメンバーの会話を対象にしたモニターを作成し、QA基準を含むスコアカードを添付して、連続、単発、またはスケジュールに基づいて自動的に会話をレビューできます。

モニターを一時停止またはアーカイブする方法はありますか?

はい。モニターをアーカイブしてメインのモニター一覧ページから非表示にできます。アーカイブはモニターを削除する唯一のサポートされた方法であり、完全削除はできません。アーカイブされたモニターはすべての履歴データと会話数を保持します。アーカイブするには、任意のモニターカードの三点リーダーメニューをクリックし、モニターをアーカイブを選択します。アーカイブ済みモニターを見るには、モニター一覧ページのフィルタードロップダウンでアーカイブ済みモニターを選択します。アーカイブ済みモニターはいつでも復元可能です。以下参照。

アーカイブしたモニターを復元するには?

モニター一覧ページのフィルタードロップダウンでアーカイブ済みモニターに切り替えます。復元したいモニターを見つけ、そのカードの三点リーダーメニューをクリックし、モニターを復元を選択します。確認ダイアログが表示されます。オプションで過去2週間の見逃した会話をバックフィルにチェックを入れて、アーカイブ中に発生した会話を取り戻せます。復元をクリックして再有効化します。

アーカイブしたモニターを復元するには?

はい。モニター一覧ページの任意のモニターの三点リーダーメニューをクリックし、モニターを複製を選択します。同じメニューから編集やアーカイブも可能です。

モニターを複製する方法はありますか?

はい。モニター一覧ページの任意のモニターの三点リーダーメニューをクリックし、モニターを複製を選択します。同じメニューから編集やアーカイブも可能です。

モニターを下書きとして保存できますか?

いいえ、現時点ではできません。

モニターはワークスペースの全設定にアクセスできますか?

いいえ、モニターは会話のトランスクリプトにのみアクセスできます。Knowledge base、Guidance、Tasks、Proceduresにはアクセスできません。例えば、モニターはFinが特定の記事にアクセスしたかどうかや、ガイダンスルールに基づいて会話を人間に引き継ぐべきかどうかを確認できません。

モニターが編集された日時、変更内容、編集者を確認できますか?

いいえ、現在UIでモニター編集の監査履歴は利用できません。

モニターダッシュボードのアクティビティビューでカスタム日付範囲を使用できますか?

いいえ、利用可能な日付フィルターは過去7日間、過去8週間、過去6か月のみです。

モニターのレポートデータ用のAPIエンドポイントはありますか?

いいえ、現時点ではありません。

Fin Standaloneで人間エージェントQAモニターを使えますか?

いいえ、人間エージェントQAモニターはFin Standaloneでは利用できません。


会話と適格性

モニターに含める会話の最小長は?

モニターに一致させるには、会話にFinからのメッセージが2件以上、顧客からのメッセージが2件以上含まれている必要があります。

同じ会話が複数のモニターに表示されることはありますか?

はい。各モニターは独立したはい/いいえのチェックとして動作するため、複数のモニターの条件に一致する会話はそれぞれでフラグ付けされます。どのモニターからでも会話をクリックすると、その特定のモニターがなぜフラグを付けたかが正確に表示されます。

会話が評価されてから再度開かれた場合、再評価されますか?

はい。会話が再度開かれて閉じられると、モニターは新しいクローズ時に再チェックします。条件に合わなくなった場合はモニターから除外されます。AIスコアは更新されます。既に提出されたレビューはそのままです。新しい顧客メッセージだけでは再チェックはトリガーされません。会話が再度閉じられる必要があります。

モニター作成時に過去の会話をバックフィルできますか?

はい。モニター作成時に最大90日分の過去会話をバックフィルできます。その後はモニターが新しい一致会話を自動的にキャプチャし続けます。

モニターはFin Voiceで機能しますか?

いいえ。Fin Voiceは現在モニターでサポートされていません。

Monitorsを使って人間の電話通話の会話を評価できますか?

いいえ。Monitorsはチャットやメッセージの会話のみを評価します。電話通話の会話は、チームメンバーが対応している場合でもFin Voiceの場合でも現在サポートされていません。

ticketsはMonitorsで評価されますか?

いいえ。顧客ticketsもtracker ticketsもMonitorsにはマッチしません。会話のみが対象です。

Monitorのフラグ基準を更新した場合、既存の会話は削除されますか?

いいえ。以前のフラグ基準にマッチした会話はMonitorに残ります。更新後の設定に対してマッチするのは今後の会話のみです。

会話がMonitorに表示されるまでどのくらいかかりますか?

会話は即座に表示されるはずです。ただし、会話数が多い場合、Monitorダッシュボードの会話数の更新に数分かかることがあります。

誤ってMonitorに表示されている会話を削除できますか?

いいえ。現在、Monitorから会話を手動で削除することはできません。

フラグ基準を設定していなくてもMonitorでテストを実行できますか?

いいえ。フラグ基準が設定されている場合にのみ、テスト実行オプションが表示されます。

会話がフラグ基準にマッチした理由やマッチしなかった理由を確認するには?

Monitorに移動し、編集をクリックして、テスト実行セクションを開きます。サンプル会話でフラグ基準をテストの下に会話IDを入力し、追加をクリックします。Monitorの結果で会話がマッチしたかどうかとその理由が説明されます。

特定の会話がMonitorに表示されないのはなぜですか?

会話が表示されない場合、以下の一般的な原因を確認してください:

  • 最小メッセージ要件: 会話にはFinからのメッセージが2件以上、顧客からのメッセージが2件以上含まれている必要があります。

  • ticketタイプ: 顧客ticketsおよびtracker ticketsはMonitorsにマッチしません。会話のみが対象です。

  • 電話通話: Monitorsはチャットやメッセージの会話のみを評価し、電話通話の会話は現在サポートされていません。

  • Fin Voice: MonitorsはFin Voiceの会話をサポートしていません。

  • 開始日: 会話がMonitorの設定された開始日より前に行われた可能性があります。

  • フィルター不一致: Monitorが解決状態、トピック、CXスコアなどの正確なフィルターを使用している場合、会話がその基準にマッチしない可能性があります。フィルター設定を確認してください。

  • フラグ基準不一致: Monitorが自然言語のフラグ基準を使用している場合、テスト実行ツールを使って確認してください。Monitorに移動し、編集をクリック、テスト実行セクションを開き、会話IDを入力して追加をクリックします。結果で会話がマッチしたかどうかと理由が説明されます。


スコアカードとスコアリング

Monitorを使うのにスコアカードは必要ですか?

いいえ。ただし、スコアカードがないとMonitorは会話にフラグを立てるだけでスコアリングはしません。レビュアーは評価基準のないマッチした会話を見ることになります。完全なQAワークフローには、Monitor設定時にスコアカードを添付してください。

異なるMonitorに異なるスコアカードを添付できますか?

はい。各Monitorは独自のスコアカードを持てるので、異なる種類の会話を異なる品質基準で評価できます。例えば、脆弱な顧客向けのMonitorは請求会話用のMonitorとは異なるスコアカードを使うかもしれません。

複数のスコアカードでスコアカード基準を再利用できますか?

はい。基準のタイトルと説明は再利用可能です。一度作成した基準は複数のスコアカードに追加できます。ただし、以前の評価スコアは再利用できず、各スコアカードで新たに設定する必要があります。

同じスコアカードでAIスコアと手動スコアの基準を混在させられますか?

はい。基準ごとにAIか人間のレビュアーがスコアリングを担当するか選べます。自動レビューが有効で、手動スコアが必要な基準がある場合、その会話は未レビューキューに表示されます。

基準を重要としてマークするとどうなりますか?

重要な基準が不合格評価を受けると、他の基準のスコアに関係なく総合評価が0%になります。これはすべての重みと合格基準を上書きします。不評価は不合格を引き起こしません。重要な基準はコンプライアンス要件、安全性や方針遵守、エスカレーション対応などの譲れない基準に有用です。

スコアカードの重みはどのように機能しますか?

重みは相対的で、0から100のスケールです。合計は任意の数値になり得ますが、重要なのは各基準の寄与割合です。例えば、合計50のうち25の重みを持つ基準は、合計100のうち50の重みを持つ基準と同じ寄与をします。重みはレビュー評価に含まれる基準にのみ適用されます。

AI生成のスコアは上書きできますか?

はい。チームメンバーは不一致を見つけた場合、任意のAIスコアを手動で上書きできます。会話のスコアタブで評価をクリックして変更してください。

スコアカード基準を再利用する際、重みも再利用できますか?

いいえ。名前と説明のみが引き継がれます。重みは常に新たに設定する必要があります。

スコアカード基準でN/Aを選択すると総合スコアにどう影響しますか?

その基準は重み付けから完全に除外されます。総合スコアは残りの評価された基準のみで計算されます。

レビューのスコアはどこで見られますか?

スコアはMonitorの会話リスト(総合スコアと個別基準評価の列表示)および各会話のスコアタブで確認できます。

スコアカードを下書きとして保存できますか?

いいえ、現時点ではできません。

スコアカードが編集されたか、誰が編集したかを確認できますか?

いいえ。スコアカード編集の監査履歴は現在利用できません。


自動レビュー

自動レビューとは何ですか?

Auto-reviewは、スコアカード上で有効にできる機能で、QAプロセス全体を自動化します。有効にすると、AIがスコアカードのすべての基準を評価した場合、手動レビューのステップは完全にスキップされます。会話は自動的にレビュー済みとマークされ、失敗や例外的なケースのみ人間の注意が必要です。

Auto-reviewedされた会話のレビュアーステータスは何を示しますか?

レビュアーステータスはAuto-reviewedと表示されます。これらの会話は、AIが失敗を検出したり属性を自信を持って評価できない場合を除き、手動のUnreviewedキューをバイパスします。

人間がAIのスコアを変更した場合、AIは将来のレビューのためにそれを学習しますか?

いいえ。現時点ではAIは人間の上書きから学習しません。

Monitorをオンにする前にテストできますか?

はい、強く推奨します。自然言語のflag criteriaを使うMonitorの場合、Test monitorツールを使って実際の会話に対して基準を検証してください。どの会話がフラグ付けされるかを示し、不一致をハイライトして誤検知を減らすために調整できます。

flag criteriaを設定していなくてもテストは実行できますか?

いいえ。Run testオプションはflag criteriaが設定されている場合にのみ表示されます。

会話がflag criteriaに合致した理由や合致しなかった理由を確認するには?

Monitorに移動し、EditをクリックしてRun testセクションを開きます。Test flag criteria on sample conversationsで会話IDを入力し、Addをクリックします。Monitorの結果が会話が合致したかどうかの理由を説明します。

Monitorのレポートデータ用のAPIエンドポイントはありますか?

いいえ、現時点ではありません。


会話リストビュー

なぜ会話リストビューが変更されたのですか?

Monitorをクリックしたときに表示される会話リストビューを置き換えました。新しい体験は、より信頼性が高く、安定していて高速な別の基盤で構築されています。以前のビューのすべての機能はまだ含まれていませんが、欠落している機能は一時的で、数週間以内に再導入されます。

以前使っていた機能の一部がなくなっています—いつ戻りますか?

以下の機能は一時的に利用できず、数週間以内に再導入されます:

  • 列の並べ替えと再配置

  • 一部のmonitor固有のフィルター

  • 右側の会話パネルのDetailsタブでのフィールド変更(例:別のチームへの再割り当て)


レビューとworkflow

QAレビューのステータスラベルは何を意味しますか?

レビュー状態は2つあります:

ラベル

意味

Unreviewed

まだレビューが行われていません

Submitted

レビューが完了し、提出されました

自分に割り当てられた会話をどうやって見つけますか?

MonitorsページのUnreviewed conversationsキューに移動します。そこから自分の名前でフィルターをかけると、すべてのmonitorで自分に割り当てられた会話だけが表示されます。

以前のレビュー状態「Fix Needed」や「Won't Fix」でフィルターできますか?

はい。既存のworkflowsを妨げないように、従来のステータスで会話をフィルターできます。以前に分類された会話は引き続きアクセス可能です。ただし、新しい会話はこれらの従来の状態には割り当てられず、今後はUnreviewedとSubmittedのみが利用可能です。

以前の「Fix needed」「Won't fix」「Fix complete」ステータスはどうなりましたか?

これらのステータスは以前のMonitorのバージョンの一部で、UnreviewedとSubmittedの2状態のシンプルなシステムに置き換えられました。

以前のステータスでフィルターして以前に分類された会話を見つけることはできますが、新しい会話はUnreviewedかSubmittedにのみ設定可能です。失敗スコアで提出された会話は自動的にフォローアップのためにフラグ付けされます。

この変更は意図的で、より柔軟なシステムの基盤です。Back-office Ticketsを中心とした新しいworkflowを導入予定で、独自のカスタムステータスを定義・管理できるようになります。

将来的にカスタムレビュー状態は利用可能になりますか?

はい。UnreviewedとSubmittedへの簡素化は意図的で元に戻りませんが、より柔軟なシステムの基盤です。Back-office Ticketsを中心とした新しいworkflowを導入し、独自のカスタムステータスを定義・管理できるようになります。

レビューを提出するとどうなりますか?

すべてのスコアカード基準が評価されたら、レビュー状態をSubmittedに設定してレビューを完了としてマークします。失敗スコアで提出された会話はフォローアップのためにフラグ付けされます。提出前にメモを追加することも可能です。例えば、コンテンツ更新が必要な場合のフラグ付けなどです。

会話がスコアカードレビューに失敗した場合、どうすればいいですか?

レビューが失敗スコアで提出された場合、その会話は自動的にフォローアップのためにフラグ付けされます。失敗の理由によって次の対応が異なります:

  • コンテンツギャップ — 答えが間違っているか不完全で、Finのknowledge baseに含まれていない場合:Knowledge Hubの関連する記事、スニペット、または内部記事を更新してください。

  • ガイダンスの問題 — Finが誤った動作をした場合(例えば、不適切にエスカレーションした、または誤ったトーンを使った):ガイダンスルールを追加または更新してください。

  • 手順の問題 — workflowのステップが意図した通りに実行されなかった場合:関連するProcedureを見直し、更新してください。

レビューを提出してもFinの応答が直接変わるわけではありません。コンテンツ、ガイダンス、手順の変更がFinの将来のパフォーマンスを向上させます。

Scoreタブのメモでチームメイトにタグ付けできますか?

いいえ。現在、スコアメモでチームメイトのタグ付けはサポートされていません。


権限とアクセス

Monitorsを使用するにはどの権限が必要ですか?

新しいEvaluationsセクション(Settings > Workspace > Teammates > Evaluations)の下にある、ワークスペース管理者が有効にする2つの独立した権限があります。

  • 他のチームメイトのレビューにアクセス可能 — 他のチームメイトのレビューを見て作業できます。これがない場合でも、チームメイトは自分の作業のレビューを見て、割り当てられたレビューを完了できます。

  • スコアカードとMonitorsの作成および管理が可能 — Monitorsとスコアカードを作成、編集、複製、アーカイブできます。これは他のチームメイトのレビューへのアクセス権を付与しません。

誰がMonitorsを作成および編集できますか?

チームメイトはどちらか一方の権限、両方、またはどちらも持たない場合があります。権限は独立しています。スコアカードとMonitorsの作成および管理が可能だが他のチームメイトのレビューにアクセス可能でないチームメイトは、Monitorsとスコアカードを設定できますが、他のチームメイトのレビューは見られません。レビューへのアクセスは常に会話へのアクセスに従います:チームメイトはすでにアクセス権のある会話のレビューのみアクセスできます。

こちらの回答で解決しましたか?