モニターとスコアカードの違いは何ですか?
モニターとスコアカードの違いは何ですか?
それらは異なる役割を持ち、連携して機能します:
モニターはどの会話をレビューするかを定義します — 条件(フィルターまたは自然言語フラグ条件)を設定し、モニターが自動的に一致する会話を表示します。
スコアカードは各会話の評価方法を定義します — 評価基準、評価オプション、レビュアー(またはAI)が品質を評価するためのスコアリングルールを設定します。
スコアカードなしのモニターは会話にフラグを立てますが、スコアは付けません。完全なQA workflowには両方が必要です。
モニターやスコアカードの評価基準を作成できる数に制限はありますか?
モニターやスコアカードの評価基準を作成できる数に制限はありますか?
はい、以下の制限が適用されます:
自然言語フラグ条件を使用するモニターは最大20件まで。事前定義されたフィルターを使用するモニターは無制限です。
AIスコア付きスコアカードの評価基準は最大20件まで。手動評価の基準は無制限です。
複数のモニターを同時に実行できますか?
複数のモニターを同時に実行できますか?
はい、必要なだけモニターを作成でき、それぞれ異なるタイプの会話や品質シグナルを対象にできます。例えば、ランダムなベースラインサンプル用のモニター、低CXスコアの会話用のモニター、ポリシーリスクとしてフラグ付けされた会話用のモニターなどです。各モニターは独立して動作します。自然言語フラグ条件を使用するモニターは20件までの制限がありますが、事前定義フィルターを使うモニターは無制限です。
作成後にモニターを編集できますか?
作成後にモニターを編集できますか?
モニターは作成後に部分的に編集可能です。モニター名、フラグ条件、フィルター、レビュアー、添付されたスコアカードはいつでもモニターのページから更新できます。変更を保存すると、更新された条件に一致するすべての会話が自動的に再評価されます。以前にフラグ付けされた会話も、更新されたフラグ条件、フィルター、スコアカードなどに該当する場合は再評価されます。
ただし、モニタリングモード(連続、単発、スケジュール)、開始日、サンプリング制御(例:1日または1週間あたりの会話数)は、モニターが保存されてライブ設定されるとロックされます。これらの設定はモニターの動作やバックフィルの作成方法を制御するため、作成後に変更できません。
これらのロックされた設定を変更する必要がある場合は、望ましい構成で新しいモニターを作成することをお勧めします。モニターのページの三点リーダーメニューから利用できるモニターの複製オプションを使って既存のモニターをコピーし、素早く調整できます。
Finだけでなくチームメンバーの会話にもモニターを使えますか?
Finだけでなくチームメンバーの会話にもモニターを使えますか?
はい、Fin AIエージェントの会話評価に加え、モニターは人間エージェントのQAもサポートします。人間のチームメンバーの会話を対象にしたモニターを作成し、QA基準を含むスコアカードを添付して、連続、単発、またはスケジュールに基づいて自動的に会話をレビューできます。
モニターを一時停止またはアーカイブする方法はありますか?
モニターを一時停止またはアーカイブする方法はありますか?
はい。モニターをアーカイブして、メインのモニターページから非表示にできますが、削除はしません。アーカイブされたモニターはすべての履歴データと会話数を保持します。アーカイブするには、任意のモニターカードの三点リーダーメニューをクリックし、モニターをアーカイブを選択します。アーカイブされたモニターを見るには、モニターページのフィルタードロップダウンでアーカイブ済みモニターを選択します。アーカイブされたモニターはいつでも復元可能です。以下を参照してください。
アーカイブされたモニターを復元するには?
アーカイブされたモニターを復元するには?
モニターページのフィルタードロップダウンでアーカイブ済みモニターに切り替えます。復元したいモニターを見つけ、そのカードの三点リーダーメニューをクリックし、モニターを復元を選択します。確認ダイアログが表示されます。オプションで過去2週間の見逃した会話をバックフィルにチェックを入れて、アーカイブ中に発生した会話を取り戻せます。復元をクリックして再有効化します。
アーカイブされたモニターを復元するには?
アーカイブされたモニターを復元するには?
はい、モニターページの任意のモニターの三点リーダーメニューをクリックし、モニターの複製を選択します。同じメニューから編集、アーカイブ、削除も選べます。
モニターを複製する方法はありますか?
モニターを複製する方法はありますか?
はい、モニターページの任意のモニターの三点リーダーメニューをクリックし、モニターの複製を選択します。同じメニューから編集、アーカイブ、削除も選べます。
モニターを下書きとして保存できますか?
モニターを下書きとして保存できますか?
いいえ、現時点ではできません。
モニターはワークスペースの全設定にアクセスできますか?
モニターはワークスペースの全設定にアクセスできますか?
いいえ、モニターは会話のトランスクリプトにのみアクセスできます。Knowledge base、Guidance、Tasks、Proceduresにはアクセスできません。例えば、モニターはFinが特定の記事にアクセスできたかどうかや、ガイダンスルールに基づいて会話が人間に引き継がれるべきかどうかを確認できません。
モニターがいつ編集されたか、何が変更されたか、誰が変更したかを見ることはできますか?
モニターがいつ編集されたか、何が変更されたか、誰が変更したかを見ることはできますか?
いいえ、現在UIでモニター編集の監査履歴は利用できません。
モニターダッシュボードのアクティビティビューでカスタム日付範囲を使うことはできますか?
モニターダッシュボードのアクティビティビューでカスタム日付範囲を使うことはできますか?
いいえ、利用可能な日付フィルターは過去7日間、過去8週間、過去6ヶ月のみです。
モニターのレポートデータ用のAPIエンドポイントはありますか?
モニターのレポートデータ用のAPIエンドポイントはありますか?
いいえ、現時点ではありません。
Fin Standaloneで人間エージェントQAモニターを使えますか?
Fin Standaloneで人間エージェントQAモニターを使えますか?
いいえ、人間エージェントQAモニターはFin Standaloneでは利用できません。
会話と適格性
モニターに含める会話の最小長は?
モニターに含める会話の最小長は?
モニターに一致させるには、会話にFinからのメッセージが2件以上、顧客からのメッセージが2件以上含まれている必要があります。
同じ会話が複数のモニターに表示されることはありますか?
同じ会話が複数のモニターに表示されることはありますか?
はい。各モニターは独立したはい/いいえのチェックとして動作するため、複数のモニターの条件に一致する会話はそれぞれでフラグ付けされます。どのモニターからでも会話にアクセスすると、その特定のモニターがなぜフラグを立てたかが正確に表示されます。
会話が評価されてから再開された場合、再評価されますか?
会話が評価されてから再開された場合、再評価されますか?
いいえ。会話はモニターごとに一度だけ評価されます。顧客が新しいメッセージを送って会話が再開された場合でも、同じモニターのバージョンでは再マッチや再評価はされません。元の評価のみが記録されます。
モニター作成時に過去の会話をバックフィルできますか?
モニター作成時に過去の会話をバックフィルできますか?
はい。モニターを初めて作成する際に、最大90日分の過去の会話をバックフィルできます。その後はモニターが新しい一致する会話を自動的にキャプチャし続けます。
モニターはFin Voiceで機能しますか?
モニターはFin Voiceで機能しますか?
いいえ。Fin Voiceは現在モニターでサポートされていません。
Monitorsを使って人間の電話通話の会話を評価できますか?
Monitorsを使って人間の電話通話の会話を評価できますか?
いいえ。Monitorsはチャットやメッセージの会話のみを評価します。電話通話の会話は、human teammatesまたはFin Voiceによるものでも現在サポートされていません。
ticketsはMonitorsで評価されますか?
ticketsはMonitorsで評価されますか?
いいえ。顧客ticketsもtracker ticketsもMonitorsにはマッチしません。会話のみが対象です。
Monitorのflag基準を更新した場合、既存の会話は削除されますか?
Monitorのflag基準を更新した場合、既存の会話は削除されますか?
いいえ。以前のflag基準にマッチした会話はMonitorに残ります。更新後の設定に対してマッチするのは今後の会話のみです。
会話がMonitorに表示されるまでどのくらいかかりますか?
会話がMonitorに表示されるまでどのくらいかかりますか?
会話は即座に表示されるはずです。ただし、会話数が多い場合、Monitorダッシュボードの会話数の更新に数分かかることがあります。
会話が誤ってMonitorに表示されている場合、削除できますか?
会話が誤ってMonitorに表示されている場合、削除できますか?
いいえ。現在、会話を手動でMonitorから削除することはできません。
flag基準を設定していなくてもMonitorでテストを実行できますか?
flag基準を設定していなくてもMonitorでテストを実行できますか?
いいえ。Run testオプションはflag基準が設定されている場合にのみ表示されます。
会話がflag基準にマッチした理由やしなかった理由を確認するには?
会話がflag基準にマッチした理由やしなかった理由を確認するには?
Monitorに移動し、EditをクリックしてRun testセクションを開きます。Test flag criteria on sample conversationsで会話IDを入力し、Addをクリックします。Monitorの結果でマッチした理由が説明されます。
特定の会話がMonitorに表示されないのはなぜですか?
特定の会話がMonitorに表示されないのはなぜですか?
会話が表示されない場合、以下の一般的な原因を確認してください:
最小メッセージ要件: 会話にはFinからのメッセージが2件以上、顧客からのメッセージが2件以上含まれている必要があります。
Ticket type: 顧客ticketsおよびtracker ticketsはMonitorsにはマッチしません。会話のみが対象です。
電話通話: Monitorsはチャットやメッセージの会話のみを評価し、電話通話の会話は現在サポートされていません。
Fin Voice: MonitorsはFin Voiceの会話をサポートしていません。
開始日: 会話がMonitorの設定開始日より前に発生している可能性があります。
フィルター不一致: MonitorがResolution State、Topic、CX Scoreなどの厳密なフィルターを使用している場合、会話がそれらの基準にマッチしない可能性があります。フィルター設定を確認してください。
Flag criteria mismatch: Monitorが自然言語のflag基準を使用している場合、Run testツールで確認してください。Monitorに移動し、Editをクリック、Run testセクションを開き、会話IDを入力してAddをクリックします。結果で会話がマッチしたかどうかと理由が説明されます。
スコアカードとスコアリング
Monitorを使うのにスコアカードは必要ですか?
Monitorを使うのにスコアカードは必要ですか?
いいえ、必要ありませんが、スコアカードがないとMonitorは会話にフラグを立てるだけでスコアリングはしません。レビュアーは評価基準のないマッチした会話を見ることになります。完全なQA workflowsには、Monitor設定時にスコアカードを添付してください。
異なるMonitorに異なるスコアカードを添付できますか?
異なるMonitorに異なるスコアカードを添付できますか?
はい。各Monitorは独自のスコアカードを持てるので、異なる種類の会話を異なる品質基準で評価できます。例えば、脆弱な顧客向けのMonitorは請求会話向けのMonitorとは異なるスコアカードを使うかもしれません。
複数のスコアカードでスコアカード基準を再利用できますか?
複数のスコアカードでスコアカード基準を再利用できますか?
はい。基準のタイトルと説明は再利用可能です。一度作成した基準は複数のスコアカードに追加できます。ただし、以前の評価スコアは再利用できず、各スコアカードで新たに設定する必要があります。
同じスコアカードでAIスコアと手動スコアの基準を混在させることはできますか?
同じスコアカードでAIスコアと手動スコアの基準を混在させることはできますか?
はい。基準ごとにAIか人間のレビュアーがスコアリングを担当するか選べます。Auto-reviewが有効で、手動スコアが必要な基準がある場合、その会話はUnreviewedキューに表示されます。
基準をクリティカルとしてマークするとどうなりますか?
基準をクリティカルとしてマークするとどうなりますか?
クリティカル基準が不合格評価を受けると、他の基準のスコアに関係なく総合評価が0%になります。これはすべての重みと合格閾値を上書きします。不評価は不合格を引き起こしません。クリティカル基準はコンプライアンス要件、安全性やポリシー遵守、エスカレーション対応などの譲れない基準に有用です。
スコアカードの重みはどのように機能しますか?
スコアカードの重みはどのように機能しますか?
重みは互いに相対的で、0から100のスケールです。合計は任意の数値になり得ますが、重要なのは各基準の寄与割合です。例えば、合計50のうち25の重みを持つ基準は、合計100のうち50の重みを持つ基準と同じ寄与をします。重みはレビュー評価に含まれる基準にのみ適用されます。
AI生成スコアは上書きできますか?
AI生成スコアは上書きできますか?
はい。チームメンバーは不一致を見つけた場合、任意のAIスコアを手動で上書きできます。会話のScoreタブで評価をクリックして変更してください。
スコアカード基準を再利用する際、重みも再利用できますか?
スコアカード基準を再利用する際、重みも再利用できますか?
いいえ。名前と説明のみが引き継がれます。重みは常に新たに設定する必要があります。
スコアカード基準でN/Aを選択すると総合スコアにどう影響しますか?
スコアカード基準でN/Aを選択すると総合スコアにどう影響しますか?
その基準は重み付けから完全に除外されます。総合スコアは残りの評価された基準のみで計算されます。
レビューのスコアはどこで見られますか?
レビューのスコアはどこで見られますか?
スコアはMonitorの会話リスト(総合スコアと個別基準評価を列で表示)および各会話のScoreタブで確認できます。
スコアカードを下書きとして保存できますか?
スコアカードを下書きとして保存できますか?
いいえ、現時点ではできません。
スコアカードが編集されたか、誰が編集したか確認できますか?
スコアカードが編集されたか、誰が編集したか確認できますか?
いいえ。スコアカード編集の監査履歴は現在利用できません。
Auto-review
Auto-reviewとは何ですか?
Auto-reviewとは何ですか?
Auto-reviewは、スコアカード上で有効にできる機能で、QAプロセス全体を自動化します。有効にすると、AIがスコアカードのすべての基準を評価した場合、手動レビューのステップは完全にスキップされます。会話は自動的にレビュー済みとしてマークされ、失敗や例外的なケースのみ人間の注意が必要です。
Auto-reviewedされた会話に対して、レビュアーのステータスはどう表示されますか?
Auto-reviewedされた会話に対して、レビュアーのステータスはどう表示されますか?
レビュアーステータスはAuto-reviewedと表示されます。これらの会話は、AIが失敗を検出したり属性を自信を持って評価できない場合を除き、手動のUnreviewedキューをバイパスします。
人間がAIのスコアを変更した場合、AIは将来のレビューのために学習しますか?
人間がAIのスコアを変更した場合、AIは将来のレビューのために学習しますか?
いいえ。現時点ではAIは人間の上書きから学習しません。
Monitorをオンにする前にテストできますか?
Monitorをオンにする前にテストできますか?
はい、強く推奨します。自然言語のflag基準を使用するMonitorの場合、Test monitorツールを使って実際の会話に対して基準を検証してください。どの会話がflagされるかを示し、不一致をハイライトして誤検知を減らすために調整できます。
flag基準を設定していなくてもテストは実行できますか?
flag基準を設定していなくてもテストは実行できますか?
いいえ。Run testオプションはflag基準が設定されている場合にのみ表示されます。
会話がflag基準に合致した理由や合致しなかった理由を確認するには?
会話がflag基準に合致した理由や合致しなかった理由を確認するには?
Monitorに移動し、Editをクリックして、Run testセクションを開きます。Test flag criteria on sample conversationsで会話IDを入力し、Addをクリックします。Monitorの結果が会話が合致したかどうかの理由を説明します。
Monitorのレポートデータ用のAPIエンドポイントはありますか?
Monitorのレポートデータ用のAPIエンドポイントはありますか?
いいえ、現時点ではありません。
会話リストビュー
なぜ会話リストビューが変更されたのですか?
なぜ会話リストビューが変更されたのですか?
Monitorをクリックしたときに表示される会話リストビューを置き換えました。新しい体験は、より信頼性が高く、安定していて高速な異なる基盤上に構築されています。以前のビューのすべての機能はまだ含まれていませんが、欠落している機能は一時的で、数週間以内に再導入されます。
以前使っていた機能の一部がなくなっていますが、いつ戻りますか?
以前使っていた機能の一部がなくなっていますが、いつ戻りますか?
以下の機能は一時的に利用できず、数週間以内に再導入されます:
列の並べ替えと再配置
Monitor固有の一部フィルター
右側の会話パネルのDetailsタブでのフィールド変更(例:別のチームへの再割り当て)
Reviews and workflow
QAレビューのステータスラベルは何を意味しますか?
QAレビューのステータスラベルは何を意味しますか?
レビュー状態は2つあります:
ラベル | 意味 |
Unreviewed | まだレビューが行われていません |
Submitted | レビューが完了し、提出されました |
自分に割り当てられた会話をどうやって見つけますか?
自分に割り当てられた会話をどうやって見つけますか?
MonitorsページのUnreviewed conversationsキューに移動します。そこから自分の名前でフィルターをかけると、すべてのMonitorで自分に割り当てられた会話だけが表示されます。
以前のレビュー状態「Fix Needed」や「Won't Fix」でフィルターできますか?
以前のレビュー状態「Fix Needed」や「Won't Fix」でフィルターできますか?
はい。既存のworkflowsを妨げないように、以前のステータスで会話をフィルターできます。以前分類された会話は引き続きアクセス可能です。ただし、新しい会話はこれらの以前のステータスには割り当てられず、今後はUnreviewedとSubmittedのみが利用可能です。
以前の「Fix needed」「Won't fix」「Fix complete」ステータスはどうなりましたか?
以前の「Fix needed」「Won't fix」「Fix complete」ステータスはどうなりましたか?
これらのステータスは以前のMonitorのバージョンの一部で、簡略化された2つの状態、UnreviewedとSubmittedに置き換えられました。
以前のステータスでフィルターして以前分類された会話を見つけることはできますが、新しい会話はUnreviewedかSubmittedにのみ設定可能です。失敗スコアで提出された会話は自動的にフォローアップのためにflagされます。
この変更は意図的なもので、より柔軟なシステムの基盤です。Back-office Ticketsを中心とした新しいworkflowを導入し、独自のカスタムステータスを定義・管理できるようになります。
将来的にカスタムレビュー状態は利用可能になりますか?
将来的にカスタムレビュー状態は利用可能になりますか?
はい。UnreviewedとSubmittedへの簡略化は意図的で元に戻りませんが、より柔軟なシステムの基盤です。Back-office Ticketsを中心とした新しいworkflowを導入し、独自のカスタムステータスを定義・管理できるようになります。
レビューを提出するとどうなりますか?
レビューを提出するとどうなりますか?
すべてのスコアカード基準が評価されたら、レビュー状態をSubmittedに設定してレビューを完了としてマークします。失敗スコアで提出された会話はフォローアップのためにflagされます。提出前にメモを追加することも可能です。例えば、コンテンツ更新が必要な場合などです。
会話がスコアカードレビューに失敗した場合、どうすればいいですか?
会話がスコアカードレビューに失敗した場合、どうすればいいですか?
レビューが失敗スコアで提出された場合、その会話は自動的にフォローアップのためにflagされます。失敗の理由によって次の対応が異なります:
コンテンツギャップ — 答えが間違っているか不完全で、Finのknowledge baseに含まれていない場合:Knowledge Hubの関連する記事、スニペット、または内部記事を更新してください。
ガイダンスの問題 — Finが誤った動作をした場合(例えば、不適切にエスカレーションした、または間違ったトーンを使った):ガイダンスルールを追加または更新してください。
手順の問題 — workflowのステップが意図した通りに実行されなかった場合:関連するProcedureを見直し、更新してください。
レビューを提出してもFinの応答が直接変わるわけではありません。コンテンツ、ガイダンス、または手順の変更がFinの将来のパフォーマンスを向上させます。
Scoreタブのメモでチームメイトにタグ付けできますか?
Scoreタブのメモでチームメイトにタグ付けできますか?
いいえ。現在、スコアノートでチームメイトにタグ付けすることはサポートされていません。
権限とアクセス
Monitorsを使用するにはどの権限が必要ですか?
Monitorsを使用するにはどの権限が必要ですか?
ワークスペース管理者によって有効化される2つの権限が必要です:
FinとAutomation設定を表示できる — 会話の確認や基準値の調整などの日常業務のため
Reportsを作成、編集、社内共有できる — Monitorsやスコアカードの作成、編集、削除などの設定アクセスのため
誰がMonitorsを作成および編集できますか?
誰がMonitorsを作成および編集できますか?
FinとAutomation設定を表示できるとReportsを作成、編集、社内共有できるの両方の権限を持つチームメンバーは、Monitorsとスコアカードを作成、編集、削除できます。最初の権限のみを持つチームメンバーは、会話の確認や基準値の調整はできますが、Monitorsの作成や削除はできません。
