モニターとスコアカードの違いは何ですか?
モニターとスコアカードの違いは何ですか?
それらは異なる役割を持ち、連携して機能します:
モニターはどの会話をレビューするかを定義します — 条件(フィルターまたは自然言語フラグ条件)を設定し、モニターが自動的に一致する会話を表示します。
スコアカードは各会話の評価方法を定義します — 評価基準、評価オプション、レビュアー(またはAI)が品質を評価するためのスコアリングルールを設定します。
スコアカードなしのモニターは会話にフラグを付けますが、スコアは付けません。完全なQA workflowには両方が必要です。
モニターやスコアカードの条件を作成できる数に制限はありますか?
モニターやスコアカードの条件を作成できる数に制限はありますか?
はい、以下の制限が適用されます:
複数のモニターを同時に実行できますか?
複数のモニターを同時に実行できますか?
はい、必要なだけモニターを作成できます。それぞれ異なるタイプの会話や品質信号を対象とします。例えば、ランダムなベースラインサンプル用のモニター、低CXスコアの会話用のモニター、ポリシーリスクとしてフラグ付けされた会話用のモニターなどです。各モニターは独立して動作します。自然言語フラグ条件を使用するモニターは20台までの制限がありますが、事前定義されたフィルターを使用するモニターは無制限です。
モニター作成後に編集できますか?
モニター作成後に編集できますか?
モニターは作成後に部分的に編集可能です。モニター名、フラグ条件、フィルター、レビュアー、添付されたスコアカードはいつでもモニターのページから更新できます。変更を保存すると、更新された条件に一致するすべての会話が自動的に再評価されます。以前にフラグ付けされた会話も、更新されたフラグ条件、フィルター、スコアカードなどに該当する場合は含まれます。
ただし、モニタリングモード(連続、単発、スケジュール)、開始日、サンプリング制御(例:1日または1週間あたりの会話数)は、モニターが保存されてライブ設定されるとロックされます。これらの設定はモニターの動作やバックフィルの作成方法を制御するため、作成後に変更できません。
これらのロックされた設定を変更する必要がある場合は、希望の設定で新しいモニターを作成することをお勧めします。モニターのページの三点リーダーメニューから利用できるモニターの複製オプションを使って既存のモニターをコピーし、素早く調整できます。
モニターを一時停止またはアーカイブする方法はありますか?
モニターを一時停止またはアーカイブする方法はありますか?
はい。モニターを削除せずにメインのモニターページから非表示にするためにアーカイブできます。アーカイブされたモニターはすべての履歴データと会話数を保持します。アーカイブするには、任意のモニターカードの三点リーダーメニューをクリックし、モニターをアーカイブを選択します。アーカイブされたモニターを見るには、モニターページのフィルタードロップダウンでアーカイブ済みモニターを選択します。アーカイブされたモニターはいつでも復元可能です。以下を参照してください。
アーカイブされたモニターをどのように復元しますか?
アーカイブされたモニターをどのように復元しますか?
モニターページのフィルタードロップダウンでアーカイブ済みモニターに切り替えます。復元したいモニターを見つけ、そのカードの三点リーダーメニューをクリックし、モニターを復元を選択します。確認ダイアログが表示されます。オプションで過去2週間の見逃した会話をバックフィルにチェックを入れて、アーカイブ中に発生した会話を取り戻せます。復元をクリックして再有効化します。
アーカイブされたモニターをどのように復元しますか?
アーカイブされたモニターをどのように復元しますか?
はい、モニターページの任意のモニターの三点リーダーメニューをクリックし、モニターの複製を選択します。同じメニューから編集、アーカイブ、削除も選べます。
モニターを複製する方法はありますか?
モニターを複製する方法はありますか?
はい、モニターページの任意のモニターの三点リーダーメニューをクリックし、モニターの複製を選択します。同じメニューから編集、アーカイブ、削除も選べます。
モニターを下書きとして保存できますか?
モニターを下書きとして保存できますか?
いいえ、現時点ではできません。
モニターはワークスペースの全設定にアクセスできますか?
モニターはワークスペースの全設定にアクセスできますか?
いいえ、モニターは会話のトランスクリプトにのみアクセスできます。Knowledge base、Guidance、Tasks、Proceduresにはアクセスできません。例えば、モニターはFinが特定の記事にアクセスしたかどうかや、ガイダンスルールに基づいて会話が人間に引き継がれるべきかどうかを確認できません。
モニターの編集履歴や変更内容、編集者を確認できますか?
モニターの編集履歴や変更内容、編集者を確認できますか?
いいえ、現在UIでモニター編集の監査履歴は利用できません。
モニターダッシュボードのアクティビティビューでカスタム日付範囲を使用できますか?
モニターダッシュボードのアクティビティビューでカスタム日付範囲を使用できますか?
いいえ、利用可能な日付フィルターは過去7日間、過去8週間、過去6か月のみです。
モニターのレポートデータ用のAPIエンドポイントはありますか?
モニターのレポートデータ用のAPIエンドポイントはありますか?
いいえ、現時点ではありません。
会話と適格性
モニターに含める会話の最小長は?
モニターに含める会話の最小長は?
モニターに一致させるには、会話にFinからのメッセージが2件以上、顧客からのメッセージが2件以上含まれている必要があります。
同じ会話が複数のモニターに表示されることはありますか?
同じ会話が複数のモニターに表示されることはありますか?
はい。各モニターは独立したはい/いいえのチェックとして動作するため、複数のモニターの条件に一致する会話はそれぞれでフラグ付けされます。どのモニターからでも会話をクリックすると、その特定のモニターがなぜフラグを付けたかが正確に表示されます。
会話が評価されてから再度開かれた場合、再評価されますか?
会話が評価されてから再度開かれた場合、再評価されますか?
いいえ。会話はモニターごとに一度だけ評価されます。顧客が新しいメッセージを送って会話が再開された場合でも、同じモニターのバージョンでは再度一致や再評価はされません。元の評価のみが記録されます。
モニター作成時に過去の会話をバックフィルできますか?
モニター作成時に過去の会話をバックフィルできますか?
はい。モニターを初めて作成する際に、最大90日分の過去の会話をバックフィルできます。その後はモニターが新しい一致する会話を自動的にキャプチャし続けます。
モニターはFin Voiceに対応していますか?
モニターはFin Voiceに対応していますか?
いいえ。Fin Voiceは現在モニターでサポートされていません。
モニターはticketsを評価しますか?
モニターはticketsを評価しますか?
いいえ。顧客のticketsもトラッカーのticketsもモニターには一致しません。会話のみが対象です。
モニターのフラグ条件を更新した場合、既存の会話は削除されますか?
モニターのフラグ条件を更新した場合、既存の会話は削除されますか?
いいえ。以前のフラグ条件に一致した会話はモニターに残ります。更新後の設定に一致するのは今後の会話のみです。
会話がモニターに表示されるまでどのくらいかかりますか?
会話がモニターに表示されるまでどのくらいかかりますか?
会話は即座に表示されるはずです。ただし、会話数が多い場合、モニターダッシュボードの会話数の更新に数分かかることがあります。
会話が誤ってMonitorに表示されている場合、削除できますか?
会話が誤ってMonitorに表示されている場合、削除できますか?
いいえ。現在、Monitorから会話を手動で削除することはできません。
フラグ基準を設定していなくてもMonitorでテストを実行できますか?
フラグ基準を設定していなくてもMonitorでテストを実行できますか?
いいえ。フラグ基準が設定されている場合にのみ、Run testオプションが表示されます。
会話がフラグ基準に合致した理由、または合致しなかった理由を確認するにはどうすればよいですか?
会話がフラグ基準に合致した理由、または合致しなかった理由を確認するにはどうすればよいですか?
Monitorに移動し、Editをクリックして、Run testセクションを開きます。Test flag criteria on sample conversationsの下に会話IDを入力し、Addをクリックします。Monitorの結果が会話が合致した理由または合致しなかった理由を説明します。
スコアカードとスコアリング
Monitorを使用するにはスコアカードが必要ですか?
Monitorを使用するにはスコアカードが必要ですか?
いいえ、必要ありませんが、スコアカードがないとMonitorは会話にスコアを付けずにフラグを立てます。レビュアーは評価基準のない合致した会話を確認します。完全なQA workflowsには、Monitor設定時にスコアカードを添付してください。
異なるMonitorに異なるスコアカードを添付できますか?
異なるMonitorに異なるスコアカードを添付できますか?
はい。各Monitorは独自のスコアカードを持つことができるため、異なる種類の会話を異なる品質基準で評価できます。例えば、脆弱な顧客向けのMonitorは請求会話用のMonitorとは異なるスコアカードを使用するかもしれません。
複数のスコアカードでスコアカード基準を再利用できますか?
複数のスコアカードでスコアカード基準を再利用できますか?
はい。基準のタイトルと説明は再利用可能です。一度作成した基準は複数のスコアカードに追加できます。ただし、以前の評価スコアは再利用できず、各スコアカードで最初から設定する必要があります。
同じスコアカードでAIスコアと手動スコアの基準を混在させることはできますか?
同じスコアカードでAIスコアと手動スコアの基準を混在させることはできますか?
はい。基準ごとにAIか人間のレビュアーがスコアリングを担当するか選択できます。Auto-reviewが有効で、手動スコアが必要な基準がある場合、その会話はUnreviewedキューに表示されます。
基準をクリティカルとしてマークするとどうなりますか?
基準をクリティカルとしてマークするとどうなりますか?
クリティカル基準が不合格評価を受けると、他の基準のスコアに関係なく全体のレビュー得点は0%になります。これはすべての重みと合格閾値を上書きします。スコアなしの評価は不合格を引き起こしません。クリティカル基準はコンプライアンス要件、安全性や方針遵守、エスカレーション対応などの譲れない基準に有用です。
スコアカードの重みはどのように機能しますか?
スコアカードの重みはどのように機能しますか?
重みは互いに相対的であり、100のスケールに固定されていません。合計は任意の数値になり得ます。重要なのは各基準が占める割合です。例えば、合計50のうち25の重みを持つ基準は、合計100のうち50の重みを持つ基準と同じ貢献度です。重みはレビュー得点に含まれる基準にのみ適用されます。
AI生成のスコアは上書きできますか?
AI生成のスコアは上書きできますか?
はい。チームメンバーは不一致を見つけた場合、任意のAIスコアを手動で上書きできます。会話のScoreタブの評価をクリックして変更してください。
スコアカード基準を再利用する際、重みも再利用できますか?
スコアカード基準を再利用する際、重みも再利用できますか?
いいえ。名前と説明のみが引き継がれます。重みは常に最初から設定する必要があります。
スコアカード基準でN/Aを選択すると全体のスコアにどう影響しますか?
スコアカード基準でN/Aを選択すると全体のスコアにどう影響しますか?
その基準は重み付けから完全に除外されます。全体のスコアは残りのスコア付き基準のみで計算されます。
レビュー得点はどこで確認できますか?
レビュー得点はどこで確認できますか?
得点はMonitorの会話リスト(全体得点と個別基準評価を列で表示)および各会話のScoreタブで確認できます。
スコアカードをドラフトとして保存できますか?
スコアカードをドラフトとして保存できますか?
いいえ、現時点ではできません。
スコアカードが編集されたか、誰が編集したか確認できますか?
スコアカードが編集されたか、誰が編集したか確認できますか?
いいえ。スコアカード編集の監査履歴は現在利用できません。
Auto-review
Auto-reviewとは何ですか?
Auto-reviewとは何ですか?
Auto-reviewはスコアカードで有効にできる機能で、QAプロセス全体を自動化します。有効にすると、AIがスコアカードのすべての基準をスコアリングした場合、手動レビューは完全にスキップされます。会話は自動的にレビュー済みとマークされ、不合格や例外のみ人間の対応が必要です。
Auto-reviewはいつ手動レビューをスキップしますか?
Auto-reviewはいつ手動レビューをスキップしますか?
Auto-reviewはAIがスコアカードのすべての属性を自信を持ってスコアリングできる場合にのみ手動レビューをスキップします。人間のレビュアーが必要な属性やAIが自信を持ってスコアリングできない属性がある場合、その会話はUnreviewedキューに表示されます。
Auto-reviewが不合格スコアを検出した場合はどうなりますか?
Auto-reviewが不合格スコアを検出した場合はどうなりますか?
AIが不合格スコアを付けると、会話は自動的にReviewed + fix neededとマークされ、Follow-up actions neededキューにルーティングされます。手動レビューは不要です。必要に応じてチームメンバーがスコアを上書きできます。
Auto-reviewed会話のレビュアーステータスはどう表示されますか?
Auto-reviewed会話のレビュアーステータスはどう表示されますか?
レビュアーステータスはAuto-reviewedと表示されます。これらの会話はAIが不合格を検出したり自信を持ってスコアリングできない属性がない限り、手動のUnreviewedキューをバイパスします。
人間がAIのスコアを変更した場合、AIは将来のレビューに学習しますか?
人間がAIのスコアを変更した場合、AIは将来のレビューに学習しますか?
いいえ。現時点ではAIは人間の上書きから学習しません。
Monitorをオンにする前にテストできますか?
Monitorをオンにする前にテストできますか?
はい。強く推奨します。自然言語のフラグ基準を使用するMonitorでは、Test monitorツールを使って実際の会話に対して基準を検証してください。どの会話がフラグされるかを示し、不一致をハイライトして誤検知を減らせます。
フラグ基準を設定していなくてもテストを実行できますか?
フラグ基準を設定していなくてもテストを実行できますか?
いいえ。フラグ基準が設定されている場合にのみ、Run testオプションが表示されます。
会話がフラグ基準に合致した理由、または合致しなかった理由を確認するにはどうすればよいですか?
会話がフラグ基準に合致した理由、または合致しなかった理由を確認するにはどうすればよいですか?
Monitorに移動し、Editをクリックして、Run testセクションを開きます。Test flag criteria on sample conversationsの下に会話IDを入力し、Addをクリックします。Monitorの結果が会話が合致した理由または合致しなかった理由を説明します。
Monitorのレポートデータ用のAPIエンドポイントはありますか?
Monitorのレポートデータ用のAPIエンドポイントはありますか?
いいえ、現時点ではありません。
レビューとworkflows
QAレビューのステータスラベルは何を意味していますか?
QAレビューのステータスラベルは何を意味していますか?
各ステータスは会話がレビューworkflowのどこにあるかを示しています:
ラベル | 意味 |
未レビュー | まだレビューは行われていません |
レビュー済み | レビュー完了、対応不要 |
レビュー済み+修正必要 | レビュー完了、修正が必要です |
レビュー済み+修正しない | レビュー完了、問題は認識されましたが対応されません |
レビュー済み+修正済み | レビュー完了、修正が適用されました |
自分に割り当てられた会話はどうやって見つけますか?
自分に割り当てられた会話はどうやって見つけますか?
Monitorsページの未レビューの会話キューに移動します。そこから自分の名前でフィルターをかけると、すべてのモニターで自分に割り当てられた会話だけが表示されます。
会話を「レビュー済み+修正必要」とマークするとどうなりますか?
会話を「レビュー済み+修正必要」とマークするとどうなりますか?
会話は自動的に未レビューの会話キューからフォローアップアクションが必要キューに移動され、あなたのコンテンツまたはQAチームが対応できます。修正が適用されたら、ステータスをレビュー済み+修正済みに更新できます。
Scoreタブのメモでチームメイトにタグ付けできますか?
Scoreタブのメモでチームメイトにタグ付けできますか?
いいえ。Scoreノートでのチームメイトのタグ付けは現在サポートされていません。
権限とアクセス
Monitorsを使用するにはどの権限が必要ですか?
Monitorsを使用するにはどの権限が必要ですか?
ワークスペース管理者によって有効化される2つの権限が必要です:
FinとAutomation設定を表示できる — 会話のレビューや基準値の調整などの日常業務のため
レポートの作成、編集、社内共有ができる — モニターやスコアカードの作成、編集、削除などの設定アクセスのため
誰がモニターを作成・編集できますか?
誰がモニターを作成・編集できますか?
FinとAutomation設定を表示できるとレポートの作成、編集、社内共有ができるの両方の権限を持つチームメイトは、モニターとスコアカードの作成、編集、削除ができます。最初の権限のみを持つチームメイトは、会話のレビューや基準値の調整はできますが、モニターの作成や削除はできません。
