Monitorsは人間チームメイトのQAを行い、チームメイトの会話の質を大規模に評価・改善できます。どの会話をレビューするかを定義し、カスタムスコアカードを添付して評価し、レビュアーを割り当てます。すべて自動で行われます。

Monitorはレビューする会話を選択します。Scorecardは各会話を評価する方法を定義します。例えば、正確さ、トーン、ポリシー遵守などの具体的な基準です。これらを組み合わせることで、チーム全体の会話品質を一貫してスケール可能に測定・改善できます。

人間エージェントQAの設定は2つのステップです：

Fin AI Agent > Analyze > Monitorsに移動し、Scorecardsをクリックします。

+ New scorecardをクリックして自分のスコアカードを作成します：

まず評価対象を選択します。Human teammates assignedをクリックし、特定のチームのチームメイトか個別のチームメイトを選びます。

次にIf multiple teammates reply, reviewを使って、複数のチームメイトが返信した場合にどのチームメイトをレビューするか選択します：

新しいスコアカードはMost active teammateから始まります。

次にスコアカードの基準を追加します。まず+ Criteria > Create newをクリックします。

新しい基準を作成するときは、以下のステップを進めます：

基準に短く明確な名前を付けます（例：SentimentやAnswer accuracy）。この名前はレポートに表示され、参照用に使われます。

基準が何をチェックし、どのように評価されるかを明確に説明します。この説明はAIが基準を評価するためのプロンプトであり、正確であればあるほどAIは会話を正確に評価します。また、人間のレビュアーが同じ基準を一貫して適用するのにも役立ちます。

基準をAIで自動評価するか、人間のレビュアーが手動で評価するかを決めます。同じスコアカード内でAI評価と人間評価を混在させることも可能です。

レビュアーやAIが選択できる評価値を追加します（例：Good、Okay、Poor）。各基準には最低2つの評価オプションが必要です。各評価オプションについて：

割り当てたスコアは、その評価が全体のレビュー得点にどのように寄与するかを決定します。

各評価オプションに対して、特定のスコアが付けられた理由を説明する評価理由のリストを定義できます。評価理由はレビュアーやAIがスコアを一貫して分類するのに役立ち、会話全体のパターンを特定しやすくします。

AIが基準を評価するとき、該当する場合は最も関連性の高い事前定義された理由を自動で選択します。適切な理由がない場合は、AIが明確な説明を生成し、すべてのスコアに意味のある文脈を提供します。

Auto-review scorecardをオンにすると、スコアカードのQAプロセス全体を自動化できます。

有効にすると：

スコアカードの基準を追加した後、それらが全体のレビュー結果にどのように影響するかを設定します。

基準をCriticalとしてマークできます。Criticalな基準が不合格評価を受けると、他の基準の評価に関わらずレビュー全体が不合格とマークされます：

Criticalな基準は、コンプライアンス要件、安全性やポリシー遵守、エスカレーション対応などの譲れない基準に役立ちます。

各基準には、その相対的重要性を定義するためにweightを割り当てることができます。

Weightsはレビュー得点に含まれる基準にのみ適用されます。重要なものを反映するためにweightsを使用してください。例えば、正確さが速度より重要な場合は、EfficiencyよりAccuracyに高いweightを付けます。

合格基準を定義できます。これはレビューが合格と見なされるために必要な最低の全体得点です。例えば、合格基準が80%の場合、80%未満の得点は不合格とマークされます。

これは重み付けされた得点の後に評価され、重大な基準がすでにレビューに失敗していない場合に適用されます。

3つの基準が最終得点にどのように組み合わされるかの例を示します：

全体得点 = (100x60 + 50x30 + 100x10) / (60+30+10) = 85%

モニターはどの会話をレビューするかを定義します。基準を設定し、レビュアーを選び、品質評価用のスコアカードを添付します。ライブになると、モニターは自動的に実行され、チームが対応すべき一致する会話を表示します。

人間の会話を評価するモニターを最大限に活用するには、少なくとも1つのscorecardが必要です。

モニターにアクセスするには、Fin AI Agent > Analyze > Monitorsに移動します。+ Monitorをクリックして開始します。Finモニター、Teammateモニター、またはGeneralモニターのテンプレートも選択できます。

モニターに名前を付け、会話の評価方法を選択します。ここで、人間のエージェントを評価するために作成したscorecardをリンクできます：

モニターにscorecardを関連付けることで、一致したすべての会話を定義された基準に基づいて自動的に評価します。選択されると、会話がモニターに追加されるとすぐにscorecardが実行され、結果がモニターに表示されて報告およびレビューが可能になります。

ここでレビュアーも選択できます。モニターに一致するすべての会話は自動的に選択されたレビュアーに割り当てられるため、レビューは手動の調整なしに一貫してルーティングされます。

モニターは以下を対象にできます：

会話を絞り込むには以下を使用できます：

Monitorの実行方法を選択してください:

Monitorが会話の評価を開始する日時を選択してください。これにより、特定の時点から過去の会話のQAを実行し、その日以降の新しい一致する会話も継続的に表示できます。

会話は、人間のエージェントQA Monitorによって評価される前に終了している必要があります。

会話はさまざまなビューからレビューおよび提出できます。

すべてのビューで:

レビューにアクセスして提出する方法はいくつかあります。Monitorをクリックすると、そのMonitorに関連するすべてのレビューが表示されます。またInboxページでAssigned to meをクリックすると、担当しているすべてのレビューを直接表示できます。

またはReviews receivedをクリックすると、レビュー対象のチームメンバーとして提出されたすべてのレビューを直接表示できます。

レビューを完了するには:

Monitorレポートは会話の品質を追跡・測定するのに役立ちます。これらの指標を使って、品質の傾向を強調し、改善点を特定するレポートを作成できます。

すべてのMonitor指標はカスタムレポートビルダーで利用可能で、他のIntercomデータと組み合わせて会話品質のカスタマイズビューを作成できます。

Monitor指標を使ってカスタムレポートを作成するには、Reports > + New report > Create your own に移動し、Monitorsカテゴリから必要な指標を選択します。スコアカード、期間、その他の属性でフィルターして、チームに最も関連するセグメントに絞り込めます。

スコアカード基準評価は、指標を分類またはフィルターするための定性的データポイントです。

人間のチームメイトQAの権限は新しいEvaluationsセクション（Settings > Workspace > Teammates > Evaluations）にあり、ReportsやFin AI AgentおよびAutomation設定のアクセスとは別です。

レビューアクセスは常に会話アクセスに従います。つまり、チームメイトはすでにアクセス権のある会話のレビューのみアクセス可能です。いくつかのルールが全員に適用されます：チームメイトは常に自分の作業のレビューを見られます；チームメイトは自分の作業をレビューできません；特定のレビュアーに割り当てられたレビューは、そのレビュアーのみが完了できます（ただし他のチームメイトのレビューにアクセス可能権限がある場合を除く）；レビュアーが割り当てられていないモニターは、会話にアクセスできる任意のチームメイトが対応できるオープンキューとして機能します。

複数参加者が関わる会話（例：Finが会話を開始し、チームメイトが終了する、または複数のチームメイトが関与する場合）では、スコアカードはカスタマーがスコアカード設定時に指定した参加者の個別貢献を反映します。

モニターとカスタムスコアカードは会話品質レビューを支援するために設計されており、雇用目的で個々のチームメイトのパフォーマンスを評価するものではありません。カスタマーは適切な人間のレビューなしにAI評価されたカスタムスコアカードのみに依存して人間エージェントの雇用関連の決定に重大な影響を与えることは許されません。このような使用はFinのAI製品利用規約および許容使用ポリシーに反します。

モニターとカスタムスコアカードが人間エージェントの会話で使用される場合、カスタマーはすべての適用法規、データ保護およびAI透明性義務を含む遵守を単独で責任を負います。