Monitorsは人間チームメイトのQAを行い、チームメイトの会話の質を大規模に評価・改善できます。どの会話をレビューするかを定義し、カスタムスコアカードを添付して評価し、レビュアーを割り当てます。すべて自動で行われます。

Monitorはレビューする会話を選択します。Scorecardは各会話の評価方法を定義します。例えば、正確さ、トーン、ポリシー遵守などの具体的な基準です。これらにより、チーム全体の会話品質を一貫してスケール可能に測定・改善できます。

人間エージェントQAの設定は2つのステップです：

Fin AI Agent > Analyze > Monitorsに移動し、Scorecardsをクリックします。

+ New scorecardをクリックして自分のスコアカードを作成します：

まず評価対象を選択します。Human teammates assignedをクリックし、特定のチームのチームメイトか個別のチームメイトを選びます。

次にスコアカードの基準を追加します。まず+ Criteria > Create newをクリックします。

新しい基準を作成するときは、以下のステップを進めます：

基準に短く明確な名前を付けます（例：SentimentやAnswer accuracy）。この名前はレポートに表示され、参照用に使われます。

基準が何をチェックし、どのように評価されるかを明確に説明します。この説明はAIが基準を評価するためのプロンプトで、正確であればあるほどAIは会話を正確に評価します。また、人間のレビュアーが同じ基準を一貫して適用するのにも役立ちます。

基準をAIで自動評価するか、人間のレビュアーが手動で評価するかを決めます。同じスコアカード内でAI評価と人間評価を混在させることも可能です。

レビュアーやAIが選択できる評価値を追加します（例：Good、Okay、Poor）。各基準には最低2つの評価オプションが必要です。各評価オプションについて：

割り当てたスコアは、その評価が全体のレビュー得点にどう影響するかを決定します。

各評価オプションに対して、特定のスコアが付けられた理由を説明する評価理由のリストを定義できます。評価理由はレビュアーやAIがスコアを一貫して分類するのに役立ち、会話全体のパターンを特定しやすくします。

AIが基準を評価するとき、該当する場合は最も関連性の高い事前定義された理由を自動で選択します。該当する理由がなければ、AIは明確な説明を生成し、すべてのスコアに意味のある文脈を提供します。

Auto-review scorecardをオンにすると、スコアカードのQAプロセス全体を自動化できます。

有効にすると：

スコアカードの基準を追加した後、全体のレビュー結果にどう影響するかを設定します。

基準をCriticalとしてマークできます。重要な基準が不合格評価を受けた場合、他の基準の評価に関わらずレビュー全体が不合格となります：

Criticalな基準は、コンプライアンス要件、安全性やポリシー遵守、エスカレーション対応などの譲れない基準に役立ちます。

各基準には相対的重要度を定義するweightを割り当てられます。

重みはレビュー得点に含まれる基準にのみ適用されます。重要度を反映するために重みを使います。例えば、正確さが速度より重要なら、正確さに高い重みを付けます。

合格基準を定義できます。これはレビューが合格と見なされるために必要な最低総合スコアです。例えば、合格基準が80%の場合、80%未満のスコアのレビューは不合格とマークされます。

これは重み付けスコアリング後に評価され、重要な基準がすでにレビューに失敗していない場合に適用されます。

3つの基準が最終スコアにどのように組み合わされるかの例を示します。

総合スコア = (100x60 + 50x30 + 100x10) / (60+30+10) = 85%

モニターはどの会話をレビューするかを定義します。基準を設定し、レビュアーを選び、品質評価用のスコアカードを添付します。稼働後はモニターが自動的に動作し、チームが対応すべき一致する会話を表示します。

人間の会話を評価するモニターを最大限に活用するには、少なくとも1つのスコアカードが必要です。

モニターにアクセスするには、Fin AI Agent > Analyze > Monitorsに移動します。+ Monitorをクリックして開始します。Finモニター、Teammateモニター、Generalモニターのテンプレートも選択可能です。

モニターに名前を付け、会話の評価方法を選択します。ここで作成したスコアカードをリンクして人間のエージェントを評価できます。

モニターにスコアカードを関連付けると、定義された基準に基づいて一致したすべての会話が自動的に評価されます。選択されると、会話がモニターに追加されるとすぐにスコアカードが実行され、結果がモニターに表示されて報告およびレビューに使われます。

ここでレビュアーも選択できます。モニターに一致するすべての会話は自動的に選択されたレビュアーに割り当てられ、レビューは手動調整なしで一貫してルーティングされます。

モニターは以下を対象にできます:

会話を絞り込むには以下を使えます:

モニターの実行方法を選択:

Monitorが会話の評価を開始する日時を選択します。これにより、特定の時点から過去の会話に対してQAを実行し、その日以降の新しい一致する会話を継続的に表示できます。

会話は、人間のエージェントQA Monitorによる評価を受ける前にクローズされている必要があります。

会話はさまざまなビューからレビューおよび提出できます。

すべてのビューで：

レビューにアクセスして提出する方法はいくつかあります。Monitorをクリックすると、そのMonitorに関連するすべてのレビューを表示できます。またInboxページでAssigned to meをクリックすると、担当しているすべてのレビューを直接表示できます。

またはReviews receivedをクリックすると、レビュー対象のチームメイトとして提出されたすべてのレビューを直接表示できます。

レビューを完了するには：

Monitorレポートは会話の品質を追跡・測定するのに役立ちます。これらの指標を使って、品質の傾向を強調し、改善点を特定するレポートを作成できます。

すべてのMonitor指標はカスタムレポートビルダーで利用可能で、他のIntercomデータと組み合わせて会話品質のカスタマイズビューを作成できます。

Monitor指標を使ってカスタムレポートを作成するには、Reports > + New report > Create your ownに移動し、Monitorsカテゴリから必要な指標を選択します。スコアカード、期間、その他の属性でフィルターして、チームに最も関連するセグメントに絞り込めます。

スコアカード基準評価は、指標を分類またはフィルターするための定性的データポイントです。

スコアカードとモニターを編集し、会話にスコアを付けるには、チームメイトは両方の権限が必要です。

両方の権限を持たないチームメイトは人間のQAモニターを見ることができず、自分の作業のレビューのみをReviews receivedビューで見ることができます。自分のレビューに対してAIスコア基準を上書きすることはできません。