Monitorsは人間チームメイトのQAを行い、チームメイトの会話の質を大規模に評価・改善できます。どの会話をレビューするかを定義し、カスタムスコアカードを添付して評価し、レビュアーを割り当てます。すべて自動で行われます。

Monitorはレビューする会話を選択します。Scorecardは各会話の評価方法を定義します。例えば、正確さ、トーン、ポリシー遵守などの具体的な基準です。これらを組み合わせることで、チーム全体の会話品質を一貫してスケール可能に測定・改善できます。

人間エージェントQAの設定は2つのステップです:

Fin AI Agent > Analyze > Monitorsに移動し、Scorecardsをクリックします。

+ New scorecardをクリックして自分のスコアカードを作成します:

まず評価対象を選択します。Human teammates assignedをクリックし、特定のチームのチームメイトか個別のチームメイトを選びます。

次にスコアカードの基準を追加します。まず+ Criteria > Create newをクリックします。

新しい基準を作成する際は、以下の手順に従ってください:

基準に短く明確な名前を付けます（例：SentimentやAnswer accuracy）。この名前はレポートに表示され、参照用に使われます。

基準が何をチェックし、どのように評価されるかを明確に説明します。この説明はAIが基準を評価するためのプロンプトであり、正確であればあるほどAIは会話を正確に評価できます。また、人間のレビュアーが同じ基準を一貫して適用するのにも役立ちます。

基準をAIで自動評価するか、人間のレビュアーが手動で評価するかを決めます。同じスコアカード内でAI評価と人間評価を混在させることも可能です。

レビュアーやAIが選択できる評価値を追加します（例：Good、Okay、Poor）。各基準には最低2つの評価オプションが必要です。各評価オプションについては:

割り当てたスコアは、その評価が全体のレビュー得点にどのように寄与するかを決定します。

各評価オプションに対して、特定のスコアが付けられた理由を説明する評価理由のリストを定義できます。評価理由はレビュアーやAIがスコアを一貫して分類するのに役立ち、会話全体のパターンを特定しやすくします。

AIが基準を評価する際、該当する場合は最も関連性の高い事前定義された理由を自動的に選択します。該当する理由がない場合は、AIが明確な説明を生成し、すべてのスコアに意味のある文脈を提供します。

Auto-review scorecardをオンにすると、スコアカードのQAプロセス全体を自動化できます。

有効にすると:

スコアカードの基準を追加した後、全体のレビュー結果にどのように影響するかを設定します。

基準をCriticalとしてマークできます。重要な基準が不合格評価を受けた場合、他の基準の評価に関わらずレビュー全体が不合格となります:

Critical基準は、コンプライアンス要件、安全性やポリシー遵守、エスカレーション対応などの譲れない基準に役立ちます。

各基準には相対的重要度を定義するweightを割り当てられます。

重みはレビュー得点に含まれる基準にのみ適用されます。正確さが速度より重要な場合は、正確さに高い重みを付けるなど、重要なものを反映するために重みを使います。

合格基準を定義できます。これはレビューが合格と見なされるために必要な最低総合スコアです。例えば、合格基準が80%の場合、80%未満のスコアのレビューは不合格とマークされます。

これは加重スコアリング後に評価され、重要な基準がすでにレビューに失敗していない場合に適用されます。

3つの基準が最終スコアにどのように組み合わされるかの例を示します。

総合スコア = (100x60 + 50x30 + 100x10) / (60+30+10) = 85%

モニターはどの会話をレビューするかを定義します。基準を設定し、レビュアーを選び、品質評価用のスコアカードを添付します。稼働後はモニターが自動で実行され、チームが対応すべき一致した会話を表示します。

人間の会話を評価するモニターを最大限に活用するには、少なくとも1つのスコアカードが必要です。

モニターにアクセスするには、Fin AI Agent > Analyze > Monitorsに移動します。+ Monitorをクリックして開始します。Finモニター、Teammateモニター、またはGeneralモニターのテンプレートも選択可能です。

モニターに名前を付け、会話の評価方法を選択します。ここで作成したスコアカードをリンクして人間のエージェントを評価できます。

モニターにスコアカードを関連付けると、定義された基準に基づいて一致したすべての会話が自動的に評価されます。選択されると、会話がモニターに追加されるとすぐにスコアカードが実行され、結果がモニターに表示されて報告およびレビューに使われます。

ここでレビュアーも選択できます。モニターに一致するすべての会話は選択されたレビュアーに自動的に割り当てられ、手動の調整なしにレビューが一貫してルーティングされます。

モニターは以下を対象にできます:

以下を使って会話を絞り込めます:

モニターの実行方法を選択:

Monitorが会話の評価を開始する日時を選択します。これにより、特定の時点から過去の会話のQAを実行し、その日以降の新しい一致する会話を継続的に表示できます。

会話は、人間のエージェントQA Monitorによる評価前にクローズされている必要があります。

会話はさまざまなビューからレビューおよび提出できます。

すべてのビューで：

レビューにアクセスして提出する方法はいくつかあります。MonitorをクリックするとそのMonitorに関連するすべてのレビューが表示され、InboxページではAssigned to meをクリックすると担当しているすべてのレビューを直接表示できます。

またはReviews receivedをクリックすると、レビュー対象のチームメイトとして提出されたすべてのレビューを直接表示できます。

レビューを完了するには：

Monitorレポートは会話の品質を追跡・測定するのに役立ちます。これらの指標を使って品質の傾向を示し、改善点を特定するレポートを作成できます。

すべてのMonitor指標はカスタムレポートビルダーで利用可能で、他のIntercomデータと組み合わせて会話品質のカスタマイズビューを作成できます。

Monitor指標を使ってカスタムレポートを作成するには、Reports > + New report > Create your ownに移動し、Monitorsカテゴリから必要な指標を選択します。スコアカード、期間、その他の属性でフィルターして、チームに最も関連するセグメントに絞り込めます。

スコアカード評価基準は、指標を分類またはフィルターするための定性的データポイントです。

スコアカードとモニターを編集し、会話にスコアを付けるには、チームメイトは両方の権限が必要です。

両方の権限を持たないチームメイトは人間のQAモニターを見られず、自分の作業のレビューのみReviews receivedビューで確認できます。自分のレビューに対してAI採点基準を上書きすることはできません。

複数参加者がいる会話（例：Finが会話を開始し、チームメイトが終了する場合や複数のチームメイトが関与する場合）では、スコアカードはスコアカード設定時に顧客が指定した参加者の個別貢献を反映します。

モニターとカスタムスコアカードは会話品質のレビューを支援するためのものであり、雇用目的で個々のチームメイトのパフォーマンスを評価するためのものではありません。顧客は適切な人間のレビューなしにAI評価されたカスタムスコアカードだけに依存して人間エージェントの雇用関連の決定を行うことは許されません。これはFinのAI製品利用規約および許容使用ポリシーに反します。

モニターとカスタムスコアカードが人間エージェントの会話で使用される場合、顧客はすべての適用法令（データ保護やAI透明性義務を含む）を遵守する責任を負います。