カスタムスコアカードは、精度、トーン、ポリシー遵守など、重要な基準を明確に設定することで、チームにとっての「良い状態」を定義します。スコアカードはモニターと連携して機能します。モニターはどの会話をレビューするかを定義し、スコアカードは各会話の評価方法を定義します。

異なるモニターごとに複数のスコアカードを持つことができます。モニター設定画面から、どのスコアカードをモニターに関連付けるか選択してください。

注意: スコアカードはProアドオンの一部として利用可能です。

スコアカードを作成するには

Fin AI Agent > 分析 > モニターに移動し、スコアカードをクリックします。既成のFin Quality Scorecardを使用するか、+ 新しいスコアカードをクリックして独自のスコアカードを作成できます。

新しいスコアカード基準を作成する

まずスコアカード基準を追加します。新しいスコアカード > + 基準 > 新規作成をクリックしてください。

新しい属性を作成する際は、以下の手順に従ってください。

1. 基準に名前を付ける

基準には短く明確な名前を付けてください（例：SentimentやAnswer accuracy）。この名前はレポートに表示され、参照用に使われます。

2. 評価内容を説明する

基準が何をチェックし、どのように評価されるかを明確に説明してください。この説明はAIが基準を評価する際の指示となり、正確であればあるほどAIの評価も正確になります。また、人間のレビュアーが一貫して同じ基準を適用するのにも役立ちます。

ヒント: 効果的な説明文の作成方法については、効果的なモニターおよびスコアカード基準の書き方をご覧ください。

3. 基準の評価方法を選択する

基準をAIによる自動評価にするか、人間のレビュアーによる手動評価にするかを決めてください。同じスコアカード内でAI評価と人間評価を混在させることも可能です。

注意: スコアカード基準のタイトルと説明は再利用可能です。一度作成した属性は複数のスコアカードに追加できます。過去の評価スコアは再利用できず、各スコアカードで新たに設定する必要があります。

4. 評価オプションを定義する

レビュアーやAIが選択できる評価値を追加します（例：Good、Okay、Poor）。各属性には最低2つの評価オプションが必要です。各評価オプションについて、以下を行います。

評価名を付ける（短く明確に）
選択される条件を説明する
スコアを割り当てる（例：100%、50%、0%）か、評価なしとしてマークする

割り当てたスコアは、その評価が全体のレビュー得点にどのように寄与するかを決定します。

4b. 評価理由を定義する（任意）

各評価オプションに対して、特定のスコアが付けられた理由を説明する評価理由のリストを定義できます。評価理由はレビュアーやAIがスコアを一貫して分類するのに役立ち、会話全体のパターンを特定しやすくします。

AIが基準を評価する際、該当する場合は最も関連性の高い事前定義された理由を自動的に選択します。該当する理由がない場合は、AIが明確な説明を生成し、すべてのスコアに意味のある文脈を提供します。

5. レビュー得点に含めるか選択する

レビュー得点に含めるをオンまたはオフに切り替えられます。

オンにすると、この属性は全体のレビュー得点に寄与します。
オフにすると、この属性は分析とレポート用に記録されますが、全体の得点には影響しません。

この例では、エスカレーションの容易さを評価するスコアカード属性が作成されています。

6. 自動レビューを有効にする（任意）

自動レビュースコアカードをオンにすると、スコアカードのQAプロセス全体を自動化できます。

オンにすると:

スコアカード内のすべての基準がAI評価される場合、手動レビューのステップは完全にスキップされます。
AIが不合格スコアを付けた場合、会話は自動的にレビュー済み＋修正必要としてマークされ、フォローアップアクションが必要なキューに送られます。
チームメンバーは、もし不一致を見つけた場合、AIのスコアを手動で上書きすることも可能です。

ヒント: 自動レビューはすべての基準がAI評価されるスコアカードで最も効果的です。人間の評価が必要な基準がある場合、その会話は未レビューキューに表示され続けます。

スコアカードを設定する

スコアカード基準を追加した後、全体のレビュー結果にどのように影響するかを設定します。

スコアカード基準を重要としてマークする

基準を重要としてマークできます。重要な基準が不合格評価を受けると、レビュー全体が不合格になります。

全体のレビュー得点は0%になります。
これはすべての重み付けを上書きします。
評価なしの評価は基準を全体得点から除外し、不合格を引き起こしません。

重要な基準は、コンプライアンス要件、安全性、ポリシー遵守、エスカレーション対応など、譲れない基準に役立ちます。

スコアカード基準の重み付け

各基準には相対的重要度を定義する重みを割り当てられます。

重みは0から100の整数でなければなりません。
重みが高いほど、その基準が全体のレビュー得点に与える影響が大きくなります。

重みはレビュー得点に含まれる基準にのみ適用されます。重要度を反映するために重みを使いましょう。例えば、正確さが速度より重要な場合は、正確さに高い重みを付けます。

注意: 重みは互いに相対的であり、100のスケールに固定されているわけではありません。合計は任意の数値になり得ます。重要なのは各基準が占める割合です。例えば、合計50のうち25の重みを持つ基準は、合計100のうち50の重みを持つ基準と同じ寄与をします。

合格基準の追加

合格基準を定義できます。これはレビューが合格と見なされるために必要な最低総合得点です。例えば、合格基準が80%の場合、80%未満のレビューは不合格とマークされます。

これは重み付けスコアリング後に評価され、重要な基準が既に不合格でない場合に適用されます。

全体のレビュー得点の仕組み

各基準は定義された評価オプションを使って評価されます。
評価は割り当てられたスコアに寄与します（評価なしの場合は除外されます）。
含まれる基準は割り当てられた重みを使って組み合わされます。
重要な基準が不合格評価を受けた場合、全体のレビュー得点は0%になります。
最終得点は合格基準と比較され、レビューが合格か不合格かが決まります。

以下は3つの基準が最終得点にどのように組み合わされるかの例です。

基準	選択された評価	評価スコア	重み
Accuracy	Good	100%	60
Tone	Okay	50%	30
Efficiency	Good	100%	10

全体得点 = (100x60 + 50x30 + 100x10) / (60+30+10) = 85%

スコアの確認場所

レビューが完了すると、スコアは会話リストと各会話内の両方で確認できます。

モニターでは、会話リストに全体のレビュー得点（パーセンテージまたはFail）と個別の基準評価が列として表示されます。これにより、会話全体のパフォーマンスを簡単に確認し、不合格や低得点を見つけやすくなります。

会話を開いてスコアタブに移動すると、割り当てられたスコアカード、レビュー状況、全体得点、各基準の選択評価が確認できます。このビューは最終得点の決定方法を正確に示します。FinがAIで基準を評価した場合、スコアタブの評価にカーソルを合わせると、選択された評価、基準の説明、Finの評価理由がツールチップで一度に表示されます。