この記事を使ってEvalにスコアカードを追加し、新しいスコアカードを作成し、基準を追加し、各基準の重み付けとCritical設定を行います。

スコアカードは、合格/不合格チェックに加えて、ClarificationやEfficiencyなどの品質評価をEvalに追加します。Evalにスコアカードがない場合、Simulation結果のみが表示され、品質評価はありません。スコアカードはEval内のすべてのSimulationに適用され、各Simulationで同じ基準が使われます。

スコアカードを追加すると、Evalの上部にQuality evaluationセクションがSimulation resultsの隣に表示されます。表示される基準は追加したスコアカードからのもので、そのスコアカードに含まれる基準が一覧表示されます。全体のReview scoreと各基準の平均が表示されます。シミュレーション会話のリストにもReview score列と各基準の列が追加されます。

既存のEvalのEval settingsからもスコアカードを追加できます。既存のEvalでEval settingsを開くには、New simulationの隣にあるオプションメニュー（...）をクリックし、Edit evalを選択します。Eval settingsでQuality evaluationのドロップダウンを開き、既存のスコアカードを選択するか、Create new scorecardをクリックします。デフォルトはNo scorecardです。

Eval用のスコアカードを作成するには、名前を付けてFinが評価される基準を追加します。Evalスコアカードは常にFinを評価するため、Who's evaluated設定はFin AI Agentに固定されており、Human teammates assignedは利用できません。

基準にスコアを追加すると、Review score（％）セクションに加重平均が表示されます。これは各基準のスコア（％）に重みを掛けて合計し、総重みで割って計算されます。それまではNot scoredと表示されます。

Auto-review scorecardトグルは、すべての基準がAI評価を使用している場合にのみ利用可能です。

Evalsはすべての基準をAIで自動的にスコアリングし、基準の説明とSimulationのトランスクリプト（イベントを除くすべてのメッセージ）を使用します。Score manuallyは利用できません。なぜならSimulationには人間のレビュアーがいないためです。Finのコンテンツ、手順、ガイダンスはまだAIレビュアーのコンテキストとして利用できません。

Evaluation criteriaテーブルでは、各基準にScore weightingとCritical設定があります。

Finが単一の会話でどのようにスコアされたかを見るには、スコアカード付きのEvalからSimulationを開きます。HandoffチェックやSimulationチェックと並んで、SimulationはReview scoreと各基準に対してLLM（大規模言語モデル）判定者が付けた評価を表示します。基準でRating reasonsがオンの場合、判定者の理由も表示され、なぜその回答がそのスコアになったかがわかり、修正に役立ちます。