この記事では、Evalsの検索、フィルタリング、タグ付け、新しいEvalの作成、Evalsの整理、CSV（comma-separated values）ファイルからのSimulationsのインポート、Scorecardの追加、FinのEvals全体でのパフォーマンス確認方法を説明します。

Evalsページにはワークスペース内のすべてのEvalが一覧表示され、各テストグループのパフォーマンスを確認し、再実行できます。Evalはテーマ別のテストグループで、その中の各テストはSimulationと呼ばれます。ページを開くには、Fin AI Agent > Test > Evalsに移動してください。

Evalsテーブルには以下の列があります：

Evalsを整理するには、ビジネスに合ったテーマでSimulationsをEvalsにグループ化します。多くのチームはまだ機能していない部分から始め、そこから拡張します。一般的な出発点は以下の通りです：

時間をかけて、最も重要な会話をカバーする「ゴールデンセット」として1つまたは複数のEvalsを構築します。ゴールデンセットは定期的に（例えば週次やFinの設定変更時に）再実行し、重要なシナリオが機能していることを確認します。

名前でEvalを見つけるには、Evalsページ上部のSearch evalsボックスに入力します。リストを絞り込むには、Add Filterをクリックし、ResultまたはTagを選択します。

Evalを作成するには、手動で作成するか、CSV（comma-separated values）ファイルから顧客シナリオのリストをインポートするかを選択します。

各Evalには最大50のSimulationsを格納できます。CSVファイルからのインポートについてはCSVファイルからSimulationsをインポートする方法を参照してください。Eval内のSimulationsの設定についてはSet up Simulations for Evalsを参照してください。

CSVファイルからSimulationsをインポートするには、EvalsページまたはEval内からアップロードします。各行が1つのSimulationになり、保存前にすべての列の一致を確認します。インポートには、Fin AI Agent & AutomationのCan view configuration and propose changes in a draft releaseまたはCan view configuration and publish changes directly to main (individually or in a release)の権限が必要です。

新しいEvalにインポートするには、Fin AI Agent > Test > Evalsに移動し、New evalをクリックしてUpload a CSVを選択します。既存のEvalにSimulationsを追加するには、そのEvalを開き、オプションメニュー（...）からImport CSVを選択し、Import toでそのEvalを選びます。

CSVインポートで5つのSimulationフィールドを埋められます。必須はOpening messageのみです。

既成のファイルから開始するには、CSVファイルをアップロードダイアログのテンプレートをダウンロードをクリックしてください。テンプレートには5つのフィールドそれぞれの列があります。

列ヘッダーはテンプレートと完全に一致する必要はありません。question、prompt、persona、outcome、ground truth のような一般的な名前は自動的に認識されます。カンマ、セミコロン、タブ区切りのファイルすべて対応しています。

各シミュレーションフィールドは1つの列に一致し、使用しない列は未使用にリストされ無視されます。期待される回答が1,000文字を超える場合、どうするか尋ねられます：除外する（デフォルト）はその回答なしで行をインポート、1,000文字に切り詰めるは回答の最初を保持、これらの行をスキップは行全体を除外します。

Finが認識しないChannelやHandoffの値（例：WhatsAppやYes）があると、そのフィールドに警告が表示されます。

また、行をスキップを選択してそれらの行をインポートから除外することもできます。放置した値はChannelはMessenger、HandoffはNo handoffがデフォルトになります。

インポート後、何件のシミュレーションが作成されたかの確認が表示されます。各行は評価内に、開始メッセージ名のシミュレーションとして表示され、すべて実行をクリックできます。インポートされたシミュレーションはテスト顧客とすべてのブランドを使用するため、特定の顧客を選ぶにはシミュレーションを開いてください。タグはCSVファイルではなく評価に追加されます。リリース内でインポートすると、そのリリースにシミュレーションが追加されます。

行数が既存の評価のシミュレーション数を50以上にする場合、何件まで追加できるか表示され、最初の[number]件をインポートを選択してその分だけインポートできます。インポート時に行が拒否されると保存されません。問題のある行は理由とともにリストされ、これらの行を除いてインポートを選択して残りをインポートできます。

タグは関連する評価をグループ化し、スイートが増えてもすぐに見つけられるようにします。例えば、トピック（Refunds）、チームや担当者（Billing team）、テストの種類（Regression、Escalation）、言語（French）でタグ付けできます。評価は必要なだけタグを持てます。

タグを表示・作成するには、評価ページ右上のタグをクリックします。タグパネルには各タグと使用中の評価数が表示され、タグ検索ボックスでタグを探せます。

タグの名前を変更または削除するには、Evalsページの上部にあるTagsをクリックするか、タグピッカーでManage tagsを選択します。パネルには各タグを使用しているEvalsの数が表示されます。タグを削除すると、リリース内のEvalsを含むすべてのEvalからそのタグが削除されます。

Scorecardは、合否チェックに加えてClarificationやEfficiencyなどの品質スコアリングをEvalに追加します。追加するには、Evalを開き、右上のNew simulationの隣にあるAdd scorecardをクリックします。追加後、Simulation resultsの隣にQuality evaluationセクションが表示されます。

Scorecardの作成、基準の追加、各基準のスコア重み付けとCritical設定の方法については、EvalにScorecardを追加する方法をご覧ください。

すべてのEvalsでのFinのパフォーマンスを見るには、Fin AI Agent > Test > Evalsの上部にある概要を確認してください。これは各Simulationが最後に実行された時点を反映し、2つの部分で構成されています。

概要は検索やフィルターに応じて更新されるため、タグでフィルターするとそのタグが付いたEvalsの結果のみが表示されます。

以前の実行結果を比較するには、Simulationを開き、その結果の横にある実行履歴ドロップダウンをクリックします。日付ごとに各実行結果が一覧表示されます。