Evalsを使ってリアルなテスト会話を作成し、Finの設定に対して実行し、変更が実際の顧客に届く前に自動で合否結果を得ます。変更を加えるたびに同じテストを再実行し、Finが期待通りに動作するか確認してください。
Evalsは2つの概念を中心に構成されています：
Evalsは「返金リクエスト」「エスカレーションシナリオ」「トーンと親しみやすさ」などのテーマ別テストグループです。
SimulationsはEval内の個別テストです。それぞれはシミュレートされた顧客とFinとのリアルなマルチターン会話で、Finの動作が評価基準に対して採点されます。
Evalを実行すると、その中のすべてのSimulationが自動的に実行され、合否結果が得られます。LLM（大規模言語モデル）ジャッジが設定したチェックに基づいて各Simulationを採点します。
注意： Evalsの作成、編集、実行には、Fin AI Agent & Automationの下でCan view configuration and propose changes in a draft releaseまたはCan view configuration and publish changes directly to main (individually or in a release)の権限が必要です。Can view configurationの権限を持つチームメンバーはEvalsとその結果を閲覧できます。
Evalsの始め方：
Evalsの管理方法：Evalsの検索、フィルター、タグ付け、作成、CSVファイルからのSimulationsのインポート。
Evals用Simulationsの設定方法：シミュレート顧客の選択、Finが見るデータ、Finの採点基準の設定、または実際の会話からSimulationを作成。
Evalsの実行方法と結果の読み方：Simulationsの実行、各結果の理解、他言語でのテスト。
Evalへのスコアカード追加方法：Finの回答の質をスコアリングし、合否も評価。
OperatorでのEvals作成と実行：OperatorにEvalsの作成、実行、分析、スケジュールを任せる。
いつEvalsを使うべきか？
Finの動作に自信を持ちたいときはいつでもEvalを使ってください：
変更を出荷する前に： Finの設定内のコンテンツ、ガイダンス、Procedures、その他すべてに対して。
リリース作業中に： リリース内の変更をまとめてテストし、公開前に確認。
修正後に： 解決すべき問題が解決されたことを確認。
継続的に： 最も重要なEvalsを回帰テストとして再実行し、顧客より先に予期せぬ変更を検出。
Finの本番稼働前に： 顧客が初めてFinと話す前に設定が期待通りに動作するか確認。
リリースのテストにEvalsを使う
リリースでFinの変更作業をしているときは、公開前にその変更に対してEvalsを実行してください。Finはリリース版のコンテンツ、ガイダンス、Procedures、Skillsを使って回答するため、顧客に影響を与えずに変更のパフォーマンスを確認できます。
リリースを開き、Evalsタブに移動します。
このリリース専用のEvalを作成するには、Add an Evalをクリックし、次にNew evalをクリックします。Added in this releaseの下に表示されます。
回帰をチェックするには、既存のEvalsのいずれかでRun evalをクリックします。タブにはリリースに対して実行されたEvalsの数が表示されます（例：3/5 run）。
注意：
リリース内で作成した新しいEvalsやSimulationsは、リリースがマージされるまでライブEvalsには表示されません。
結果はリリースごとに別々に保持されます。リリース内での実行はMain Finの結果には影響しません。
Evalを実行後にリリースを変更すると、結果は期限切れとしてマークされます。再度Evalを実行してください。
リリース内では既存のEvalsの名前変更や削除、スコアカードの編集はできません。
タグはリリースに保存されません。リリース内でのタグ変更はライブEvalsに即時反映されます。
Evalsの実行はリリースのマージに必須ではありませんが、強く推奨されます。
リリースの詳細はReleases for Finをご覧ください。
どのテストツールを使うべき？
| Evals | Procedure Simulations | Batch Test |
テスト | Finの全設定、エンドツーエンド | 単一のProcedureのみ | 単一の質問 |
会話タイプ | マルチターン | 単一Procedure内のマルチターン | シングルターン |
スコアリング | LLMジャッジによる自動採点とオプションのスコアカード | 成功と結果基準に対する自動採点 | 手動（良い、許容、悪い） |
最適用途 | 回帰テストと顧客ジャーニー全体 | Procedureの構築と確認 | 迅速な情報チェック |
Procedure Simulationsを使うことで、Procedure単体で正しく動作するか確認できます。詳しくはFin ProceduresのSimulations実行を参照。
Evalsを使うことで、そのProcedureがライブになった後、コンテンツ、ガイダンス、データコネクター、ハンドオフを含む会話全体をテストできます。
現在Batch Testを使っている場合、同等のシナリオをEvalsとして構築し始めてください。Batch Testの質問をCSVファイルにエクスポートし、Simulationsとしてインポートできます。
注意： 2026年11月5日以降、新しいワークスペースでは左側ナビゲーションにBatch Testが表示されません。既にBatch Testを使っている場合は引き続き利用可能です。
Simulation使用制限
Evalsで実行できるSimulationの月間制限があります。この制限はワークスペース全体に適用され、毎月1日にリセットされます。許容量は過去30日間の会話数に基づき、毎月再評価されます。
会話量 | 月間Simulation数 |
1K未満 | 250 |
1K〜15K | 1,000 |
15K〜100K | 1,750 |
100K〜1M | 5,000 |
1M以上 | 12,500 |
Simulationの実行は開始した時点でカウントされ、中断した場合も含まれます。制限に達すると「You have reached your monthly simulation limit」と表示され、翌月までSimulationを実行できません。Run allを制限近くでクリックすると、許容量内のSimulationのみ実行され、残りは開始されません。
現在の制限事項
Evalあたり最大50Simulation、CSVインポートは最大50行まで。
タグはEvalsのみに適用されます。個別のSimulationsにはタグ付けできず、タグ付きのすべてのEvalを一括実行もできません。
通知はありません。実行完了時の通知はありません。
レビュアー注釈はまだありません。レビュアーが結果に同意または不同意を記録する方法はありません。
事前構築されたテンプレートはまだありません。プロンプトインジェクションなどの一般的なテストカテゴリに用意された開始点はありません。
Workflowsはシミュレートされません。HandoffチェックでFinが会話をworkflowに渡すことは確認できますが、Evalsはworkflowの次の動作をシミュレートしません。
よくある質問
Evalsを使うのにOperatorは必要ですか？
Evalsを使うのにOperatorは必要ですか？
いいえ、すべてのFin顧客はFin AI Agent > Test > EvalsからEvalsを作成・実行できます。OperatorはProアドオンの一部で、Evalsの作成、実行、分析、スケジュールを代行します。
Evalの実行にどれくらい時間がかかりますか？
Evalの実行にどれくらい時間がかかりますか？
各Simulationは完全なマルチターン会話と採点を含むため、秒単位ではなく数分かかると予想してください。実行はバックグラウンドで続行されるため、ページを離れて結果を後で確認できます。
Finの回答が正しく見えたのにSimulationが失敗したのはなぜですか？
Finの回答が正しく見えたのにSimulationが失敗したのはなぜですか？
Handoffチェックを設定していない場合、SimulationはデフォルトのNo handoffチェックで採点されるため、Finがハンドオフすると失敗します。詳しくはEvalsの実行方法と結果の読み方を参照してください。
Evalsを自動で実行するスケジュールは設定できますか？
Evalsを自動で実行するスケジュールは設定できますか？
はい、Operator Routineで可能です。詳しくはOperatorでのEvals作成と実行をご覧ください。