この記事を使ってFinの適切なテスト方法を選択してください：Evalsはエンドツーエンドの会話と回帰スイート、Procedure Simulationsは単一のProcedure、Batch testsは単一ターンの質問セット、Previewsは構築中の迅速な手動チェック用です。

クイックリファレンス：各ツールの役割

以下の表はFinの4つのテスト方法を比較しています。EvalsはFinをエンドツーエンドでテストし、Procedure Simulationsは1つのProcedureをテストします。詳細はEvals for Finをご覧ください。

	Evals	Procedure Simulations	Batch tests	Previews
概要	Finの全設定を自動でエンドツーエンドテストします。Eval内の各Simulationは、シミュレートされた顧客とFinとの複数ターン会話で、設定したチェックに基づき評価されます。	単一のProcedureを自動でAI駆動のエンドツーエンドテストを行います。AIがシミュレート顧客として振る舞い、定義した成功基準に基づき結果を評価します。	最大50問の質問に対するFinの回答を検証する質問応答テストツールです。コンテンツ、ガイダンス、users、言語、automationsにわたるFinの回答をテストします。	Finのトレーニングエリア全体で利用可能な手動のインタラクティブテストパネルです。メッセージを入力し、Finの応答とイベントログをリアルタイムで確認します。
最適な用途	Finの変更後の回帰テスト。Procedureが起動する前後を含む顧客の全体的な旅程をテスト。リリースの変更を本番前にテスト。	複雑なProcedureロジックの本番前検証。Procedure更新後の回帰検出。エッジケースや分岐パスのテスト。	多くの質問にわたるコンテンツカバレッジの確認。知識、ガイダンス、automationsのギャップ診断。対象ユーザー、ブランド、言語を跨ぐ事前QA。	構築中の迅速な手動スポットチェック。コンテンツ、ガイダンス、属性、エスカレーション、Procedureの特定変更がFinの応答に与える影響を即時検証。
連携対象	Finが回答に使用するすべて：コンテンツ、ガイダンス、エスカレーションガイダンス、Skills、Procedures。	単一のProcedure。Fin全体のSimulationsにはEval Simulationsを使用。Fin for Salesは独自のSimulationsを持つ。	Procedures、Tasks、または知識コンテンツのみを使用するすべてのusers。	Finのすべてのトレーニングエリア：Content、Guidance、Attributes、Escalation、Procedures、Deploy。
テストモード	自動化—AIが顧客側の会話を生成し、LLMジャッジが結果を評価。オプションのスコアカードで回答品質も評価。	自動化—AIが顧客側の会話を生成し、合否判定で結果を評価。	自動化—Finが各質問に回答を生成。回答は手動で評価（良い／許容／悪い）。	手動—メッセージを自分で入力し、Finの応答とイベントログを観察。
実際の会話を作成？	いいえ—SimulationsはEvals内で実行され、顧客には届きません。	いいえ—完全にバックグラウンドで実行。inbox会話は作成されません。	いいえ—シミュレーションのみ。inbox会話は作成されず、顧客データに影響なし。	はい—Preview会話はinboxに表示されますが、レポートには含まれません。
ライブAPIにアクセス？	いいえ—データコネクタは常に保存されたテスト応答を返し、ライブデータは使用しません。	いいえ—ライブ外部API（例：Shopify、Stripe）を呼び出さず、ロジックのみをテスト。	いいえ—データコネクタは設定されたテスト／サンプルペイロードを使用。ライブAPI呼び出しなし。	はい—特定のuserまたはleadとしてテストする際に実際のuserデータやライブ統合にアクセス可能。
保存と再実行	はい—Evalsは保存され、回帰スイートとして再実行可能、またはOperator Routineでスケジュール可能。1つのEvalにつき最大50のSimulations。	はい—Simulationsは保存され、Procedure更新時にいつでも再実行可能。すべて実行もサポート。	はい—テストグループ（最大50問）を保存、再実行、チーム間で共有可能。	いいえ—一回限りの手動会話。保存や再実行は不可。
合否判定	はい—LLMジャッジが各Simulationに自動で合格または不合格を付与。	はい—AIが会話を成功基準に照らして評価し、理由付きで合否を判定。	いいえ—各回答を手動で良い、許容、悪いと評価し、根本原因を選択。	いいえ—自動判定なし。結果は自分で評価。
使用制限	はい — ワークスペースの会話量に基づく月間シミュレーション制限（250〜12,500/月）、毎月1日にリセットされます。	はい — ワークスペースの会話量に基づく月間実行制限（250〜12,500/月）。Proceduresに含まれており、追加料金はかかりません。	料金はかかりません。テストグループごとに最大50問まで。	制限なし。
利用可能性	すべてのFin顧客が利用可能です。ベータ版やアクセスリクエストは不要です。	Proceduresを使用しているすべての顧客が一般的に利用可能です。	既存のFin顧客でフルシートとAll conversations権限を持つ方が利用可能です。2026年11月5日以降、新しいワークスペースではBatch testsは利用できず、代わりにEvalsを使用します。	一般的にすべてのFin顧客が利用可能です。

各ツールの使用タイミング

Evalsを使用する場合

Finが回答に使用するすべての要素（コンテンツ、ガイダンス、エスカレーションガイダンス、スキル、Procedures）を通じて、完全なマルチターンの顧客会話をテストしたい場合。
定義したチェック（Finの返信、Procedureの起動、データコネクタの呼び出し、引き継ぎ）から自動的に合否結果を得たい場合、さらにScorecardによる品質スコアリングもオプションで行いたい場合。
Finの変更後に再実行できる回帰テストスイートが必要な場合、またはOperator Routineでスケジュールしたい場合。
リリースの変更を本番公開前にテストしたい場合。
Finの回答が十分でなかった実際の会話を再現し、修正されるまで繰り返しテストしたい場合。

Evals for FinでEvalsの設定方法を学びましょう。

Procedure Simulationsを使用する場合

Procedureを本番公開前にエンドツーエンドで検証する必要がある場合。
更新後の回帰を検出する自動で繰り返し可能なテストが必要な場合。
Procedureに分岐ロジック、Conditions、またはサブプロシージャがあり、経路ごとに別々のテストケースが必要な場合。
AIに定義した成功基準（Finの返信、属性値、データコネクタの呼び出し、指示結果）に基づいて結果を判断してほしい場合。
シミュレーション時間とデータ値を制御して、時間制限のあるロジック（例：返金期間）をテストする必要がある場合。

注意：シミュレーション時間は、Fin自身の推論が使用する自然言語の日付ロジックの日付のみを制御します。Pythonコードの条件が参照するdatetime.datetime.now()は常に実際のシステム日付を読み取るため、シミュレーション時間は影響しません。コードベースの日付分岐をテストするには、実際のカレンダー日付でシミュレーションを実行するか、コードではなく自然言語で条件を書き換えてください。

Batch testsを使用する場合

Finの回答を幅広い質問セットで検証したい場合、単一のシナリオだけでなく。
コンテンツ、ガイダンス、対象ユーザー、言語、ブランドにわたる事前公開QAを行っている場合。
Finが各回答にどのソースを参照しているかを確認してコンテンツのギャップを診断したい場合。
過去の実際の会話やAIトピックから生成された質問をテストしたい場合。
結果をチームや上級管理者と共有するためにCSVレポートをダウンロードする必要がある場合。

Previewsを使用する場合

積極的に構築中で、コンテンツ、ガイダンス、属性、エスカレーションルール、またはProcedureの変更をすぐにスポットチェックしたい場合。
特定のユーザー、対象ユーザー、または特定の言語で会話を手動で進めたい場合。
Finが適用した内容（パーソナリティ、ガイダンス、タスク、コンテンツソース）を正確に理解するためにイベントログを確認する必要がある場合。
画像やスクリーンショットを送信してFin Visionをテストしたい場合。
Procedureのフローを検証し、顧客とチームメイトのinbox体験（下流の自動化も含む）を完全に確認したい場合。

よくある質問

SimulationsとPreviewsの違いは何ですか？

Previewsは手動でインタラクティブです：メッセージを自分で入力し、Finのリアルタイム応答を見ます。構築中の簡単なスポットチェックに最適です。
Simulationsは自動化されています：AIが顧客役を務め、会話全体を実行し、設定した成功基準に基づいて結果を判断します。
Simulationsはinbox会話を作成しませんが、Previewは作成します。Procedureロジックを大規模に検証する場合はSimulationsを使用し、文脈内の手動テストにはPreviewを使用してください。

SimulationsとBatch testsの違いは何ですか？

Batch testsはFinの回答を幅広い質問セットでチェックし、コンテンツカバレッジ、ガイダンス、自動化を多くのシナリオで同時にテストします。回答は手動で評価します。
Simulationsは単一のProcedureをエンドツーエンドで自動AI判定付きでテストします。
Batch testsはすべてのFin設定で動作します。Procedure SimulationsはProcedures専用です。

Batch testsとPreviewsの違いは何ですか？

Batch testsは最大50問の質問で構造化された繰り返し可能なQA実行で、事前公開チェックやコンテンツギャップの診断に役立ちます。
Previewsは非構造的で手動の1会話ずつのテストで、構築中の即時フィードバックに便利です。
Batch testの結果は保存され、CSVにエクスポート可能です。Previewの会話はinboxに表示されますが、テスト実行としては保存されません。

SimulationsはライブAPIを呼び出したり実際のデータに影響を与えますか？

いいえ。SimulationsはShopifyやStripeのようなライブの外部APIを呼び出さず、実際のデータに影響を与えません。ロジックのみをテストします。実際のAPIコールでテストする必要がある場合は、Previewを使用し、外部システムに実際のデータがある特定のユーザーを選択してください。

SimulationsやBatch testsに料金はかかりますか？

SimulationsはProceduresに含まれており、追加料金はかかりません。Batch testsも無料で使用できます（Batch testを通じて生成された回答に料金はかかりません）。

注意: Simulationsには月間実行制限があります（会話量に応じて月250〜12,500回）、制限は毎月1日にリセットされます。

Batch testsを使ってProcedureをテストできますか？

Batch testsは特定の質問に対してProcedureがトリガーされるかどうかを示しますが、Procedureを実行したり、そのエンドツーエンドのロジックを評価したりはしません。完全なProcedureの検証（分岐、データコネクター呼び出し、指示結果を含む）にはSimulationsを使用してください。

本番稼働前にどのテストツールを使うべきですか？

本番稼働前にはツールを組み合わせて使用してください：構築中の迅速な手動チェックにはPreview、各Procedureのロジックを自動的に合否判定するProcedure Simulations、Finの全設定が重要な顧客会話をエンドツーエンドで処理できることを確認するEvals。Batch testsは単一ターンの質問チェックに引き続き利用可能です。

Procedureの開始前には毎回Simulationsを実行することを強く推奨します。

EvalsとSimulationsの違いは何ですか？

Simulationsは1つのProcedureをテストします。各Procedure SimulationはそのProcedureの範囲内で実行されるため、Procedureの構築中や変更後の動作確認に適したツールです。
EvalsはFinをエンドツーエンドでテストします。Eval SimulationはProcedureがトリガーされる前後を含め、Finが回答に使用するすべてを通じて完全な会話を実行します。Evalsは実際の会話を再生し、Finの変更後に回帰テストとしても実行されます。
両方を使用してください：Procedure構築中はProcedure Simulationsを、ライブ後は顧客の全体的な体験をカバーするためにEvalを使用します。詳細はEvals for Finをご覧ください。

EvalsとBatch testsはどちらを使うべきですか？

EvalsはBatch testsの機能をすべて備え、それ以上のことができます。Batch testsは手動で評価する単一ターンの質問をチェックします。Evalsは複数ターンの会話を実行し、定義したチェックに基づいて自動的にスコアリングし、回帰テストとして再実行可能です。現在Batch testsを使用している場合は、CSVインポートで質問をEvalに取り込むか、OperatorにEvalの構築を依頼してください。

覚えておくべき重要な事実

Procedure SimulationsはProcedures専用です。Tasks、Workflows、一般的なコンテンツテストには使用できません。Finの全設定を通じた完全な会話をシミュレートするにはEval Simulationsを使用してください。Fin for Salesには独自のSimulationsがあります。
Batch testsはProcedures、Tasks、または知識コンテンツを使用している既存のFinユーザーが利用可能です。
Previewの会話はinboxに表示されますが、レポートには含まれません。
ライブAPIにアクセスできるのはPreviewのみです。SimulationsとBatch testsは安全なサンドボックス環境です。
Simulationの実行制限はチームメンバー単位ではなくワークスペース単位で、毎月リセットされます。
Batch testの回答評価はFinの学習には使われず、人間のレビューと原因分析のためだけに使用されます。
Simulationsでは、テストが合格しても成功基準が厳しすぎる場合（例：Fin自身が特定の質問を見つける必要があるなど）、テストは失敗することがあります。成功基準は中間ステップではなく結果に焦点を当ててください。
EvalsはProcedures、コンテンツ、ガイダンス、エスカレーションガイダンス、スキルを含むFinの全設定を1つの複数ターン会話でテストします。Finの変更後は回帰テストとして使用してください。

Evals vs. Simulations vs. Batch tests vs. Previews