メインコンテンツにスキップ

Simulations vs. Batch tests vs. Previews

Fin の 3 つのテストツール — Simulations、Batch tests、Previews の使いどきを学ぶ。

対応者:Dawn

この記事では、Fin の 3 つのテストツール — Simulations、Batch tests、Previews の使いどきを説明します。


クイックリファレンス: 各ツールの役割

Simulations

Batch tests

Previews

内容

単一の Procedure の自動化された AI 駆動のエンドツーエンドテスト。AI が顧客をシミュレートし、あなたが定義した成功基準に対して結果を評価します。

最大50問までの質問に対して Fin の回答を検証する質問応答型のテストツール。Fin がコンテンツ、ガイダンス、users、言語、automations に対してどのように回答するかをテストします。

Fin のトレーニング領域で利用できる手動のインタラクティブなテストパネル。メッセージを入力して、Fin の応答とイベントログをリアルタイムで確認します。

最適用途

公開前に複雑な Procedure ロジックをエンドツーエンドで検証すること。Procedure 更新後のリグレッションを検出すること。エッジケースや分岐経路のテスト。

多くの質問に対するコンテンツの網羅性を確認すること。知識、ガイダンス、automations のギャップを診断すること。オーディエンス、ブランド、言語にわたる事前公開のQA。

構築中に行う迅速な手動スポットチェック。コンテンツ、ガイダンス、属性、エスカレーション、または Procedure への特定の変更が、その場で Fin の応答にどのように影響するかを検証します。

対応範囲

Procedures のみ。

Procedures、Tasks、または知識コンテンツのみを使用しているかどうかにかかわらず、Fin を利用するすべての顧客。

Content、Guidance、Attributes、Escalation、Procedures、Deploy を含む Fin のすべてのトレーニング領域。

テストモード

自動化 — AI が会話の顧客側を生成し、合格/不合格の判定で結果を評価します。

自動化 — Fin が各質問に対する応答を生成します。あなたは回答を手動で評価(Good / Acceptable / Poor)します。

手動 — あなた自身がメッセージを入力し、Fin の応答とイベントログを観察します。

実際の会話を作成するか?

いいえ — 完全にバックグラウンドで実行されます。inbox の会話は作成されません。

いいえ — シミュレーションのみ。inbox の会話は作成されず、顧客データに影響を与えません。

はい — Preview の会話はあなたの inbox に表示されますが、レポートには含まれません。

ライブ API に当たるか?

いいえ — Shopify や Stripe のような外部のライブ API には呼び出しません。ロジックのみをテストします。

いいえ — データコネクタは設定されたテスト/サンプルペイロードを使用します。ライブ API 呼び出しはありません。

はい — 特定の user または lead としてテストする場合、実際のユーザーデータやライブ統合にアクセスできます。

保存と再実行

はい — シミュレーションは保存され、Procedure が更新されるたびに再実行できます。Run all をサポートします。

はい — テストグループ(最大50問)は保存、再実行、チームメイトと共有できます。

いいえ — 一回限りの手動会話。保存や再実行はできません。

合否判定

はい — AI が会話を成功基準と照らして評価し、理由を含めて Pass または Fail を割り当てます。

いいえ — あなたが各回答を手動で Good、Acceptable、Poor と評価し、根本原因を選びます。

いいえ — 自動判定はありません。あなた自身で結果を評価します。

使用制限

はい — ワークスペースの会話量に基づく月間実行制限(250〜12,500/月)。Procedures に含まれ、追加料金はかかりません。

無料。テストグループごとに最大50問。

制限なし。

利用可能性

一般的に Procedures を使用するすべての顧客が利用可能。

All conversations 権限とフルシートのあるすべての Fin 顧客が一般的に利用可能。

一般的にすべての Fin 顧客が利用可能。


各ツールの使いどき

Simulations を使うとき

  • 公開前に Procedure をエンドツーエンドで検証する必要があるとき。

  • 更新後にリグレッションを検出する、再現可能な自動テストが必要なとき。

  • Procedure に分岐ロジック、Conditions、またはサブプロシージャがあり、それぞれの経路に対して別のテストケースが必要なとき。

  • 定義した成功基準(Fin の返答、属性値、データコネクタ呼び出し、指示の結果)に対して AI に結果を評価させたいとき。

  • シミュレーションの時間とデータ値を制御して時間制限のあるロジック(例:返金期間)をテストする必要があるとき。

Batch tests を使うとき

  • 単一のシナリオだけでなく、幅広い質問に対する Fin の回答を検証したいとき。

  • コンテンツ、ガイダンス、オーディエンス、言語、ブランドにわたる事前公開 QA を行うとき。

  • 各回答で Fin が参照したソースを見て、コンテンツギャップを診断したいとき。

  • 過去の実際の会話や AI によって生成されたトピックから生成された質問をテストしたいとき。

  • 結果をチームや上層部と共有するためのダウンロード可能な CSV レポートが必要なとき。

Previews を使うとき

  • 構築中に即座にスポットチェックを行いたいとき — コンテンツ、ガイダンス、属性、エスカレーションルール、または Procedure への変更をその場で確認するため。

  • 特定の user、オーディエンス、または言語として手動で会話を進めたいとき。

  • Fin のイベントログを見て、適用された内容(パーソナリティ、ガイダンス、タスク、コンテンツソース)を正確に理解する必要があるとき。

  • 画像やスクリーンショットを送って Fin Vision をテストしたいとき。

  • Procedure フローを検証し、顧客とチームメンバーの inbox での体験(下流の automations を含む)を完全に確認したいとき。


よくある質問

Simulations と Previews の違いは?

  • Previews は手動でインタラクティブです: あなたがメッセージを入力し、リアルタイムで Fin の応答を確認します。構築中の迅速なスポットチェックに最適です。

  • Simulations は自動化されています: AI が顧客として振る舞い、会話全体を実行し、あなたが設定した成功基準に対して結果を判定します。

  • Simulations は inbox の会話を作成しません; Preview は作成します。スケールで Procedure ロジックを検証する必要があるときは Simulations を、文脈内での手動テストには Preview を使用してください。

Simulations と Batch tests の違いは?

  • Batch tests は幅広い質問に対する Fin の回答を確認します — コンテンツの網羅性、ガイダンス、および automations を一度に多くのシナリオでテストします。回答は手動で評価します。

  • Simulations は自動化された AI 判定で単一の Procedure をエンドツーエンドでテストします。

  • Batch tests はすべての Fin の設定で機能します。Simulations は Procedures 専用です。

Batch tests と Previews の違いは?

  • Batch tests は構造化され再現可能な QA 実行で、最大50問までのテストに適しています — 事前公開のチェックやコンテンツギャップの診断に有用です。

  • Previews は非構造化で手動の一対一の会話です — 構築中の即時フィードバックに有用です。

  • Batch test の結果は保存され、CSV にエクスポートできます。Preview の会話はあなたの inbox に表示されますが、テスト実行としては保存されません。

Simulations は実際の API を呼び出したり実データに影響を与えたりしますか?

いいえ。Simulations は Shopify や Stripe のような外部のライブ API を呼び出さず、実データに影響を与えません。ロジックのみをテストします。実際の API 呼び出しでテストする必要がある場合は、Preview を使用して実データを持つ特定のユーザーを選択してください。

Simulations や Batch tests は課金されますか?

Simulations は Procedures に含まれており追加料金はかかりません。Batch tests も無料で使用できます(Batch test を通じて生成された回答に対して課金されることはありません)。

注意: Simulations には月間実行制限(会話量に応じて250〜12,500/月)があり、毎月1日にリセットされます。

Batch tests を Procedure のテストに使えますか?

Batch tests は特定の質問に対して Procedure が起動されるかを示しますが、Procedure を実行したりエンドツーエンドのロジックを評価したりはしません。分岐、データコネクタ呼び出し、指示の結果などを含む完全な Procedure 検証には Simulations を使用してください。

本番運用前にどのテストツールを使うべきですか?

3 つすべてを組み合わせて使用してください: 構築中の迅速な手動チェックには Preview、エンドツーエンドの Procedure ロジック検証と自動合否判定には Simulations、幅広い実際の顧客質問に対する Fin の回答確認には Batch tests。

Procedure の各リリース前に Simulations を実行することを強く推奨します。


覚えておくべき重要な事実

  • Simulations は Procedures 専用です。Tasks、Workflows、または一般的なコンテンツテストでは使用できません。

  • Batch tests は Procedures、Tasks、または知識コンテンツを使用するかどうかにかかわらず、すべての Fin 顧客で機能します。

  • Preview の会話は inbox に表示されますが、レポートには含まれません。

  • Preview のみがライブ API にアクセスできます。Simulations と Batch tests は安全なサンドボックス環境です。

  • Simulation の実行制限はワークスペース単位で、チームメンバー単位ではなく、毎月リセットされます。

  • Batch test における回答評価は Fin を学習させるものではありません — 人間のレビューと根本原因分析のためのものです。

  • Simulations でテストが合格しても、成功基準が厳格すぎる場合(例: Fin が自分で見つけた特定の質問を要求するなど)、テストは失敗することがあります。成功基準は中間ステップではなく結果に焦点を当ててください。

こちらの回答で解決しましたか?