メインコンテンツにスキップ

Fin for Salesのシミュレーションテスト

Fin for Salesが本稼働する前にシミュレーションを使って、Finがleadsをどのように評価し、何を話し、どこにルーティングするかを確認する方法。

対応者:Bethany Clark

Fin for Salesが本稼働する前にシミュレーションを使ってテストする方法を学びましょう。Finがleadsをどのように評価し、何を話し、どこにルーティングするかを確認し、実際の見込み客に問題が届く前に発見できます。


シミュレーションの役割

シミュレーションは単一の販売会話を自動でテストするものです。FinのAIがleads役を演じ、開始メッセージを送り、Fin for Salesと実際の見込み客のようにやり取りします。最後に、設定した基準に対してFinの動作をチェックし、合格か不合格を報告します。

各シミュレーションは3種類の動作をチェックできます:

  • Finがleadsをどこにルーティングしたか — Finはこのleadsを正しいルーティング結果(例えば「qualified」結果やDisqualified、Escalate to support、Spam)に送ったか?

  • Finが何を話したか — Finの応答はあなたが説明した基準を満たしているか(例えば「Finはルーティング前に少なくとも2つの資格質問をした」など)?

  • Finが収集したデータ — Finは期待するleads情報を取得したか(例えば、leadsの会社規模が記録されたか)?

シミュレーションはすべての基準を満たした場合のみ合格します。


開始前に

  • あなたのワークスペースにFin for Salesが設定されており、Playbookに少なくとも1つのoutcomeが設定されている必要があります。ルーティング結果はFinがleadsについて下す決定で、例えばQualified、Disqualified、Escalate to supportなどです。

  • シミュレーションは公開されたコンテンツとプレイブックを含む、あなたのライブなFin for Sales設定に対してテストします。


シミュレーションへのアクセス方法

Fin AI Agent > Sales > Testに移動してください。

まだシミュレーションを作成していない場合、No simulations yet画面が表示され、開始するための2つのオプションがあります:


シミュレーションの作成

New simulation(または空の状態からCreate from scratch)をクリックしてシミュレーションフォームを開きます。シミュレーションは2つの部分から成ります:Finが話すleadと、Finが満たすべきcriteria。

1. リードをシミュレートする

このセクションでは、Finが誰と話すかと会話の開始方法を定義します。

  • Simulate as — リードの役割を選択:

    • New lead (default) — 新しいリードとして新規会話を開始し、すべてのライブコンテンツを使用。

    • Customer or lead — ワークスペース内の既存の人物を基にシミュレーション。

  • Lead's opening message — リードが送る最初のメッセージ。任意 — 空欄にするとFinがリードの詳細から開始メッセージを生成します。

    • 例:「こんにちは、御社の商品に興味があります」

  • Additional details from lead — リードがフォローアップメッセージで共有すべき情報や使うトーン。これによりシミュレートされたリードの会話中の振る舞いが形作られます。

    • 例:「リードはエンタープライズ価格に興味があり、競合他社と比較しています。」

ヒント:正確な表現ではなく、Finが現実的で自由な会話をどう扱うかをテストしたい場合は、開始メッセージを空欄にしてAdditional detailsでリードを説明してください。

2. Finの動作を評価する

このセクションでは、Finが満たすべき基準を設定します。シミュレーションはすべての基準を満たす必要があります。

Add assertionをクリックしてチェックする項目を選択:

  • Routing outcome — リードがルーティングされるべき結果を主張します。Select routing outcomeから期待される結果を選択してください。期待結果を設定しない場合、Finがいずれかのルーティング決定をすればシミュレーションは合格します。

  • What Fin says (Agent response) — 会話について真であるべき単一の文を平易な言葉で書きます。FinはAIを使ってその真偽を判断します。

    • 例:「Finはミーティング予約を提案する前にリードの予算を確認した。」

  • Data collected (Attribute) — 会話終了時に特定のリードデータが取得されているかをチェックします。属性が設定されている、設定されていない、特定の値と等しい、または特定の値と等しくないかを確認できます。

  • Action — Finが期待されるデータコネクター呼び出し(例えばCRMでリードを検索するなど)を行ったかをチェックします。

必要なだけ基準を追加できます。

完了したら保存をクリックしてシミュレーションを保存するか、実行をクリックしてすぐに保存と実行を行います。


シミュレーション結果の実行と確認

シミュレーションは行のボタンやフォームから単独で実行でき、または右上のすべて実行をクリックしてリスト内のすべてのシミュレーションを実行できます。実行中はボタンに実行中…と表示されます。

テーブル内の各シミュレーションは名前、最終実行時間、結果を表示します。

何が起きたかを見るには、シミュレーションをクリックして結果パネルを開きます。そこには:

  • シミュレートされたリードとFin間の完全な会話記録。

  • Finが下したルーティング決定がインラインでRouted to "{outcome}" by Finとして表示されます(例:Routed to "qualified_deal" by Fin)。

  • 各criteriaの合否ステータスが表示され、どの基準が不合格だったかが正確にわかります。

失敗したシミュレーションのデバッグ

シミュレーションが失敗した場合:

  1. 結果を開いて会話記録を読み、実際の会話の流れを確認してください。

  2. 期待したものとルーティング決定を照合してください — Finが予期しない場所にリードをルーティングした場合、ルーティング結果の資格条件を調整する必要があります。

  3. どのcriterionが失敗したかを確認してください。失敗したデータ収集チェックはFinがその情報を尋ねなかったことを意味し、失敗したFinが話したことチェックは会話があなたの記述した文に合致しなかったことを意味します。

注意:FinはAIでリード役を演じるため、同じシミュレーションを2回実行しても完全に同じ言葉にはなりません。重要なのは結果(ルーティング、収集データ、Finが言うべきまたは言ってはいけない重要なこと)に基づいて基準を設定することです。


よくある質問

シミュレーションの実行は実際のleadsに影響したり、実際のメッセージを送信したりしますか?

いいえ。シミュレーションは隔離されたテスト会話で実行されます。リードはAIによって生成され、実際の人にはメッセージは送られません。

私のシミュレーションはライブのFin for Sales設定をテストしていますか?

はい。シミュレーションはライブのコンテンツとプレイブックを使用するため、Finが実際にどのように動作するかを反映しています。

なぜ私のシミュレーションはリードを予期しない場所にルーティングしたのですか?

Finは各結果に設定した資格条件と会話中のリードの発言に基づいてルーティング結果を選択します。会話記録を開いてリードが共有した内容を確認し、期待した結果の条件を見直してください。

同じシミュレーションは常に同じ結果を出しますか?

完全にはそうではありません。シミュレートされたリードはAI生成のため、実行ごとに会話が異なります。正確な言葉よりも重要な動作に基づいて基準を設定してください。

なぜシミュレーションに予約リンクやChili Piperカレンダーウィジェットが表示されないのですか?

シミュレーションはルーティング決定で終了します。Finがリードを「Qualified」結果などにルーティングすると、シミュレーションは終了しその決定を記録します。ライブ会話で続く(Chili Piperのスケジューリングリンク生成やインラインカレンダーウィジェット表示など)ステップはシミュレーションでは実行されません。

これは期待される動作であり、予約設定が壊れている兆候ではありません。予約リンクやウィジェットが正しく動作するかはライブMessenger会話でテストしてください。

私のシミュレーションが「Fail」と表示されていますが、ライブワークフローが壊れているのでしょうか?

必ずしもそうではありません。「Fail」結果はそのシミュレーション実行で1つ以上の基準が満たされなかったことを意味し、ライブワークフローの正常動作を示すものではありません。

最も一般的な原因はルーティング結果基準の不一致です:Finが特定の結果にリードをルーティングすべきと主張したが、Finの資格条件が異なる結果に導いた場合です。会話記録を開き、Finのルーティング決定を確認し、期待した結果の資格条件と比較してください。リードの詳細が条件を満たすべきなら条件を調整しましょう。

ヒント:シミュレーションの「Fail」は会話記録のルーティング決定が予想外だった場合に最も役立ちます — それは資格条件を改善するサインです。Finが期待通りにリードをルーティングした場合は、基準の表現が厳しすぎるか確認してください。

こちらの回答で解決しましたか?