この記事を使ってシミュレーションを設定します：シミュレートされた顧客を定義し、会話開始時にFinが見るデータを制御し、LLM（大規模言語モデル）ジャッジがFinを評価するためのチェックとハンドオフを選択するか、実際の会話からシミュレーションを作成します。
シミュレーションエディターの開き方
シミュレーションを設定するには、開いて編集をクリックするか、Evalページで新しいシミュレーションをクリックします。エディターは3つのセクションに分かれています：シミュレートされた顧客、Finが見るデータ、LLMジャッジがFinを評価する方法。完了したら保存をクリックし、実行をクリックしてテストします。
シミュレートされた顧客の定義方法
シミュレートされた顧客の定義セクションは、Finが話す相手を設定します。
タイトル（任意）：追加しない場合、シミュレーション名は顧客の最初のメッセージと一致します。
シミュレートする相手：Finが話す顧客、例えばTest customer、およびブランドはAll brandsとして表示されます。
チャネル：ChatまたはEmail。
シミュレーション時間：シミュレーションで使用する固定の日時。顧客のタイムゾーンを使用し、設定がなければGMT（グリニッジ標準時）を使用します。初期値は未設定です。
顧客の最初のメッセージ（必須）：シミュレートされた顧客がFinに最初に言う内容。
フォローアップ指示：顧客が知っていること、尋ねられた場合に共有する内容、コミュニケーション方法。Finはこれを使って顧客側の会話を生成し、リアルなマルチターンシミュレーションを実現します。
シミュレートされた顧客の選び方
デフォルトでは、すべてのシミュレーションはTest customerとして実行されます。Test customerはすべてのオーディエンスに属しているため、Finはすべてのライブコンテンツ、ガイダンス、オートメーションを使用できます。これはFinの知識を確認するのに便利ですが、特定の顧客が体験する内容は示しません。
オーディエンスターゲティングをテストするには、代わりにワークスペースの実際の顧客またはleadをシミュレートします。Finはその顧客が対象となるコンテンツ、ガイダンス、手順、データコネクターのみを見て、ライブ会話と同様に動作します。
シミュレーションエディターでシミュレートされた顧客の定義に移動します。
シミュレートする相手の隣でTest customerをクリックし、Customer or leadを選択します。
リストを絞り込むには、検索ボックスの下のドロップダウンからオーディエンスを選択します。デフォルトはEveryoneで、そのオーディエンスに現在いるusersとleadsが表示されます。
名前、メール、または顧客IDで検索し、Finが話す相手を選択します。
シミュレーション実行時、その人の属性、会社、タグが使用されます。特定のシナリオをテストするには、Define Fin data (optional) > Starting attribute valuesでこれらを上書きします。設定しなかったものは顧客の既存値が使われます。
注意：
会話属性を使うオーディエンスやブランドでフィルターするオーディエンスは選択できません。メンバーシップはまだ発生していない会話に依存するためです。別のオーディエンスを使うか、全員から検索して顧客を選べます。
オーディエンスは顧客を見つけるためだけに使われ、シミュレーションには保存されません。各実行時に顧客のデータで属するオーディエンスをチェックするため、結果は変わる可能性があります。
選択できるのはusersとleadsのみです。訪問者は利用できません。
Test customer (default)に戻すと、そのシミュレーションのオーディエンスターゲティングはオフになります。
シミュレーションの実行時間とEvalが保持できる数
シミュレーションはFinからの最大6回の返信後、またはFinが会話を解決、ハンドオフ、シミュレートされた顧客が会話を終了した時点で終了します。各Evalは最大50のシミュレーションをサポートします。追加するには既存のシミュレーションを削除するか、新しいEvalに追加してください。
シミュレーションでFinが見るデータの定義方法
任意のDefine Fin dataセクションは、シミュレーション開始時にFinが見るデータを制御します。
開始属性値：会話開始時にFinが見る属性値。設定するには属性を追加をクリックします。
データレスポンス：シミュレーションでは、データコネクターは常に保存されたテストレスポンスを返し、ライブデータは返しません。誰をシミュレートしていても同様です。コネクターのレスポンスをカスタマイズをクリックすると、このシミュレーションだけのテストレスポンスを変更できます。
LLMジャッジがFinを評価する方法の定義
Define LLM judge's behaviorセクションは、Finの回答のスコア付け方法を定義します。2つの部分があります：シミュレーションチェックとハンドオフ。
シミュレーションチェックの追加方法
シミュレーションチェックは、Finが合格するために言うべきことや行うべきことを説明します。追加するには追加をクリックし、チェックタイプを選択します。
Finの返信：会話中にFinが言うべきことを説明します。期待される各応答を別々の成功基準に分けます。
手順が開始された：Finが特定の手順を開始しました。
手順が切り替わった：Finが会話中にある手順から別の手順に移動しました。
スキル：Finが特定のスキルを使用しました。
データコネクター：Finが特定のデータコネクターを呼び出しました。
期待されるハンドオフの設定方法
ハンドオフは会話終了時に何が真であるべきかを説明します。次のオプションから選択します。
ハンドオフなし：Finはチームやワークフローにハンドオフしませんでした。
チームまたはチームメイトにハンドオフ：Finは答えられなかったか、ハンドオフガイダンスが適用されました。
ワークフローにハンドオフ：ハンドオフ後は会話がシミュレートされません。
重要：シミュレーションにハンドオフチェックもシミュレーションチェックもない場合、デフォルトのハンドオフなしチェックで評価され、Finがハンドオフすると失敗します。このデフォルトはエディターに表示されないため、各シミュレーションに明示的なハンドオフチェックを追加してください。
シミュレーションを設定したら、Evalの実行方法と結果の読み方を参照してください。
実際の会話からシミュレーションを作成する方法
実際の顧客との会話からシミュレーションを作成するには、InboxからFinの回答の1つをEvalに追加するか、Operatorにシミュレーション作成を依頼します。どちらの場合もシナリオを自分で入力する必要はありません。
実際の会話から作成されたシミュレーションはリプレイと呼ばれます。リプレイは選択したFinの回答までの会話をキャプチャし、以前のメッセージを固定します。実行するたびにFinはその1つの返信だけを生成するため、毎回変わる会話ではなく、関心のある応答をテストできます。これによりリプレイは実際のミスを保持可能なテストに変える最速の方法となります。
InboxからEvalにFinの回答を追加する方法
Inboxで会話を開き、テストしたいFinのメッセージを選択してEvalに追加します。
Inboxで会話を開きます。
テストしたいFinのメッセージにカーソルを合わせ、隣に表示されるオプションメニュー（...）をクリックします。
Finの回答をEvalに追加をクリックします。
Evalに追加ダイアログでEvalを選択し、追加先のEvalを選びます。
追加をクリックします。
Finの回答をEvalに追加はリプレイ可能なFinの回答にのみ表示されます。
Operatorでシミュレーションを作成する方法
Operatorに会話のシミュレーション作成を依頼します。Operatorは顧客の最初のメッセージをリプレイし、選択したEvalにシミュレーションを提案します。
注意：Operatorでシミュレーションを作成するにはProアドオンが必要です。
Operatorとのチャットでこの会話のシミュレーションを作成と書き、会話を追加します。
Operatorが尋ねる2つの質問に答えます：どのEvalにシミュレーションを入れますか？とFinは会話をどう終わらせますか？例えば、Finがハンドオフせずに自分で回答する場合はFinが自分で回答（ハンドオフなし）を選びます。
提案されたシミュレーションを確認し、メインに公開をクリックしてEvalに追加します。
メインに公開をクリックするまで、シミュレーションは保留中の変更として残り、実行できません。
Operatorでリプレイシミュレーションを編集する方法
リプレイシミュレーションを編集するには、同じチャットでOperatorに変更を依頼します。例えばチームメイトにハンドオフするよう更新。Operatorはシミュレーションチェックの編集を提案し、メインに公開をクリックして保存します。
リプレイシミュレーションには何が含まれますか？
メインに公開をクリックすると、リプレイシミュレーションは選択したEvalに表示され、顧客の最初のメッセージが名前になります。Evalから開くと以下の部分が見られます。
初期会話コンテキスト：ソース会話の顧客メッセージまでのメッセージと、シミュレーション実行時にFinの単一返信が表示されるプレースホルダー。
ソース会話を見る：元の会話へのリンク。
シミュレートされた顧客の定義：シミュレートする相手、ブランド、チャネル、シミュレーション時間。
フォローアップ指示：Finの最初の返信後に顧客が言う内容の任意の指示。追加には少なくとも1つのシミュレーションチェックが必要で、Finが評価される対象となります。
注意：リプレイシミュレーションの一部は編集できません。シミュレートされた顧客の定義セクションなどはソース会話から来ています。Finの評価対象を変えたい場合は、シミュレーションチェックを編集するか、Operatorに更新を依頼してください。
リプレイを使ってFinの回答を修正する方法
リプレイでFinの回答を修正するには、実行し、Finの設定を変更し、合格するまで再実行します。
リプレイを実行して現在の設定でFinがどう答えるか確認します。
回答の背後にあるコンテンツ、ガイダンス、手順、スキルを変更します。変更をライブ前にテストするには、リリースで行います。
リプレイを再実行し、シミュレーションの実行履歴ドロップダウンを使って新旧の回答を比較します。
「修正済み」の定義となるチェックを追加します。例えばFinの返信チェックやハンドオフチェックで、判定ではなく明確な合否を得られます。
合格したらリプレイを保持します。これで回帰テストとして機能し、将来の変更後も修正が維持されているか確認できます。