この記事を使ってEval内のシミュレーションを実行し、Evalページで結果を読み、単一のシミュレーションでFinの動作を確認します。
Eval内のシミュレーションの実行方法
Eval内のすべてのシミュレーションを一度に実行するには、Evalを開いてすべて実行をクリックします。1つのシミュレーションを実行するには、その行の実行ボタンをクリックします。シミュレーションが実行中は、最終実行列にたった今、結果列に実行中と表示されます。終了すると、結果は合格、失敗、またはエラーに変わります。
Evalを実行すると何が起こるのか？
Evalを実行すると結果は即時ではありません。各シミュレーションは完全な複数ターンの会話だからです。Finが応答し、シミュレーションされた顧客が返答し、会話は終了まで続きます。その後、チェックとスコアカードの採点が行われます。シミュレーションには数分かかり、Eval全体はさらに時間がかかることがあります。
シミュレーションはキューに入り、同時にすべてではなく数件ずつ実行されます。待機中はキュー待ちと表示され、開始すると実行中と表示されます。
各シミュレーションの終了に伴いEvalの結果が更新されます。例：3/10 実行中。会話完了後すぐにスコアカードのスコアが表示されます。
実行はバックグラウンドで行われます。ページを離れて後で結果を確認できます。実行完了の通知はありません。
複数のEvalを同時に実行すると、それぞれが順番にキューに入り、完了までに時間がかかります。
実行を停止するには、Evalまたはシミュレーションの停止ボタンをクリックします。停止したシミュレーションも月間シミュレーションの割当数にカウントされます。
一部のシミュレーションだけを実行するには、それらを選択して実行をクリックするか、リストを検索・フィルターしてフィルター実行をクリックします。
ヒント：修正を繰り返す間は、Eval全体ではなく関心のあるシミュレーションだけを実行しましょう。変更を公開する前の回帰チェックにはすべて実行を使います。
月にどれくらいのシミュレーションを実行できますか？
ワークスペースは月ごとにEval内で実行できるシミュレーション数の上限があります。この上限はワークスペース全体に適用され、毎月のカレンダー月の初日にリセットされます。
月間のシミュレーション割当数は、Intercom内のワークスペースの会話量に基づき、大きなワークスペースほど多くの割当を受けます。
ワークスペースは過去30日間の会話数に基づいてセグメントに割り当てられます。
セグメントは毎月再評価され、割当数は最新の会話量を反映します。
会話量が増減すると、次の月間サイクルで割当数が変わることがあります。
以下の表は各会話量セグメントの月間シミュレーション割当数を示しています。
会話量セグメント | 月間シミュレーション上限 |
1K未満 | 250 |
1K～15K | 1,000 |
15K～100K | 1,750 |
100K～1M | 5,000 |
1M以上 | 12,500 |
月間シミュレーション上限に達したらどうなりますか？
ワークスペースが月間シミュレーション上限の80％に達すると、黄色のバナーに現在の使用量（例：850/1000）とリセット日時が表示されます。
100％に達すると赤いメッセージが表示され、翌月までシミュレーションを実行できなくなります。
Evalページで何が見えますか？
Evalページは1つのEvalの結果を表示し、その中のシミュレーションを一覧表示します。開くには、EvalsページでEvalの名前をクリックします。Evalの名前はページタイトルに、Evalsのパンくずリストの後に表示されます。
上部のボタン：Operator、⋯メニュー、スコアカード追加、新規シミュレーション。
フィルター：シミュレーション検索ボックス、結果フィルター、Evalに付けられたタグ、+ タグボタン。
シミュレーション結果：合格したシミュレーション数（例：4/6合格）と進捗バー。
シミュレーション会話：シミュレーション会話（顧客の最初のメッセージ）、メモ、最終実行、結果（合格または不合格）を含む表。各行に実行ボタンあり。
すべて実行：Eval内のすべてのシミュレーションを実行します。
シミュレーション結果の数は、最後に実行したときにすべてのシミュレーションチェックと引き継ぎ基準を通過したシミュレーションの数を示します。この定義を見るには、シミュレーション結果
Evalメニューから何ができますか？
Evalページ上部の⋯メニューをクリックすると、Eval編集、CSVインポート、Eval削除のいずれかを選べます。
シミュレーションページで何が見えますか？
シミュレーションページは1つのシミュレーション会話、そのチェック結果、Finの動作を表示します。開くにはEvalページのシミュレーション行をクリックします。ページタイトルにはEvals、Eval名、Simulationの順にパスが表示されます。
上部のボタン：Operator、編集、⋯メニュー、実行、閉じるボタン。
結果概要：顧客の最初のメッセージ、合格または不合格ラベル、最後の実行日時。
シミュレーション実行ID：実行のIDとコピー用ボタン。
会話：Test customerの発言とFin AI Agentの応答、言語設定などFinが記録したイベントを含む。
引き継ぎ：合格または不合格ラベルと期待された引き継ぎ（例：期待：引き継ぎなし）。
シミュレーションチェック：各チェックの合格または不合格ラベル。Fin replyチェックは設定した基準と合格・不合格の理由を示す。
メモ：メモを追加をクリックしてシミュレーションに関するメモを追加できる場所。
スコアカード（Evalにある場合）：レビューのスコアと各基準の評価。
シミュレーションのチェック内容を変更するには、Eval用シミュレーションの設定を参照してください。
シミュレーションの結果の読み方
シミュレーションが終了すると、合格、失敗、またはエラーが表示されます。すべてのシミュレーションチェックと引き継ぎチェックが合格した場合のみ合格となるため、1つでも失敗があるとシミュレーションは失敗します。各シミュレーションについて、全体の結果、完全な会話の記録、Finの思考や使用したツール・情報を示すイベントログが得られます。
失敗：会話は終了しましたが、Finが設定したチェックの1つを満たしませんでした。トランスクリプトとイベントログを開いて、Finの動作が設定したチェックとどこで異なったかを確認してください。
エラー：会話を完了できませんでした。再実行し、シミュレーションの設定（顧客メッセージ、データ、チェック）に誤りがないか確認してください。
1つの会話でFinが複数のProcedureをまたいで動作する必要がある場合、シミュレーション中にFinがProcedure間を切り替える様子が見られます。各シミュレーションは直近15回の実行履歴を保持し、実行履歴のドロップダウンから過去の結果を確認できます。
EvalsリストのEval結果は何を意味しますか？
Evalsリストの各Evalは1つの全体結果を表示します。これらは結果フィルターの選択肢でもあります。
未実行：Evalのシミュレーションがまだ一度も実行されていません。
キュー待ち：実行開始を待っています。
実行中：シミュレーションが現在実行中で、実行中の数が表示されます（例：3/10 実行中）。
合格：すべてのシミュレーションが合格しました。
一部合格：一部のシミュレーションが合格し、一部は失敗またはエラーでした。
失敗：シミュレーションが一つも合格しませんでした。
キャンセル：シミュレーションが結果を得る前に実行がキャンセルされました。
処理不能：シミュレーションは実行前に削除されたため、結果が得られませんでした。
合格、一部合格、失敗のEvalは合格数を表示します（例：8/10 合格）。すべて合格の場合はバッジが緑色、半数未満の場合は赤色です。
Finの回答が正しく見えたのにシミュレーションが失敗したのはなぜですか？
Finの回答が正しく見えても、デフォルトの「引き継ぎなし」チェックでシミュレーションが失敗することがあります。明示的な引き継ぎチェックやシミュレーションチェックがない場合、Finがチームやワークフローに引き継がずに会話を解決した場合のみ合格となります。このデフォルトはシミュレーション設定に表示されないため、失敗時に引き継ぎチェックが設定されているか確認してください。
ヒント：各シミュレーションに明示的な引き継ぎチェックを追加し、合否結果がデフォルトではなく意図を反映するようにしましょう。
英語以外の言語でFinをテストする方法
Finを他の言語でテストするには、顧客の最初のメッセージをその言語で書きます。シミュレーションはFinと同じ言語をサポートし、言語設定は不要です。シミュレーション開始時にFinはライブ会話と同じ言語検出を使って最初のメッセージの言語を判別し、その言語でシミュレーション全体を進めます。Finはその言語で応答し、シミュレーションされた顧客もその言語で追加入力し、スコアカードもその言語で採点されます。
シミュレーションされた顧客に言語オーバーライドが設定されている場合、Finは実際の顧客と同様にそれを使用します。
Finはワークスペースの多言語設定を尊重します。検出された言語がFinで有効化されていないか、十分な確信を持って検出できない場合（例：「Hi」のような非常に短いメッセージ）、顧客のMessenger言語にフォールバックし、それもなければワークスペースのデフォルト言語を使用します。
使用された言語はシミュレーションのトランスクリプトで確認できます。例：Finが言語をスペイン語に設定しました。
複数言語で同じシナリオをテストするには、言語ごとに1つのシミュレーションを作成し、Evalsのタグでグループ化します。言語検出が確実になるよう、最初のメッセージは少なくとも1文以上で書いてください。言語は開始時に1回設定され、会話中に顧客が言語を切り替えても変わりません。
対応言語の完全なリストはFinの対応言語を参照してください。
変更後およびスケジュールでEvalsを再実行する方法
Finのコンテンツ、ガイダンス、Procedure、またはSkillを変更した後、既存のEvalsを再実行して回帰をチェックします。すべてのシミュレーションは保存され再利用可能なため、再実行はテストシナリオを再作成するよりもワンクリックで済みます。毎週月曜の朝など定期的にEvalsを実行するには、OperatorでRoutineを設定し（OperatorでEvalsを作成・実行する参照）、選択したEvalsを指定した時間に実行します。Evalsページではスケジューリングは利用できません。