この記事では、OperatorにEvalsの作成、実行、分析を依頼し、提案された変更を確認し、定期実行をスケジュールする方法を説明します。OperatorはEvalsやSimulations、またはFinの設定の改善も推奨できます。基本事項やEvalsとSimulationsの説明はEvals for Finをご覧ください。
注意：OperatorでEvalsを使用するには、ワークスペースにProアドオンが必要で、Operatorへのアクセス権が必要です。
OperatorでEvalを作成する方法
OperatorでEvalを作成するには、Fin AI Agent > Operatorにアクセスし、ユースケースに合わせてEvalの作成を依頼します。
例えば、次のように依頼できます：
現在作業中のリリース：現在のリリースでのFinの設定変更（公開前）。
特定の会話：1つ以上の会話IDを共有すると、Operatorがそれらを再現するSimulationsを作成します。
まだカバーしていないエッジケース：既存のSimulationsのギャップを探し、新しいものを提案するようOperatorに依頼します。
新規または更新された手順：Finが各ステップを正しく実行し、引き継ぎポイントも含めて確認します。
トピック：例えば返金などのトピック名を指定すると、Operatorが顧客が問い合わせそうなシナリオをカバーするSimulationsを作成します。
既存のEvalのバリエーション追加：異なる顧客、トーン、言語のSimulationsを追加するようOperatorに依頼します。
Simulations、Simulationチェック、Handoffチェックの内容はOperatorに指定するか、Operatorに任せることができます。不明点（既存EvalへのSimulations追加の可否や引き継ぎ先チームなど）があれば、Operatorが最初に質問します。選択肢を選ぶか、Something elseに自分の回答を入力、またはSkipをクリックしてOperatorに決めさせてください。
ヒント：具体的な依頼ほど、Operatorの質問は少なくなります。
例のプロンプト：「Refund requests」という名前の新しいEvalを5つのSimulationsで作成してください。内容は単純な返金リクエスト、返金期間外の問い合わせ、二重請求で不満の顧客、スペイン語での問い合わせ、Billingチームへの引き継ぎです。名前やシナリオは自分のトピックやケースに置き換えてください。
Operatorが作成した内容の確認と保存方法
Operatorはあなたが確認するまで何も保存しません。新しいEvalsやSimulationsはメッセージボックス上の「changes pending」パネルに「New」と表示されます。項目をクリックして保存前に確認してください。
準備ができたら、変更を保存する場所を選択してください：
Publish to main：保留中のすべての変更をすぐにライブEvalsに保存します。
Save to release draft：変更を既存のリリースドラフトに保存し、他の変更と一緒にテストできます。リストからドラフトを選択するか、New release draftをクリックして新規作成してください。
変更を破棄するには、削除アイコンをクリックしてください。
OperatorでEvalを実行する方法
OperatorでEvalを実行するには、例えばRun the Refund requests Eval.のように依頼します。Operatorは各Simulationの実行結果を表示します。
Evalを実行するのにOperatorは必要ありません。Fin AI Agent > Test > Evalsにアクセスして自分で実行できます。Operatorから開始した実行もそこに表示され、すべての結果を一箇所で確認できます。
Operatorが提供する結果の読み方
すべてのSimulationが実行されると、Operatorは結果を整理して説明します：
結果表：各Simulationの総合結果（Passed、Failed、Error）とその背後にある個別チェックを示し、なぜその結果になったかがわかります。例えば「Bulk workspace export」というSimulationは、Finの返信チェックは合格でも、Handoffチェックが失敗（Finが不適切にエスカレーション）したため失敗することがあります。
概要：見出しのカウント（3 passed, 1 failed, 2 errored）と、何が問題でなぜそうなったかのわかりやすい説明。例えば、Operatorは「failure」という単語が出るとチームに引き継ぐガイダンスルールが原因の失敗を追跡できます。
Operatorで問題を修正する方法
結果を分析した後、OperatorはEvalsやSimulations、またはFinの設定の改善を提案し、それらの変更を行うこともできます。例えばSimulationがガイダンスルールのために失敗した場合、Operatorはそのルールを特定して修正箇所を示します。Operatorは自動で修正を適用しません。提案された変更は「changes pending」パネルに表示され、保存前に確認できます。詳細はOperatorが作成した内容の確認と保存方法を参照してください。
OperatorとRoutinesでEvalsをスケジュールする方法
毎週月曜の朝など定期的にEvalsを実行するには、OperatorでRoutineを設定します。Evalsページからはスケジュールできません。
Evalをスケジュールするには：
Fin AI Agent > Operatorにアクセスし、Routinesをクリックします。
Routineを設定で、実行内容と日時を記述します。例：「毎週月曜9時にRefund requests Evalを実行し、結果を要約してください。」
OperatorはRoutineの草案を作成し、右側パネルにトリガー、スケジュール、指示を表示します。時間やタイムゾーンが不足している場合は、デフォルトを提案し確認または変更を求めます。
Routineの詳細を確認し、Acceptをクリックして有効化、またはDiscardをクリックしてキャンセルします。
Routineが実行されるたびに、合格・不合格のSimulation数、失敗したSimulationと理由、Finのコンテンツ、ガイダンス、手順の推奨修正を報告します。