メインコンテンツにスキップ

会話デバッグにFin Operatorを使用する

Internal Agentを使って、Finが会話で特定の動作をした理由(誤答、予期しないエスカレーション、手順の問題など)を調査し、根本原因を修正します。

対応者:Patrick Andrews

Finが会話で特定の動作をした理由とその修正方法を理解します。Fin OperatorはFinの思考、トレース、使用したコンテンツソースを含む全文のトランスクリプトを読み取り、何が起きたかを診断し、根本原因の解決を支援します。

調査できる内容

  • 特定の回答がなぜ出されたのか—どのコンテンツソースが使われ、Finがそれらをどう推論し、正しい情報が利用可能だったか。

  • Finが特定の動作をした理由—特定の応答、エスカレーション、解決に至る意思決定の経路をたどり、どのコンテンツ、ガイダンスルール、手順が結果に影響したかを確認。

  • 手順のステップが特定の方法で実行された理由—どのステップがどの順序で、どのデータで実行され、なぜステップがスキップされたり予期しない分岐があったかを正確に確認します。


例のプロンプト

  • 「なぜこの会話でFinは誤答をしたのか?」(会話のリンクまたはIDを貼り付けてください)

  • 「この会話はエスカレーションされました—なぜですか?」

  • 「なぜこの手順のステップ3がスキップされたのか?」


Fin Operatorの調査方法と修正方法

Fin Operatorは必要なデータを取得し、Finの設定を照合し、修正案を提案します—すべて一連の流れで行います。

  1. 会話全文を取得—Finの推論トレース、参照したコンテンツソース、実行したツールコールを含みます。

  2. Finの設定を参照—関連するコンテンツ、ガイダンスルール、手順定義を確認し、Finが何を扱っていたかを理解します。

  3. 根本原因を特定—問題がコンテンツ、ガイダンス、手順、またはその組み合わせにあるかを明確にします。

  4. 修正案を提案—根本原因に応じて、knowledge base、手順、またはガイダンスルールの変更を提案します。同じ会話内でレビューと承認が可能です。

手順の問題の場合、Fin Operatorは実行トレースを取得し、どのステップがどの順序でどのデータで実行されたかを正確に示し、手順定義と照合して根本原因を特定します。


ヒント

  • 特定の会話リンクやIDを共有してターゲットを絞ったデバッグを行いましょう。具体的であればあるほど、Fin Operatorは問題を速やかに診断できます。

  • パターン分析には調査内容ではなく症状を記述してください。「返品について問い合わせる顧客がエスカレーションされている」は「返品関連の会話のエスカレーショントリガーを確認する」より適切です。Fin Operatorに適切な調査経路を判断させましょう。

  • 何が問題か分からない場合は、まず単一の会話から始めましょう。Fin Operatorがパターンを特定したら、同じ問題が他の会話にもあるか確認を依頼できます。

  • Fin Operatorは実際のデータに基づいて主張を検証します。「ステップ3がスキップされた」と言った場合、それが本当に起きたかを確認してから説明を作成します。

こちらの回答で解決しましたか?