バッチテストでは、Finが実際の顧客の質問にどのように応答するかをシミュレートできます。これにより、コンテンツの網羅性を確認し、予期しない結果をデバッグし、ブランド、users、言語、Workflows全体でFinの動作を洗練できます。

Batch Testは、Intercomを使って会話をサポートするすべてのcustomers向けに設計されています。既存のFin customersでも、その可能性を探りたい方でも利用可能です。

メインナビゲーションからFin AI Agent > Testに移動し、質問の追加方法を選択します。

バッチテスト用の質問追加オプションは次のとおりです：

これらのオプションにより、Finが本番稼働前に実際の関連顧客の問い合わせに対してテストされ、コンテンツのギャップを発見し、異なる対象やシナリオに応じて回答を最適化できます。

質問グループを生成する各方法には、それぞれ利点と理想的な使用例があります。

過去30〜90日の最新の顧客会話に基づいて、最大50件の質問を自動生成できます。これにより、質問セットは現在顧客が尋ねている内容を正確に反映します。

これは現在の顧客ニーズを正確に反映した質問リストを素早く取得する方法です。

この方法はAIトピックを使用して、実際の顧客の問い合わせに基づくトピック別の質問セットを生成します。特定のテーマに集中し、その対応状況を理解したい場合に特に有用です。

一般的な使用例：

既存のデータから質問を生成したくない場合は、質問リストをコピー＆ペーストするか、1つずつ追加できます。この方法では、過去の会話に依存せず、正確な内容と表現を完全にコントロールできます。

一般的な使用例：

この方法では、他のサポートプラットフォームなどで生成された質問セットをアップロードできます。最大50件のテスト質問を含む単一列の.csvファイルが必要です。

一般的な使用例：

適切な質問生成方法を選択することで、Finのパフォーマンスを関連する顧客シナリオに対して評価・改善し、ギャップを特定して回答を向上させることができます。

テストの質問は、すべてのコンテンツにアクセスし、ターゲティングなしで自動化をすべてトリガーするために、一般的なプレビューユーザーを使用して自動的に実行されます。これらのテスト設定を構成するには、ページ上部のManageドロップダウンをクリックし、次にSettings.を選択してください。

Finをテストする方法を、usersまたはaudiencesをシミュレートして選択できます。Finを次のようにテストできます：

ワークスペースで複数のブランドを設定している場合、テストしたいブランドを選択できます。例えば、このブランドのコンテンツが異なる場合があるため、Finの応答がこれらのニュアンスを正しく認識しているかをテストできます。

これらの設定でテストを再実行するには、Confirmをクリックしてください。

テストを実行すると、各質問に対するFinの生成した応答を確認できます。

「Evaluate answer」パネルを使用して以下を確認します：

Batchテストでトリガーされた自動化は直接編集できませんが、パネルから関連する設定画面にリンクしているので、確認や迅速な調整が可能です。

新しい質問を追加するには、メインナビゲーションからFin AI Agent > Testに移動し、+ add questionボタンをクリックします。ドロップダウンメニューが表示され、質問の追加方法のさまざまなオプションが提供されます。

正確な言語での応答を得るために、Batchテストではテスト中にLanguage supportとReal-time translationの設定を簡単に確認・更新できます。

例えば、ロシア語の質問に英語で回答が返ってくるなど、期待した言語と異なる応答が表示される場合は、黄色のメッセージでその理由と解決方法が明確に示されます。

適切な設定を有効にして回答を更新すると、Finの応答が正しい言語で表示されます。

現在の設定に応じて、1つまたは両方の設定を有効にする必要がある場合があります。心配せずに、両方を同時にオンにしてこの画面に戻ってきてください。

Finの応答を確認し、事実の正確さ、適切なトーン、正しいデータアクセスや手順のトリガーが行われているかを評価します。

Acceptableを選択すると、Finの応答改善時に参照できる内部メモを追加できます。これらのメモはテストのCSV reportに含まれます。

Poorを選択した場合は、評価理由をリストから選択してください。ここで根本原因分析を行い、Finの回答が期待に沿わなかった理由を正しく特定し、即時改善を行います。

選択肢は以下の通りです：

Poor評価の回答の根本原因分析に役立つ指標については以下をお読みください。

Finが関連性のない、古い、または不完全な情報源に依存したため、回答が事実と異なる場合に使用します。

指標：

質問があいまいで重要な詳細が欠けている場合や、Finが文脈を尋ねずに早まって回答した場合に使用します。

指標：

基となるコンテンツは正しいが、Finが誤って解釈、結合、または順序付けした場合に使用します。

指標：

回答がブランドの声や状況の感受性に合っていない場合に使用します。

指標：

冗長さが意図やチャネルに合わない場合に使用します。

指標：

回答の言語が顧客や地域に合っていない場合に使用します。

指標：

上記のカテゴリに当てはまらない問題の場合に使用します（明確なメモを残してください）。

例：

評価に最も合う理由を選択したら、Improve this answerをクリックして、その特定の回答の根本原因に合わせた動的な推奨事項を表示します。

以下のガイダンスの追加または修正：

以下のスニペットの追加：

以下のための記事の作成または更新：

対応言語の更新：

この例は、Poor評価の質問に対する仮想的な根本原因分析と解決策を示しています。

質問：「支払いなしで新しいuserを追加するには？」

何が起こったか：Finはuserを招待する一般的な手順で回答しましたが、プランベースの請求のニュアンスを見落としました。

根本原因分析：回答の詳細は、無料席と有料席のプラン/請求の詳細をカバーしていない「Invite user」記事にFinが依存していたことを示しています（知識のギャップ）。

理由を選択：「正しいコンテンツを使用しなかった。」

提案：「Invite user」記事を更新して関連情報を含める；Finが回答前に関連プランタイプを特定するために明確化質問をするよう指導を追加する。

回答状況：でテストをフィルターする

回答評価：でテストをフィルターする

質問の左側のチェックボックスを使って一括更新を行います。これにより、特定の質問をダウンロード、削除、テストグループの作成、またはその質問に関連する回答の更新が一括で可能になります。

test groupsを使って、テストエリアで最大50件の質問と回答を整理・保存できます。これは一度にアップロードできる最大数で、関連する質問をグループ化して簡単にレビューや再利用ができます。各test groupは、特定のuserをシミュレートするなど、テスト時に使用した設定を保持し、いつでも同じ構成でテストを再実行できます。

ページ上部のManageをクリックし、+ 新しいグループを作成するオプションを選択します。

そこから、新しいtest groupに質問を追加するための柔軟なオプションがいくつかあります：

グループの名前変更やtest groupの削除はManageをクリックして行います。

test groupの名前をクリックして追加のグループを作成するか、以前保存した別のグループを選択します。

test groupsはトピックごとに質問を整理するのに特に便利です。例えば、保険請求の質問をテスト・レビューした場合、「Insurance Claim Questions」というラベルのグループとして保存できます。これにより、その内容を後で簡単に再訪問、再実行、評価できます。

また、チームのコラボレーション管理にも最適です。Batch testはワークスペースレベルの機能なので、test groupsを使うことでチームメンバーはテスト実行を分けて管理できます。以前のテストを削除してスペースを空ける代わりに、グループに保存して全員の作業を保持できます。

すべての質問、回答、userが適用した評価、および各回答に使用されたソースをまとめたCSVファイルを生成できます。ページ上部のManageをクリックし、CSVレポートを取得を選択してください。

これは、チーム全体で結果を共有したり、上級リーダーがレビューするための可視性を高めるのに最適です。

Fin Vision（画像認識）はまだBatch testセクションでサポートされていません。

いいえ、Fin AI Agent > Testページは無料で使用でき、Batch testを通じて生成されたAI回答に料金は発生しません。👌

はい、テスト問題を自動生成できます。ただし、「Generate from inbox」オプションを表示するには、過去90日間にワークスペース内で最低1件の会話が必要です。

いいえ。Batch testは品質保証専用で、評価は改善点の特定に役立ちますが、Finの再トレーニングには使われません。

はい。Batch testは不足している言語や翻訳設定をチェックしてフラグを立てるので、簡単に解決できます。

はい。Batch testでは、ワークスペース内のuserまたはleadを選択し、その特定のユーザー属性に基づいてFinがどのように応答するかを確認できます。

テストをリセットすると、会話履歴またはアップロードから別のバッチを選択できます。テストを再実行すると、バッチ内で提供したコンテンツの変更や回答評価に基づいて回答が再生成され、パフォーマンスの改善を続けられます。

「Generate from inbox」オプションは、inbox内に十分な会話や関連トピックの会話がない場合に無効になります。

いいえ。Batch testingはシミュレーションのみで、顧客データを変更しません。

Batch testingが実行されるとき：

これにより、Intercomデータや外部システムに影響を与えずに、安全に応答と動作を検証できます。