メインコンテンツにスキップ

公開前にリリースでコンテンツを更新してテストする方法

Fin Operatorでコンテンツを更新し、リリースに保存し、Evalsでテストして、すべての変更をまとめて公開します。

対応者:Dawn P

この記事を使ってOperatorでコンテンツを更新し、変更をすぐに公開せずにリリースに保存し、Finがその変更にどう答えるかをEvalsでテストし、すべての変更をまとめて公開します。このプロセスは、価格やポリシーの更新など、複数の記事に影響する変更で、公開日が決まっている場合に便利です。

注意:OperatorはProアドオンの一部として含まれています。Operatorを使用するにはProアドオンが必要です。

リリースのテストプロセスはどのようなものですか?

リリースのテストプロセスでは、コンテンツの変更を準備し、Finでテストし、準備ができるまで顧客が見るFin Main(顧客、Fin、Copilotが使用するライブ版コンテンツ)には影響を与えずにまとめて公開できます。リリースとは、テストしてまとめて公開する保存されたコンテンツ変更のセットです。

このプロセスは5つのステップに従います:

  1. Operatorでコンテンツを更新するか、Fin Mainで自分で編集します。

  2. 変更をリリースドラフトに保存し、すぐに公開しないようにします。

  3. お客様が質問する内容をカバーするシミュレーションを使ってEvalを作成します。

  4. リリースとFin MainでEvalを実行して比較します。

  5. 結果が正しければリリースを公開します。

例えば、返金期間が30日から14日に変更される場合、返金期間に言及しているすべての記事を更新し、変更を1つのリリースに保存し、Finが新しい回答をするか確認し、ポリシー変更日にすべて公開できます。


Operatorでコンテンツを更新する方法

Operatorは変更の影響を受けるすべての記事を見つけて、更新案を提案します。Operatorでコンテンツを更新するには:

  1. Operatorを開きます。

  2. 変更内容を説明し、Operatorに影響を受けるコンテンツを見つけて更新を提案するよう依頼します。例:「返金期間が30日から14日に変わります。返金期間に言及しているすべての記事とスニペットを見つけて更新案を提案してください。」

    新しいOperatorチャットでメッセージボックスに入力されたプロンプト:返金期間が30日から14日に変わり、Operatorが返金期間に言及しているすべての記事を見つけて更新案を提案します。
  3. レビュー パネルで各提案を確認します。保存する前に追加、削除、変更される内容を確認できます。

  4. 正しくない提案があれば、Operatorに調整を依頼します。

ヒント:Fin Mainで記事を自分で編集し、同様にリリースに保存することもできます。詳細はFin Mainでの記事の公開、保存、非公開方法をご覧ください。


コンテンツの変更をリリースに保存する方法

コンテンツの変更をリリースに保存すると、Fin Mainには反映されず、リリースを公開するまで顧客やFinは現在のコンテンツを使い続けます。Operatorの提案した変更をリリースに保存するには:

  1. レビュー パネルでPublish to mainの横にある矢印をクリックします。

  2. 既存のリリースを選択するか、New release draftをクリックします。

    Operatorレビュー パネルで2件の変更が保留中で、Publish to mainメニューが開いています。Save to release draftの下に既存のリリースとNew release draftオプションがあり、矢印が指しています。右側の記事は30日から14日に変更されています。
  3. 新しいリリースの場合は名前と任意の説明を入力し、Create releaseをクリックします。

    リリース作成ダイアログで、名前欄に「Refund window update」、任意の説明欄、キャンセルとリリース作成ボタンがあります。
  4. 同じリリースに含めたい提案ごとに繰り返します。

変更を保存すると、Operatorのメッセージボックスの横にリリースアイコンと件数が表示されます。アイコンをクリックするとリリース名、ステータス、内容が表示され、Open releaseをクリックしてリリースに移動できます。

Operatorチャットで「2件の変更を適用しました」と表示され、「How to request a refund」と「Processing Refunds at Examply」の2記事が「In release」とマークされています。矢印がIn releaseラベルを指しています。リリースアイコンに数字の2がメッセージボックスの下にあります。

チャット内の保存済み変更の横にあるIn releaseラベルをクリックしてリリースを開くこともできます。

メッセージボックス横のリリースアイコンから開いたリリース概要。リリース名はRefund window update、ステータスはドラフト、編集済み2件、変更された両記事とその変更内容がリストされ、下部にOpen releaseボタンがあります。矢印がリリースアイコンを指しています。

注意:

  • リリースに保存された変更はライブではありません。顧客、Fin、Copilotはリリースを公開するまでFin Mainのバージョンを使い続けます。

  • リリース内で直接編集すると、エディターは自動保存しません。頻繁にSave to releaseをクリックしないと、ページを更新した際に編集内容が失われます。

ヒント:Operatorとリリースの使い方を詳しく学べます。


リリース用のEvalを作成して実行する方法

Evalは保存されたテスト会話(シミュレーション)のセットで、Finが回答し、その応答を確認できます。リリース内でEvalを実行すると、Finはリリース版のコンテンツを使って回答するため、顧客に影響を与えずに変更の効果を確認できます。Evalは最大50件のシミュレーションを保持できます。

Operatorでリリース用のEvalを作成する方法

  1. Operatorに変更用のEval作成を依頼します。例:「Refund window updateというEvalを作成し、返金期間の質問、20日後の返金要求、ポリシー変更の有無を尋ねるシミュレーションを含め、Refund window updateリリースドラフトに保存してください。」

    新しいOperatorチャットでメッセージボックスに入力されたプロンプト:Refund window updateというEvalを作成し、返金期間の質問、20日後の返金要求、ポリシー変更の有無を尋ねるシミュレーションを含め、Refund window updateリリースドラフトに保存してください。
  2. メッセージボックス上の変更保留パネルでOperatorが提案するシミュレーションを確認します。各シミュレーションは顧客が新しい返金期間について質問するテスト会話です。保存前に追加、削除、変更をOperatorに依頼できます。

    Eval作成後のOperatorの返信。3件の変更保留中:Refund policy changed、Refund after 20 days、Refund window lengthがそれぞれApply to releaseとマークされています。パネル下部にSave to releaseボタンがあります。開いているシミュレーションRefund policy changedはチャットチャネル、顧客の最初のメッセージ「最近返金ポリシーは変更されましたか?」、ハンドオフなしとFinの返信をチェックしています。
  3. Save to releaseをクリックします。すべてのシミュレーションがリリース内のEvalに保存されます。

  4. リリースのEvalsタブからEvalを実行し、Evalの行のRun evalをクリックします。Eval内のすべてのシミュレーションはリリース版のコンテンツを使って実行されます。

    ドラフト状態のRefund window updateリリースのEvalsタブ。Changed in this releaseに新しいEval Refund window updateがあり、3件のシミュレーションが未実行、Run evalボタンがあります。その下にFin Mainから21件のEvalsがリストされ、Add more evalsオプションがあります。
  5. 結果を開いて各シミュレーションの回答とFinが使用したコンテンツを確認します。

    Refund window update Evalの結果ページ。3/3合格。シミュレーション会話Refund policy changed、Refund after 20 days、Refund window lengthはそれぞれ合格結果と「たった今」の最終実行日時を示しています。リスト上部にRun allボタンがあります。

シミュレーションが失敗した場合はリリース内のコンテンツを更新し、再度Evalを実行します。リリース内の項目を編集するには、リリースを開き、項目をクリックし、Edit contentをクリックして変更し、Save to releaseをクリックします。

ヒント:リリースのPreviewを使って、顧客のようにFinとチャットできます。プレビュー会話はリリースの変更を使い、Fin Mainには影響せず、料金もかかりません。


リリースを公開する方法

リリースを公開すると、その中のすべての変更が同時にFin Mainでライブになります。リリースを公開するには:

  1. リリースを開き、Evalが合格していることを確認します。

  2. リリースページ右上のReleaseをクリックします。

    Refund window updateリリースの右上にReleaseメニューが開いています。メニューにはFin Mainに公開(変更をFin Mainに公開し、すべての顧客にリリース)と段階的に展開(全顧客に公開する前に一部の顧客にリリース)があり、EvalsタブにはRefund window update Evalが3/3合格と表示されています。

    左サイドバーのリリース名の下にあるReleaseをクリックすることもできます。

    ドラフト状態のRefund window updateリリース。左サイドバーのリリース名の下にReleaseボタンがあり、同じメニューが開いています。Fin Mainに公開が強調表示され、EvalsタブにはRefund window update Evalが3/3合格と表示されています。
  3. Publish to Fin Mainを選択します。全員に公開する前に一部の顧客にリリースする場合はRoll out graduallyを選択します。

公開後、リリースはステータスがPublishedになり、顧客、Fin、Copilotはすぐに更新されたコンテンツを使用します。Operatorに公開を依頼することもできます。Operatorは変更内容を要約し、公開前に確認を求めます。

重要:公開されたリリースは全体として元に戻せません。公開後に変更を元に戻すには、リリース内のRoll back changesを使用してください。詳細はFinでのリリース展開方法をご覧ください。


リリースでコンテンツをテストするベストプラクティスは?

リリースでコンテンツ変更をテストする際に信頼できる結果を得るためのベストプラクティス:

  • リリースごとに1つの変更を保つ。ポリシー更新など1つの変更に関するコンテンツを1つのリリースにまとめ、単独でテスト・公開できるようにします。

  • まずベースラインを実行。変更前にFin MainでEvalを実行し、リリースが何を改善するか確認します。

  • 引用されたコンテンツを確認。間違った記事からの正しい回答は、別の顧客に誤った回答を与える可能性があります。

  • 対象顧客向けコンテンツは実際の顧客プロファイルでテスト。特定の顧客のみが使う記事は、その対象顧客としてプレビューで回答を確認します。

  • Evalを保持。公開後にFin MainにEvalを保存し、将来の変更後に回帰チェックとして再実行できます。


よくある質問

リリース内のEvalはリリースのコンテンツをテストしますか、それともライブのコンテンツですか?

リリース内で実行されるEvalは、リリース版のコンテンツ、ガイダンス、手順、スキルをテストします。Fin Mainのライブコンテンツは使われず、顧客に影響はありません。

顧客はリリースに保存された変更を見ますか?

顧客はリリースが公開されるまで、リリースに保存された変更を見ません。それまでは顧客、Fin、CopilotはFin Mainのコンテンツを使い続けます。

Operatorは私の承認なしにリリースを公開できますか?

Operatorは承認なしにリリースを公開できません。公開や展開開始前に必ず変更内容を要約し、確認を求めます。

リリースでできないことは?

リリースでできない変更もあります:

  • Data Connectorの変更はOperatorでリリースに追加できません。

  • 公開済みリリースのロールバックはOperatorではできません。代わりにリリース内のRoll back changesを使ってください。

Operatorで変更を保存した後、リリースを開くには?

Operatorで変更を保存した後、メッセージボックス横のリリースアイコンをクリックし、Open releaseをクリックします。チャット内の保存済み変更横のIn releaseラベルをクリックしても開けます。どちらもリリースを開き、Evalの実行や公開ができます。

こちらの回答で解決しましたか?