メインコンテンツにスキップ

Fin [ベータ] のリリース

すべての変更を自信を持ってリリースする

対応者:Alissa Tyrangiel

Releasesは現在クローズドベータです。早期アクセスに興味がある場合は、このベータリクエストフォームにご記入ください。

Releasesとは何ですか?

Finがカスタマーサポートの重要な部分になるにつれて、変更管理はより複雑になります。コンテンツ、ガイダンス、手順、その他の設定が連携しているため、小さな更新でも予期しない影響を及ぼすことがあります。Releasesはこれらの変更を管理するための構造化された方法を提供します。

Releasesは専用の作業スペースでFinの設定変更を安全に準備・展開できるようにします。編集を直接ライブのFin設定に公開する代わりに、すべての変更はリリースに追加されます。

Releasesを使うと、次のことができます:

  • 関連する変更を1つのリリースにまとめる。

  • 変更がライブになる前にチームメイトと協力する。

  • 展開前にプレビューとEvalsで変更を検証する。

  • 自信を持って展開する:すぐに公開するか、段階的展開やA/Bテストで現在のライブFinバージョンと比較しながら徐々に展開できます。

Releasesの一般的な使用例

製品発売の準備

新しい製品や機能を発売する場合、すべてを1つのリリースで事前に準備できます。例えば、Help Centerの記事を更新し、新しいガイダンスを追加し、新機能の手順を作成し、Finの他の設定を調整することができます。

すべて準備が整ったら、一度に公開するか、段階的展開やA/Bテストで徐々に展開できます。

Finの顧客質問への回答を改善する

Finがより良い回答を提供できるようにコンテンツを再編成する場合、すべての変更をリリースにまとめて、新しい設定を現在のライブ設定と比較できます。

これにより、更新されたコンテンツが回答の質を向上させるかどうかを、より広く展開する前に測定できます。

情報提供の回答を自動解決に置き換える

現在、返金に関する質問にはHelp Centerのコンテンツで対応し、その後サポートチームに引き継いでいるかもしれません。

Releaseを使うと、Finが返金処理をエンドツーエンドで行う新しい手順を導入し、段階的展開やA/Bテストで既存のコンテンツベースの体験と比較しながら徐々に展開できます。

リリースの作成

リリースは変更を保持します。変更を追加し、安全に編集し、不要になったものはリリースの一部として削除できます。ライブのFinには、公開または実験を開始するまで何も影響しません。

最初のリリースを作成するには、Fin AI Agent > ナビゲーション上部のドロップダウンから「Service」を選択し、その下のドロップダウンで「Fin Main」をクリックします。リリースを作成をクリックしてください。

説明的な名前と説明を付けてください。例えば「返金処理の変更」のように、何が変わるかを示すものです。説明は内部用で、リリースの内容を簡単に識別できます。

これでリリースに変更を追加できます。例えば、「Content」でヘルプ記事をテストし、「Guidance」や「Escalation Guidance」で行動ルールをテストし、「Procedure」で複数ステップのフローをテストします。

変更を追加すると、リリースの変更リストに表示されます。

アイテムをクリックして差分を表示すると、各アイテムで行われた正確な変更が簡単に確認できます。

リリース内でトレインアイテムの追加・編集・削除

リリース内でさらにアイテムを追加・編集・削除するには、リリース内で変更を追加をクリックします。リリース内で以下のアイテムタイプを操作できます。

  • コンテンツ(公開記事、内部記事、スニペット)

  • ガイダンス

  • エスカレーションガイダンス

  • 手順

何が変わるかを見る

リリースの概要にはすべてのアイテムがリストされているので、簡単に全体を把握し、必要に応じてさらに変更できます。

リリース概要の各アイテムには、変更の種類を示すインジケーターが付いています。

  • +1 — 作業スペースに以前存在しなかった新しいコンテンツが追加されました。

  • -1 — 作業スペースから削除されたコンテンツ。

  • 鉛筆アイコン — 作業スペースに既に存在し、編集されたコンテンツ。

ReleasesとMain Finの切り替え

異なるReleasesに切り替えたい場合は、ページ左上のナビゲーションのスイッチャーを使ってください。そこから新しいReleasesを作成したり、ライブのFinの本番バージョンである「Main Fin」に切り替えたりできます。

プレビュー

ライブ会話に到達する前に、リリースをプレビューして、変更が適用されたFinの動作を正確に確認してください。

  • プレビューはリリースの変更が適用されたFinを実行するため、顧客が実際に受ける動作を確認できます。

  • プレビュー会話はライブのFinに影響せず、料金も発生しません。

  • ライブに移行したり実験を開始する前に、すべての変更をサニティチェックするために使用してください。

ヒント:お客様が実際に質問する正確な内容をテストし、Finが新しい方法で応答することを確認してください。

注意:プレビュー会話はテスト中にライブのInboxに表示されます。これは期待される動作であり、bugではありません。プレビューの一環としてFinが応答している実際の会話です。レポートや請求には影響しません。

リリースでEvalsを実行する

この特定の機能を使用するには、Evalsベータへのアクセスが必要です。 Release内でEvalsを実行するには、Fin Evalsクローズドベータに参加している必要があります。まだオプションが表示されない場合は、ベータリクエストを送信してアクセス権を取得してください。

Previewは、Finがあなた自身で入力した1つの質問をどのように処理するかを教えます。Evalsは、保存されたテスト会話のセット全体をReleaseに対して実行し、それぞれに自動的に合格/不合格の結果を出すことができるため、変更がFinの他の動作を壊していないかを顧客に届く前に確認できます。

Evalは、テーマ別のSimulationのグループ(あなたが定義した基準を持つ現実的な複数ターンのテスト会話)です。Releaseに対して実行すると、すべてのSimulationがライブのFin Main構成ではなく、Releaseの変更が適用された状態で実行されます。ライブの会話には影響しません。

Evals、Simulations、およびスコアリングの詳細については、Fin Evals [beta]をご覧ください。

Releaseでのevalの作成

開始するには、テストしたいReleaseを開きます。Releaseの概要ページでEvalsセクションを見つけて、See Evalsをクリックします。

実行したいEvalを選択します。既に回帰テストスイートとして構築したものか、この変更のために新しく作成したもののいずれかです。

実行します。Eval内のすべてのSimulationがReleaseに対して実行され、合格/不合格の結果、完全な会話の記録、Finの思考を示すイベントログ、および各Simulationの結果が返されます。

失敗した箇所を確認し、Release内でさらに変更を加え、修正を確認するためにEvalを再実行します。

ヒント:Releaseをライブに設定したり実験を開始する前にEvalsを実行してください。Previewは特定の質問のスポットチェックに最適で、Evalsはすでにテストした内容がReleaseで後退していないことを確認するのに最適です。

権限

Releaseをライブに設定したり、ロールアウトを開始および終了するには、チームメンバーに「Can manage Automation settings and inbound Workflows」の権限が必要です。

ライブにして段階的に展開する

変更がプレビューで問題なければ、どのように顧客に届けるかを決定します。

Releaseの概要ページでRollout releaseをクリックし、次の2つのオプションのいずれかを選択します:すぐにすべての顧客に公開するMerge to main、または段階的なロールアウトやA/Bテストを実施してから全員に展開するRoll out gradually。

Merge to main

Merge to mainは、変更をすぐにFin Mainに公開し、すべての関連する会話に適用します。変更に自信があり、すべての場所で有効にしたい場合に選択してください。

Roll out gradually

Roll out graduallyを選択すると、完全にコミットする前に会話の一部に対して変更をテストできます。2つのロールアウトタイプから選択してください:

  • Phased rollout — 会話の一定割合にReleaseを展開し、パフォーマンスを監視し、自信がついたら割合を増やします。

  • A/B test — Fin Mainとトラフィックを分割し、統計的有意性のある指標を測定します。数値の変動を証明したい場合に最適です。

段階的ロールアウトの設定

Phased rolloutを選択した後、以下を設定します:

  • 名前 — デフォルトはリリース名と今日の日付です。ロールアウトを説明するために編集してください。

  • 対象者 — ロールアウトの対象(デフォルトはEveryone)。

  • トラフィックスプリット — 新しいReleaseを使用する会話の割合を選択します(デフォルトは10%)。残りはMain Finのままです。

  • 結果分析 — オプションで、リリースの変更に関連する会話を特定して測定を容易にし、さらに絞り込むためのフィルターを追加します。これをオンにしてフィルター(例:トピックやFin属性)を追加すると、変更が影響を与える可能性のある会話のみを比較します。変更が一部の会話にのみ適用される場合は、これを使用することを推奨します。そうしないと、無関係な会話が実際の影響を隠したり、偶然の結果を生む可能性があります。

Start phased rolloutをクリックして開始します。ロールアウトはすぐに開始され、ReleaseのRolloutsタブのActive rolloutに表示されます。

ロールアウト結果の表示

ロールアウトが実行中の場合、ReleaseのRolloutsタブを開きます。実行中のロールアウトはActive rolloutに、完了したものはPast rolloutに表示されます。

こちらはphased rolloutの結果の例です。リリースによって影響を受けた会話を簡単に掘り下げて、Fin Mainの会話と比較してスポットチェックできます。

こちらはa/b test rolloutの結果の例です。以下が簡単に確認できます:

  • 結果ラベル:リリースが測定可能な違いをもたらしたかどうかの短い判定。

  • 推定効果:リリースが解決率にどれだけ影響を与えたか(パーセンテージポイント、pp)を95%信頼区間付きで示します。グラフはこの範囲を示し、点は推定値、バーは範囲、中央の線はゼロ(変化なし)を示します。

  • 会話量:リリースに割り当てられた会話数とMain Finに割り当てられた会話数。Expected splitはトラフィックが設定通りに分割されていることを意味し、公平な比較が可能です。

  • 解決率:リリース(紫のバー)とMain Fin(灰色のバー)の解決率。

有意な結果:

結論が出ない結果:

後退する結果:

Custom Reportsを使ったReleaseのレポート作成

独自のカスタムレポートも作成できます。ReportsセクションでカスタムレポートにReleaseとExperimentのフィルターを追加して、実験のバリアント間のパフォーマンスを比較してください。

ロールバック

ロールアウトの終了

Releaseのロールアウトを顧客に影響させないように停止するには、ロールアウトを終了します。新しい会話はすぐに現在のライブ設定に戻ります。

  1. 停止したいロールアウトを含むReleaseに移動します。

  2. Rolloutsタブを開き、ロールアウト名の横にある…(省略記号)メニューをクリックします。

  3. End rolloutを選択します。

注意:ロールアウトが開始されると、そのロールアウトの割合を調整することはできません。途中で増やしたり(例:20%→60%)、減らしたりすることはできません。トラフィックの割合を変更する唯一の方法は、ロールアウトを終了してから希望の割合で新しいロールアウトを開始することです。ロールアウトを完全に停止するには、…メニューからEnd rolloutを選択してください。

Merge to mainされたリリースの変更をロールバックする

リリースがFin Mainにマージされた後、そのリリース自体から変更をロールバックできます。

これは依然として各アイテムのバージョン履歴をFin Mainで使用しています。リリースは、変更されたすべてのアイテムに直接移動するだけで、ユーザーがそれぞれを探して開く必要はありません。

注意:エスカレーションガイダンス、スニペット、内部記事、評価、または削除されたアイテムには現在ロールバックはサポートされていません。

マージされたリリースから変更をロールバックするには:

  1. ロールバックしたいリリースをReleasesで開きます。

  2. リリースの右上にあるRoll back changesをクリックします。

  3. Roll back changes from this releaseダイアログで、リリースに含まれる変更のリストを確認します。

  4. アイテムの横にある戻すアイコンをクリックすると、そのアイテムをリリース前のバージョンにロールバックします。


1つのSalesforce環境でFinの設定をテストする方法

背景

Fin for Salesforceは複数のSalesforce組織に接続します。1つのワークスペースはライブ組織と1つ以上のテスト組織を保持できます。接続された各組織はenvironmentです。

リリースで追加されるもの

すでにWorkflowsを1つの環境にスコープできます。Deployを開き、Salesforce casesなどのワークフローを開き、トリガーでEnvironmentを設定します。デフォルトはAll environmentsです。

そのピッカーはどのワークフローが実行されるかを制御します。内容、ガイダンス、またはFinが読み取る手順は変更しません。Finはすべての環境で同じライブ設定を読み取ります。

リリースは設定自体を変更します。リリースは1つの対象者のために各エンティティの異なるバージョンを固定します。エンティティは識別子を保持するため、コピーしません。1つの対象者と1つの割合がグループ全体を制御し、ロールバックできます。

なぜ機能するのか

Finは環境を各会話に書き込みます。環境はシステム定義の会話属性です。対象者ルールはこの属性を読み取れます。

リリースの展開は1つの対象者を取ります。展開は対象者に一致する会話にのみリリースを適用します。

仕組み

ステップ1 — 環境が接続されていることを確認する

Connectを開きます。Connect Fin to a test organizationで組織を見つけます。ステータスはConnectedでなければなりません。

ステップ2 — 対象者リストを開く

Settingsを開きます。DataグループでAudiencesを選択します。

ステップ3 — 環境の対象者を作成する

新しい対象者を作成します。環境名を含む名前を付けます。

Add audience ruleを選択します。Conversation dataグループでEnvironmentを選択します。

テストしたい環境を選択します。次にSaveを選択します。

ステップ4 — 段階的展開を開始する

リリースを開きます。Rollout releaseを選択します。次にRoll out graduallyを選択します。

重要: Merge to mainを選択しないでください。これは変更をFin Mainに直接適用します。

ステップ5 — 対象者を選択し、分割を100%に設定する

タイプはPhased rolloutのままにします。

Audienceでステップ3の対象者を選択します。

Traffic splitでスライダーを100%に動かします。パネルには100% Release (treatment)と0% Main Fin (control)が表示されている必要があります。

Start phased rolloutを選択します。

ステップ6 — テスト

テスト組織で新しい会話を開始します。Finはリリースの設定で応答します。

ライブ組織で会話を開始します。FinはFin Mainで応答します。


よくある質問

「Fin Main」とは何ですか?

Fin MainはFinのライブ本番バージョンです。リリース内の内容は、実験をライブに設定するかリリースを100%ライブに設定するまでFin Mainに影響しません。

リリース内で何を追加、編集、削除できますか?

リリース内でコンテンツ、ガイダンス、エスカレーションガイダンス、手順を追加、編集、削除できます。属性やデータコネクターを含む追加のエンティティタイプのサポートは現在進行中で、まもなく提供予定です。

2つのリリースが同じアイテムを変更した場合はどうなりますか?

2つのリリースが同じコンテンツ、ガイダンス、手順、またはその他のサポートされているエンティティの変更を含む場合、変更は統合されません。リリースを公開すると、そのエンティティのバージョンが現在のライブバージョンを置き換えます。例えば、リリースAとリリースBが同じガイダンスを編集した場合、リリースAの後にリリースBを公開すると、ガイダンスはリリースBのバージョンで上書きされます。

リリース内の編集中に変更を途中保存できますか?

リリースエディター内では変更は自動保存されません。保存前にページを更新したり離れたりすると、保存されていない編集内容は失われます。作業中は頻繁に保存してください。

こちらの回答で解決しましたか?