メインコンテンツにスキップ

Finでリリースを展開する方法

リリースをMain Finにマージし、段階的展開やA/Bテストを実施し、結果を確認して必要に応じて変更を元に戻します。

対応者:Dawn Perrott

リリースのプレビューが良好な場合、変更を顧客に届ける方法を決定します。この記事では各展開オプション、結果の読み方、変更の取り消し方法を説明します。

注意:リリースをマージしたり展開を開始・終了するには、チームメンバーがリリース内のすべての変更種類に対して公開レベルを持っている必要があります。例えば、リリースにガイダンスとHelp Centerの記事が含まれる場合、Fin AI Agent & AutomationとHelp Centerの記事の両方の公開レベルが必要です。各レベルの正確な権限オプションはReleases for Finを参照してください。


展開オプションを選択する

リリースを開き、Rollout releaseをクリックします。次に2つのオプションから選択してください。

  • Publish to Fin Main — 変更をすぐにMain Finに公開し、すべての顧客に適用します。

  • Roll out gradually — 変更が全員に適用される前に、一部の会話で段階的展開またはA/Bテストを実施します。

Publish to Fin Main

Publishing to Fin Mainは、変更をすぐにMain Finに公開し、すべての関連する会話に適用します。変更に自信があり、すべての場所で有効にしたい場合に選択してください。

Roll out gradually

Roll out graduallyを選択すると、完全に適用する前に一部の会話で変更をテストできます。展開タイプを選択してください。

  • Gradual rollout — 会話の一定割合にリリースを適用し、そのパフォーマンスを監視します。自信がついたら、より高い割合で新しい展開を開始します。

  • A/B test — トラフィックをMain Finと分割し、解決率への影響を統計的に測定します。数値の変化を証明したい場合に最適です。

段階的展開の設定

Gradual rolloutを選択した後、Nextをクリックして以下を設定します。

  • Name — デフォルトはリリース名と今日の日付です。展開を説明するために編集してください。

  • Audience — 展開の対象者。デフォルトはEveryoneです。

  • Traffic split — リリースを使用する会話の割合。デフォルトは10%で、残りはMain Finに留まります。

  • Results analysis — オプションでリリースの変更に関連する会話を特定し、フィルター(例えばトピックやFin属性)を追加してさらに絞り込みます。結果は変更が影響を与える可能性のある会話のみを比較します。変更が一部の会話にのみ適用される場合はこれをオンにすることを推奨します。そうでないと無関係な会話が実際の影響を隠したり、偶然の結果を生むことがあります。

Start gradual rolloutをクリックします。展開はすぐに開始され、リリースのResultsタブの「Running」に表示されます。

注意:展開が開始された後はトラフィックスプリットを変更できません。割合を増減(例えば20%から60%へ)したい場合は、展開を終了して希望の割合で新しい展開を開始してください。

注意:展開やA/Bテストが実行中は、リリースの編集やMain Fin内のアイテムの編集、公開、非公開ができません。リリースは一度に1つの展開のみ実行します。変更するにはまず展開を停止してください。


展開結果を見る

リリースのResultsタブを開きます。実行中の展開は「Running」、完了したものは「Past」に表示されます。展開をクリックすると結果が見られます。

段階的展開の結果

リリースが処理した会話を詳しく調べ、Main Finの会話と比較して挙動を確認します。

A/Bテストの結果

A/Bテストの結果は以下を示します:

  • Result label — リリースが測定可能な違いをもたらしたかの短い評価。

  • Estimated effect — リリースが解決率に与えた変化(パーセンテージポイント、pp)と95%信頼区間。グラフでは点が推定値、棒が範囲、中央の線はゼロ(変化なし)を示します。

  • Conversation volume — リリースに割り当てられた会話数とMain Finに割り当てられた会話数。「Expected split」はトラフィックが設定通りに分割されていることを意味し、公平な比較が可能です。

  • Resolution rate — リリースの解決率(紫の棒)とMain Finの解決率(灰色の棒)。

有意な結果

信頼区間全体がゼロを上回っているため、改善は実際のものでノイズではありません。

結論が出ない結果

信頼区間がゼロをまたいでいるため、差がない可能性を排除できません。データを増やすことで範囲が狭まり、有意な効果が明らかになるかもしれません。

悪化する結果

信頼区間全体がゼロを下回っているため、リリースは解決率を下げています。展開を終了し、リリースを見直すことを検討してください。

カスタムレポートでリリースを報告する

ReleaseとExperimentのフィルターをReportsのカスタムレポートに追加し、展開バリアント間のパフォーマンスを比較します。


展開を終了する

展開を終了すると、リリースが顧客に影響を与えるのを停止します。進行中の会話も含め、すべての会話が即座にMain Finに戻ります。

  1. 停止したい展開を含むリリースを開きます。

  2. Resultsタブを開き、展開名の横にある…メニューをクリックします。

  3. End rolloutを選択します。


公開済みリリースをロールバックする

リリースがMain Finにマージされた後、そのリリースから変更をロールバックできます。これはMain Fin内の各アイテムのバージョン履歴を使用します。リリースは変更したすべてのアイテムに直接アクセスできるため、自分で探す必要はありません。

注意:エスカレーションガイダンス、スニペット、内部記事、評価、削除されたアイテムには現在ロールバックは対応していません。

マージされたリリースから変更をロールバックするには:

  1. Releasesからリリースを開きます。

  2. 右上のRoll back changesをクリックします。

  3. 「このリリースから変更をロールバック」ダイアログでリリース内の変更リストを確認します。

  4. アイテムの横にある戻すアイコンをクリックするとMain Finで開き、リリース前のバージョンにロールバックできます。

ヒント:Releasesが初めてですか?Releases for Finから始めて、リリースの作成、プレビュー、テスト方法を学びましょう。

こちらの回答で解決しましたか?