メインコンテンツにスキップ

ウェブサイトの同期と管理

Knowledgeの公開URLを同期し、このコンテンツをFinで利用可能にする方法。

対応者:Beth-Ann Sher

ウェブサイトのコンテンツをIntercomに追加し、Fin AI AgentやCopilotで利用可能にしたい場合は、サイトの公開URLを同期してください。ブログ投稿、変更履歴、ニュース更新、または日付付きの他のウェブページのコンテンツでFinとCopilotをトレーニングすることもできます。これにより、FinとCopilotは常にこれらの情報源から最新かつ関連性の高い情報を使用します。

注意:この機能は公開URLのみで動作します。ログインが必要なコンテンツはFinがアクセスまたはインポートできません。


FinとCopilotでウェブサイトのコンテンツを同期する

Fin AI Agent > トレーニング > コンテンツに移動し、「コンテンツを追加」からウェブサイト同期を選択します。

外部サポートコンテンツのURL(トップレベルドメイン)を入力し、次へをクリックします。

これにより、指定したウェブサイトURLのすべてのページが取得され、すべてのサブドメインページも読み取られます。

ヒント:トップレベルドメインが最良の結果をもたらします(例:サブページhttps://myhelpcenter.com/articlesではなく、外部help centerのホームページURLhttps://myhelpcenter.comを使用してください)。

注意:ウェブサイト同期は最大100サイトまでです。

同期するページの確認

URLを入力すると、有効かつアクセス可能かを確認します。その後、同期するページを確認してください。選択した各セクションにリンクされたすべてのサブページが同期されます。関連性の高い最新のコンテンツのみを選択してください。

ヒント:

  • ヘルプ記事、ガイド、FAQなどのサポートコンテンツを含むページやセクションを選択してください。

  • マーケティングページ、商品リスト、複雑なレイアウトのページは選択しないでください。

  • 選択したセクション内のすべてのリンクされたサブページは自動的に含まれます。

  • 選択内容は後で詳細設定でいつでも更新できます。

詳細設定 [オプション]

追加のURL、除外するURL、除外するCSSセレクターなどを設定するには、詳細設定ドロップダウンを選択してください。

追加のURL

ウェブサイトの構造はさまざまです。最も関連性の高いコンテンツを同期するために、特定のサブページの追加URLを追加することをお勧めします。

例えば、上記でhttps://myhelpcenter.com/helpをメインURLとして入力した場合、https://myhelpcenter.com/help/index.htmlのような特定のURLも追加したいかもしれません。

除外するURL

同期したくない特定のページを除外するには、URLグロブのリストを追加できます。

URLグロブとは?

グロブは、ファイルパスやURLをマッチさせるためのリテラル文字やワイルドカード文字の文字列です。グロビングは、1つ以上のグロブを使ってファイルシステム上のファイルを探す行為です。URLグロブを使うと、ほぼ同じで一部だけが異なる複数のURLをまとめて取得できます。

例えば、このURLグロブhttps://{store,docs}.example.com/**は、https://store.example.com/またはhttps://docs.example.com/で始まるすべてのURLにクローラーがアクセスできるようにします。https://example.com/**/*\?*foo=*

ヒント:除外したいURLにグロブパターンが合っているか不安な場合は、DigitalOceanのGlobツールを使って、サンプルURLに対してパターンをテストできます。(これはIntercomが管理していないサードパーティツールです。)

除外するCSSセレクター

特定のページ要素を除外するには、除外したいセクションや要素のCSSセレクターを使用できます。

これは無関係なページコンテンツをスキップするのに役立ちます。値はdocument.querySelectorAll()関数で受け入れられる有効なCSSセレクターでなければなりません。デフォルトで、一般的なナビゲーション要素、ヘッダー、フッター、モーダル、スクリプトはすでに除去しています。

注意:ウェブサイト同期時に画像はデフォルトで取り込まれます。Finが返信で画像やGIFをどのように使用するかを制御するには、Fin AI Agentの返信での画像とGIFの使用を参照してください。

クリック可能なCSSセレクター

これは、CSSセレクターで識別されたDOM要素をウェブ同期プロセス中にクリックできるようにします。

これは、折りたたまれたセクションを展開してテキストコンテンツを取得するのに役立ちます。値はdocument.querySelectorAll()関数で受け入れられる有効なCSSセレクターでなければなりません。

例は"[aria-expanded=\"false\"]", #expand_sectionです。

複雑な条件もCSSセレクターで記述できます。CSSでは、セレクターをスペースなしで連結するとAND条件になり、例えば.button.blue.smallは3つすべてのクラスを持つ要素にマッチします。

カンマ(,)を区切り文字として使うとOR条件になり、例えば.button, .blue, h1はクラスbutton、またはクラスblue、またはh1要素すべてを対象にします。

CSSセレクターの読み込み待ち

ページ上で遅れて表示される可能性のあるコンテンツを対象にするため、ウェブスクレイパーがコンテンツをスクレイプする前に待機するCSSセレクターを追加できます。

これは、デフォルトのコンテンツ読み込み認識が失敗するページに有効です。このオプションを設定するとデフォルト動作が完全に無効になり、このセレクターで指定された要素が表示された場合のみページが処理されます。

注意:値はdocument.querySelectorAll()関数で受け入れられる有効なCSSセレクターでなければなりません。

XMLサイトマップ

サイトマップ対応サイトでより堅牢なウェブ同期を可能にし、初期URLからアクセスできないページにもアクセスできるようにXMLサイトマップを有効にします。

このオプションを有効にすると、ウェブスクレイパーは提供されたソースURLのドメインでサイトマップを探し、クロールしたページのリンクと同様に一致するURLをキューに入れます。また、sitemap.xmlファイルを別の開始URLとして直接追加することもできます(例:https://www.example.com/sitemap.xml)。

プロキシ地域

特定の地域や国に設定されたプロキシを使ってウェブサイトをクロールする必要がある場合、クローラーが使用するプロキシを選択できます。

現在、以下のプロキシをサポートしています。

  • ローテーション:アメリカ合衆国、ドイツ、フランス、イギリス、チェコ、ハンガリー

  • 静的:

    • アメリカ合衆国 - 119.13.211.225, 161.123.167.215, 94.176.49.232, 185.223.56.90, 154.17.143.135

    • ヨーロッパ - 178.171.116.231, 206.232.77.243, 206.232.90.11, 209.20.175.180, 45.94.247.149

    • オーストラリア - 154.220.151.84, 173.254.193.121, 160.224.101.213, 160.224.100.176, 212.70.22.41

クローラータイプ

このウェブサイトを同期する際に、クローラーが各ページをどの程度詳細にレンダリングするかを選択してください。

  • ページの同期が空または切り詰められている場合、通常はJavaScriptのレンダリングが原因です。フルに切り替えて再同期してください。

  • フルは負荷が大きいため、大きなソースはスケジュールが短縮される可能性があります。

  • 既存のソースでこれを変更し、再同期して比較できます。

オプション

機能

使用する場合

高速

JavaScriptを実行せずにHTMLを読み取ります。

コンテンツは初期HTMLにあります — ほとんどのブログ、ドキュメント、help center。

自動(デフォルト)

サイトがJavaScriptを必要とする場合、当社が選択しフルに切り替えます。

確信がない場合。ほぼすべての人に適しています。

フル

各ページをブラウザで読み込み、JavaScriptを実行します。遅くなります。

スクリプト実行後にのみコンテンツが表示される、シングルページアプリやJavaScriptが多用されるページ。

正規URLを無視する

有効にすると、ウェブスクレイパーはcanonicalリンクタグ(rel="canonical")を無視し、各URLを別々のページとして扱います。このオプションはデフォルトで無効です。

多くのページが1つの正規URLを指していて、その結果コンテンツが見逃されている場合に役立ちます。

クエリパラメータの除外とrobots.txtの尊重

詳細設定の下にさらに2つのトグルがあります。両方ともデフォルトでオフです。

robots.txtを尊重する:クローラーがサイトのrobots.txtのdisallowルールに従うようにします。これをオンにすると、他のクローラーに許可する範囲と同期が一致します。robots.txtがFinに含めたいコンテンツのパスを禁止している場合、同期される内容が減少します。

クエリパラメータを除外する:クエリ文字列(?)を含むURLをスキップします。サイトがトラッキング、セッション、ソートパラメータを付加して多数のほぼ重複ページを生成する場合にオンにしてください。実際のコンテンツがクエリ文字列の後ろにある場合(例:/docs?page=intro)はオフのままにしてください。これらのページもスキップされてしまいます。

ターゲットオーディエンス

ターゲットステップでは、すべての同期ページのデフォルトオーディエンスを設定し、URLパターンに基づいて特定のオーディエンスを自動割り当てするルールを作成できます。手動タグ付けは不要です。

まず、このソースのコンテンツがFin AI Agentおよび/またはCopilotで有効かどうかを決定します。

次に、このソースから同期されるすべてのページに適用するデフォルトのFinオーディエンスを設定するか(デフォルトが設定されていない場合、コンテンツはEveryoneに設定されます)、URLパターンに基づいて特定のオーディエンスを割り当てるルールを作成します。

例:URLに/ukが含まれる場合、UKオーディエンスを割り当てる。 ルールは同期時に評価されるため、FinとCopilotは常に適切なコンテンツを適切なオーディエンスに提供します。

各ルールは3つのURL比較子をサポートします:

  • で始まる — 指定した接頭辞で始まるURLにマッチします。

  • で終わる — 指定した接尾辞で終わるURLにマッチします。

  • 含む — 指定した部分文字列を含むURLにマッチします。

注意:

  • ライブプレビューは各ルールにマッチするページ数を表示し、保存前にルールの検証を助けます。これはウェブ同期ソースにサイトマップが必要です。サイトマップがない場合でもルールは適用されますが、マッチのプレビューはできません。

  • ルールは作成時に自動命名されますが、名前の変更も可能です。ウェブ同期ソースごとに最大10ルールが設定されています。

  • オーディエンスルールは追加のみで、コンテンツにオーディエンスを追加しますが既存の割り当てを削除することはありません。ルールを削除しても過去の割り当ては元に戻りません。

同期設定の確認

最後に同期設定を確認し、Sync websiteをクリックしてIntercomとウェブサイトのコンテンツ同期を開始してください。


ウェブサイト同期の管理

同期が完了すると、メール通知が届き、ウェブサイトはFin AI Agent > Train > Contentの同期済みソースとして表示されます。

特定ページの設定を構成する

Fin AI Agent > Train > Contentに移動し、ウェブサイトソースを選択して、同期したページをクリックします。右側に「詳細」パネルがあり、以下が含まれます:

  • データ:コンテンツタイプ、言語、作成日、最終更新日(ソースと最後に同期した日時)を表示します。

  • Fin設定:Fin AI AgentとCopilotの有効/無効を切り替えます。有効にすると、コンテンツはFin AI Agentを通じて顧客に、Copilotを通じてチームメンバーにそれぞれ提供されます。

  • リンク:このウェブサイトソースの公開URL。

  • レポート:このウェブサイトソースが関与または解決したFinの会話。

  • タグ: Intercomでコンテンツをグループ化および整理するために独自のカスタムタグを適用します。

  • フォルダー: このパブリックURLが存在するKnowledge Hub内のフォルダーです。同期されたコンテンツのフォルダーは変更できません。

注意: ウェブサイトのソースは読み取り専用で、Intercom内で編集できません。ソース側で編集する必要があります。

FinとCopilotに利用可能にする

ウェブサイトのソースをFin AI Agentおよび/またはCopilotで利用可能にするには、Fin AI Agent > トレーニング > コンテンツに移動し、ウェブサイトのソースを選択します。次に、同期したライブページをクリックし、AI Agentの状態を変更 > AI Agent用に有効化またはCopilotの状態を変更 > Copilot用に有効化を選択します。

個別のウェブページの「詳細」 パネルからもこれらの設定を管理できます。下にスクロールしてFin設定を見つけ、以下の切り替えを選択してください。

  • Fin AI Agent - この設定により、パブリックURLがFinによる顧客対応で使用可能になります。

  • Copilot - この設定により、パブリックURLがCopilotによってinbox内のチームメンバーの質問に回答する際に使用可能になります。

お客様向けにFin AI Agentの設定方法や、チーム向けにinboxでのCopilotの使用方法を学びましょう。

特定のオーディエンスに利用可能にする

同期されたコンテンツにオーディエンスを自動的にURLベースのルールで割り当てるか、ページごとに手動で割り当てることができます。まず、ターゲットにしたいオーディエンスを作成・定義してください。

個別のページに手動でオーディエンスを割り当てるには、Fin AI Agent > トレーニング > コンテンツに移動し、ウェブサイトのソースを選択します。次に、同期したライブページをクリックし、その他の操作 > Finオーディエンスを変更を選択します。

注意:

  • パブリックURLのデフォルトオーディエンスは「Everyone」です。

  • FinはパブリックURLに適用されたオーディエンスを尊重し、オーディエンスルールに一致する場合にのみこの記事を使って顧客の質問に回答します。

既存の同期にオーディエンスルールを追加または編集する

オーディエンスターゲティングを追加するために同期を再作成する必要はありません。Fin AI Agent > トレーニング > コンテンツに移動し、ソースを選択して右上の設定ドロップダウンをクリックし、設定を開くを選択します。ターゲットステップに移動してURLベースのルールを追加または編集してください。

注意: オーディエンスルールは加算的です。既存のウェブ同期に新しいオーディエンスルールを追加すると、そのソースからすでに取り込まれたすべてのコンテンツにそのオーディエンスが適用されます。ルールを削除しても、すでに割り当てられたオーディエンスは解除されません。

重要: ウェブ同期のデフォルトオーディエンスをEveryoneに切り替えても、すでに異なるオーディエンスで同期されたページのオーディエンスは遡及的に変更されません。これは、ソースが最初に制限付きオーディエンスで同期され(例えば、ローンチ準備中)、後でデフォルトをEveryoneに切り替えた場合によく起こります。既存のページを自動的に公開することはありません。既に同期されたページをEveryoneに見えるようにするには、手動でオーディエンスを変更する必要があります。詳細は上記の特定のオーディエンスに利用可能にするを参照してください。

ウェブサイトをソースとして再同期または削除する

パブリックURLをソースとして再同期または削除したい場合は、Fin AI Agent > トレーニング > コンテンツに移動し、ソースを選択します。次に右上の設定ドロップダウンをクリックし、再同期またはこのソースを削除を選択します。

ヒント: ウェブサイトの再同期は通常週1回行われます(ソースのサイズによります)。いつでも手動で再同期できます。

ウェブサイト同期設定を管理する

ウェブサイト同期の詳細設定を調整したい場合は、Fin AI Agent > トレーニング > コンテンツに移動し、ソースを選択します。次に右上の設定ドロップダウンをクリックし、設定を開くを選択します。

ウェブサイト同期履歴を表示する

過去のウェブサイト同期の一覧を表示して、最後に実行された日時、見つかったページ、失敗したページを確認できます。Fin AI Agent > トレーニング > コンテンツに移動し、ウェブサイトのソースを選択します。次に右上の設定ドロップダウンをクリックし、同期履歴を表示を選択します。


表の各行は過去または現在の実行を表し、ステータスでフィルターできます。以下の情報が含まれます。

  • 同期日

  • ステータス

  • 同期されたページ

  • 除外されたページ

  • 失敗したページ

  • 期間

  • 同期開始者

同期が失敗した場合、ステータスにカーソルを合わせると詳細な説明が表示されます。

Finがウェブサイトを使用していないときは自動同期が一時停止します

新しいソースは最初の90日間はスケジュール通りに同期されます。その後、以下のいずれかが真の場合に自動同期が継続されます。

  • 過去90日間にそのページがFinの回答で使用された。

それ以外の場合、スケジュールされた同期は一時停止します。

一時停止中: ページはKnowledge Hubに残り、FinとCopilotで利用可能なままです(削除されません)。再クロールのみ停止し、サイトの編集は反映されません。

復元するには: 今すぐ同期ボタンはコンテンツを一度更新しますが、スケジュールは再開しません。Finが再びソースを使用すると自動同期が再開されます。

クロール負荷の高いウェブサイトは同期頻度が低くなります

非常に大きなサイトや完全なJavaScriptレンダリングが必要なサイトはクロールコストが高くなります。リソース負荷が高いソースは自動的に週1回から14日ごとのスケジュールに変更されます。

これはソースごとに自動で行われます。大規模サイトをより速いスケジュールで維持したい場合は、URL除外を使ってクロール範囲を狭めるか、ドメイン全体ではなく特定のサブページを追加してください。


ウェブサイト同期のトラブルシューティング

よくある問題

Finを有効にするためにウェブサイトコンテンツをインポートする際は、パブリックURLを入力する必要があります。これにより、そのURL以下にネストされたすべてのページが検索され、Fin AI Agentで使用するために同期されます。

インポーターが期待したページ数を返さなかった場合、いくつかの理由があります。

提供されたURLがトップレベルドメインではない

ウェブサイト同期は、提供されたURLにアクセスし、そのURL以下にネストされたすべてのページを検索して同期します。これらのページは、提供されたURLと同じURLパターンである必要があります。

例えば、トップレベルdomainがhttps://myhelpcenter.com/homeの場合、インポートしたいすべてのページはURLに/homeプレフィックスを含む必要があります。例:https://myhelpcenter.com/home/article。含まれていない場合はプレフィックスを削除し、最も基本的なURLの幹を使用してください。例:https://myhelpcenter.com。その後、再度インポートを試みてください。

URLは非公開です。

使用したいコンテンツがログインの背後にある場合、Finはアクセスやインポートができません。

ページ制限

ウェブサイトの同期には2つの制限があります:

  • Domains: 最大100の異なるトップレベルdomainを同期できます。

  • Pages per source: Finは各ソースから最大4,000ページを同期します。

1ページに非常に大量のコンテンツが含まれている場合、同期が失敗することがあります。同期が失敗した場合はメールで通知されます。

注意:

  • ソースに4,000ページ以上ある場合は、複数のソースに分割して、それぞれが制限内に収まるようにしてください:

    • サイトを小さなセクションに分割し、それぞれを独自のソースとして追加します。

    • 異なるURLパスを別々に同期します。例えば、製品エリアやカテゴリごとに1つのソースを作成します。

  • これにより、すべてのソースがページ制限内に収まり、同期ごとに処理されるコンテンツ量が減ります。

特定の地域IPに制限されたウェブサイト

Intercomのウェブサイト同期(Fin AI AgentとCopilotの公開URL追加に使用)は、現時点で専用のカスタムユーザーエージェント文字列を使用していません。


これらのリクエストを識別または許可するには:

  • IPアドレスによる: 当社のクローラーは通常動的IPを使用します。サイトが許可リストを必要とする場合はご連絡ください。ワークスペース用に静的で地域特定のIPを有効にできます。

  • これらのリクエストはウェブサイト同期のみに使用されます。Messengerのトラフィックやエンドユーザートラッキングには影響しません。

非英語または国際的なサイトのページが同期されない

サイトマップに非ASCII文字(アクセント付き文字や中国語、アラビア語などのスクリプト)が含まれるURLがある場合、一部のページが期待通りに同期されないことがあります。サイトマップの検出はこれらのURLをサポートしていますが、同期プロセスの他の部分で問題が発生することがあります。手動で再同期を試みてください。ページがまだ欠落している場合はサポートに連絡してください。

ウェブサイト同期エラー

コンテンツを同期すると、処理中に何が起こったかを示すさまざまなステータスが表示されることがあります。ウェブサイト同期のステータスを見るには、Fin AI Agent > トレーニング > コンテンツに移動し、ウェブサイトソースを選択して、ステータスドロップダウンでフィルターをかけてください。

  • 同期中

  • ライブ

  • 失敗

  • 除外済み

各ステータスの意味と次にできることは以下の通りです:

同期中

ページの同期はまだ進行中です。初回同期はコンテンツ量によって数分から1時間以上かかることがあります。

ライブ

ページは正常に同期され、FinとCopilotで有効にできます。
​

注意: 成功した同期はページ上のすべてのコンテンツをスクレイピングできたことを必ずしも意味しません。完全なカバレッジを確認したい場合は、Finのプレビューでそのページから期待される回答を確認することをお勧めします。

除外済み

これらのページは同期設定で除外したため、意図的に同期されていません。再試行不可で、特に指定がない限り含めることはできません。

失敗

これらのエラーは同期が完了しなかったことを意味し、再試行前にあなた側で変更が必要な場合があります:

1. 不明なエラー

  • メッセージ:「このページにアクセスできませんでした。遅いかブロックされている可能性があります。再同期を試みるか、失敗する場合はサポートに連絡してください。」

  • 意味: ページへのアクセスを妨げる何かがありましたが、原因は不明です。

2. セッションブロック / レート制限

  • メッセージ:「ウェブサイトがコンテンツへのアクセスを防いでいます。アンチクローラー設定やファイアウォールでブロックされていないか確認してください。サイト設定を確認し、再同期を試みてください。問題が続く場合はサポートに連絡してください。」

  • 意味: あなたのサイトは当社のクローラーを積極的にブロックまたは制限しています。

3. ネットワーク、タイムアウト、または類似のエラー

  • メッセージ:「このページにアクセスできませんでした。読み込みが遅いか、アンチクローラー設定やファイアウォールでブロックされている可能性があります。サイト設定を確認し、再同期を試みてください。問題が続く場合はサポートに連絡してください。」

  • ​意味: ページが時間内に読み込まれなかったか、ネットワークの問題やブロックにより到達できませんでした。

    対処法: 「ナビゲーションタイムアウト」エラーは、サイトのボット保護やセキュリティソフトウェアがIntercomのクローラーをブロックしていることが多いです。解決するには、上記の高度な設定セクションにある静的プロキシIPアドレスをホワイトリストに登録し、ウェブサイト同期の作成または編集時に高度な設定で該当するプロキシ地域を選択し、再同期を試みてください。

4. 重複

  • メッセージ:「このページは既に同期されている別のページと同じコンテンツを持っています。1つのバージョンのみが含まれます。」

  • 意味: 同一のコンテンツが他に検出されたため、1つのコピーのみ保持されます。

5. キーワードフィルタリング

  • メッセージ: 「URLに category、collection、または tag のようなキーワードが含まれるページは、通常ユニークなコンテンツを含まないため、デフォルトで除外されます。このページを含める必要がある場合は、support に連絡してください。」

  • 意味: これらのURLは単独のコンテンツページではなく、リストを表すことが多いです。

6. ステータスコード 400

  • メッセージ: 「ページのコンテンツが見つかりません。URLが有効でページが問題なく読み込まれるか確認してください。」

  • ​意味: URLが壊れているか、ウェブサイトでエラーを返している可能性があります。

7. ブロックされたURL

  • メッセージ: 「このウェブサイトのdomainは同期からブロックされています。必要な場合はsupportに連絡してください。」

  • 意味: domainは意図的に同期から除外されています。


​失敗したページの同期は、ページにカーソルを合わせて三点メニューを選択し、Resyncを選ぶことで再試行できます。

注意: Website Syncは生のMarkdownファイルのインポートをサポートしていません。適切なフォーマットとタイトル検出のために、レンダリングされたHTMLとしてコンテンツを提供するか、スニペット/ファイルとしてアップロードしてください。Markdown構造(例:#見出し)はHTMLに変換されない限り認識されません。

こちらの回答で解決しましたか?