お客さまへの大切なお知らせ:膨大なサポート情報を少しでも早くお客さまにお届けするため、本コンテンツの日本語版は人間の翻訳者を介さない自動翻訳で提供されております。正確な最新情報については本コンテンツの英語版をご覧ください。
Landing Pages

robots.txtファイルをカスタマイズする

更新日時 2020年 10月 19日

対象製品

Marketing Hub  Starter, Professional, Enterprise
CMS Hub  Professional, Enterprise
Marketing Hub Basic(旧製品)

robots.txtファイルは、検索エンジンがウェブサイトコンテンツをインデックス化するために参照します。これらのファイルは、フォームの背後に隠されたコンテンツオファーなど、特定のコンテンツが検索エンジンの結果として返されないようにするのに役立ちます。

注:Googleや他の検索エンジンでは、robots.txtファイルを実装した後に、検索結果から過去に遡ってページを削除することはできません。ボットによるページのクロールは禁止されますが、たとえば他のウェブサイトからページへのインバウンドリンクがある場合、検索エンジンはコンテンツをインデックス化できます。ページがすでにインデックス化されていて、過去に遡って検索エンジンから削除したい場合は、「No Index」メタタグメソッドを使用してください。

robots.txtファイルの仕組み

robots.txtファイルは、検索エンジンにウェブサイトでホストされているページのクロール方法を指示します。robots.txtファイルの2つの主なコンポーネントは次のとおりです。

  • User-agent:ルールが適用される検索エンジンまたはウェブボットを定義します。User-agentではアスタリスク(*)をワイルドカードとして使用し、すべての検索エンジンを含めることができます。
  • Disallow:検索エンジンにファイル、ページ、またはディレクトリをクロールしてインデックス化し内容に指示します。

Google検索結果のためのrobots.txtファイルの設定方法については、Googleの開発者用ドキュメントを参照してください。robots.txtジェネレーターツールを使用してファイルを作成することもできます。

注:ファイルマネージャーでファイルをブロックするには、自分のドメインのうちの1つでホストされるようにファイルをカスタマイズしてください。その後、robots.txtファイルにファイルのURLを追加できます。 

HubSpotでrobots.txtファイルを更新する

  • HubSpotアカウントにて、ナビゲーションバーに表示される[設定アイコン settings]をクリックします。

  • 左のサイドバーメニューで、[ウェブサイト]>[ページ]の順に進みます。

  • [修正中]ドロップダウンメニューを使用して、更新するドメインを選択します。

  • [SEOおよびクローラー]タブをクリックします。
  • 下にスクロールして[Robots.txt]セクションを表示し、テキストフィールドでrobots.txtファイルに変更を加えます。

  • [保存]をクリックします。

注:ウェブサイト上でHubSpotのサイト検索モジュールを使用している場合、user-agentフィールドでアスタリスクを使用すると、検索機能でサイトをクロールできなくなります。検索機能でページをクロールできるようにするには、robots.txtファイルにユーザーエージェントとしてHubSpotContentSearchBotを含める必要があります。