robots.txtファイルをカスタマイズする

robots.txtファイルは、検索エンジンがウェブサイトコンテンツをインデックス化するために参照します。これらのファイルは、フォームの背後に隠されたコンテンツオファーなど、特定のコンテンツが検索エンジンの結果として返されないようにするのに役立ちます。

注：Googleや他の検索エンジンでは、robots.txtファイルを実装した後に、検索結果から過去に遡ってページを削除することはできません。ボットによるページのクロールは禁止されますが、たとえば他のウェブサイトからページへのインバウンドリンクがある場合、検索エンジンはコンテンツをインデックス化できます。ページがすでにインデックス化されていて、過去に遡って検索エンジンから削除したい場合は、「No Index」メタタグメソッドを使用してください。

robots.txtファイルの仕組み

robots.txtファイルは、検索エンジンにウェブサイトでホストされているページのクロール方法を指示します。robots.txtファイルの2つの主なコンポーネントは次のとおりです。

• User-agent：ルールが適用される検索エンジンまたはウェブボットを定義します。User-agentではアスタリスク（*）をワイルドカードとして使用し、すべての検索エンジンを含めることができます。
• Disallow：検索エンジンにファイル、ページ、またはディレクトリをクロールしてインデックス化し内容に指示します。

Google検索結果のためのrobots.txtファイルの設定方法については、Googleの開発者用ドキュメントを参照してください。robots.txtジェネレーターツールを使用してファイルを作成することもできます。

注：ファイルマネージャーでファイルをブロックするには、自分のドメインのうちの1つでホストされるようにファイルをカスタマイズしてください。その後、robots.txtファイルにファイルのURLを追加できます。 

HubSpotでrobots.txtファイルを更新する

• HubSpotアカウントにて、ナビゲーションバーに表示される［設定アイコン settings］をクリックします。

• 左のサイドバーメニューで、［ウェブサイト］>［ページ］の順に進みます。

• ［修正中］ドロップダウンメニューを使用して、更新するドメインを選択します。

• ［SEOおよびクローラー］タブをクリックします。
• 下にスクロールして［Robots.txt］セクションを表示し、テキストフィールドでrobots.txtファイルに変更を加えます。

• ［保存］をクリックします。

注：ウェブサイト上でHubSpotのサイト検索モジュールを使用している場合、user-agentフィールドでアスタリスクを使用すると、検索機能でサイトをクロールできなくなります。検索機能でページをクロールできるようにするには、robots.txtファイルにユーザーエージェントとしてHubSpotContentSearchBotを含める必要があります。