robots.txt ファイルは、検索エンジンがウェブサイトコンテンツをインデックス化するために参照します。これらのファイルは、フォームの背後に隠されたコンテンツオファーなど、特定のコンテンツが検索エンジンの結果として返されないようにするのに役立ちます。
注:Google などの検索エンジンでは、 robots.text ファイルを実装した後に、検索結果から過去に遡ってページを削除することができません。ボットによるページのクロールは禁止されますが、たとえば他のウェブサイトからページへのインバウンドリンクがある場合、検索エンジンはコンテンツをインデックス化できます。ページがすでにインデックス化されていて、過去に遡って検索エンジンから削除したい場合は、「No Index」メタタグメソッドを使用してください。
robots.txt ファイルの仕組み
robots.txt ファイルは、検索エンジンにウェブサイトでホストされているページのクロール方法を指示します。robots.txt ファイルの 2 つの主なコンポーネントは次のとおりです。
- User-agent:ルールが適用される検索エンジンまたはウェブボットを定義します。User-agent ではアスタリスク (*) をワイルドカードとして使用し、すべての検索エンジンを含めることができます。
- Disallow:検索エンジンにファイル、ページ、またはディレクトリをクロールしてインデックス化し内容に指示します。
Google 検索結果のための robots.txt ファイルの設定方法については、Google の開発者用ドキュメントを参照してください。robots.txt ジェネレーターツールを使用してファイルを作成することもできます。
注: ファイルマネージャーでファイルをブロックするには、自分のドメインのうちの 1 つでホストされるようにファイルをカスタマイズしてください。その後、robots.txt ファイルにファイルの URL を追加できます。
HubSpot で robots.txt ファイルを更新する
-
HubSpotアカウントにて、ナビゲーションバーに表示される［設定アイコン ］をクリックします。
-
左のサイドバーメニューで、[ウェブサイト] > [ページ] の順に進みます。
-
[修正中] ドロップダウンメニューを使用して、更新するドメインを選択します。
- [SEO およびクローラー] タブをクリックします。
- 下にスクロールして [Robots.txt] セクションを表示し、テキストフィールドで robots.txt ファイルに変更を加えます。
- [保存] をクリックします。