robots.txt ファイルは、検索エンジンがウェブサイトコンテンツをインデックス化するために参照します。これらのファイルは、フォームの背後に隠されたコンテンツオファーなど、特定のコンテンツが検索エンジンの結果として返されないようにするのに役立ちます。
この記事では、robots.txt ファイルの仕組みと、HubSpot で robots.txt ファイルを更新する方法を説明します。
注:Google などの検索エンジンでは、 robots.text ファイルを実装した後に、検索結果から過去に遡ってページを削除することができません。ボットによるページのクロールは禁止されますが、たとえば他のウェブサイトからページへのインバウンドリンクがある場合、検索エンジンはコンテンツをインデックス化できます。ページがすでにインデックス化されていて、過去に遡って検索エンジンから削除したい場合は、「No Index」メタタグメソッドを使用してください。
robots.txt ファイルの仕組み
robots.txt ファイルは、検索エンジンにウェブサイトでホストされているページのクロール方法を指示します。
robots.txt ファイルの 2 つの主なコンポーネントは次のとおりです。
- User-agent:ルールが適用される検索エンジンまたはウェブボットを定義します。User-agent ではアスタリスク (*) をワイルドカードとして使用し、すべての検索エンジンを含めることができます。
- Disallow:検索エンジンにファイル、ページ、またはディレクトリをクロールしてインデックス化し内容に指示します。
robots.txt ファイルの設定方法については、robots.txt のドキュメントを参照してください。このリソースには、robots.txt ファイルの仕組みや例に関する詳細が記載されています。robots.txt ジェネレーターツールを使用してファイルを作成することもできます。
HubSpot で robots.txt ファイルを更新する
- HubSpotアカウントにて、ナビゲーションバーに表示される［設定アイコン ］をクリックします。
- 左のサイドバーメニューで、[ウェブサイト] > [ページ] の順に進みます。
- [修正中] ドロップダウンメニューを使用して、更新するドメインを選択します。
- [SEO およびクローラー] タブをクリックします。
- 下にスクロールして [Robots.txt] セクションを表示し、テキストフィールドで robots.txt ファイルに変更を加えます。
- [保存] をクリックします。