robots.txtファイルをカスタマイズする
更新日時 2020年 10月 19日
robots.txtファイルは、検索エンジンがウェブサイトコンテンツをインデックス化するために参照します。これらのファイルは、フォームの背後に隠されたコンテンツオファーなど、特定のコンテンツが検索エンジンの結果として返されないようにするのに役立ちます。
注:Googleや他の検索エンジンでは、robots.txtファイルを実装した後に、検索結果から過去に遡ってページを削除することはできません。ボットによるページのクロールは禁止されますが、たとえば他のウェブサイトからページへのインバウンドリンクがある場合、検索エンジンはコンテンツをインデックス化できます。ページがすでにインデックス化されていて、過去に遡って検索エンジンから削除したい場合は、「No Index」メタタグメソッドを使用してください。
robots.txtファイルの仕組み
robots.txtファイルは、検索エンジンにウェブサイトでホストされているページのクロール方法を指示します。robots.txtファイルの2つの主なコンポーネントは次のとおりです。
- User-agent:ルールが適用される検索エンジンまたはウェブボットを定義します。User-agentではアスタリスク(*)をワイルドカードとして使用し、すべての検索エンジンを含めることができます。
- Disallow:検索エンジンにファイル、ページ、またはディレクトリをクロールしてインデックス化し内容に指示します。
Google検索結果のためのrobots.txtファイルの設定方法については、Googleの開発者用ドキュメントを参照してください。robots.txtジェネレーターツールを使用してファイルを作成することもできます。
注:ファイルマネージャーでファイルをブロックするには、自分のドメインのうちの1つでホストされるようにファイルをカスタマイズしてください。その後、robots.txtファイルにファイルのURLを追加できます。
HubSpotでrobots.txtファイルを更新する
-
HubSpotアカウントにて、ナビゲーションバーに表示される[設定アイコン settings]をクリックします。
-
左のサイドバーメニューで、[ウェブサイト]>[ページ]の順に進みます。
-
[修正中]ドロップダウンメニューを使用して、更新するドメインを選択します。
- [SEOおよびクローラー]タブをクリックします。
- 下にスクロールして[Robots.txt]セクションを表示し、テキストフィールドでrobots.txtファイルに変更を加えます。
- [保存]をクリックします。
注:ウェブサイト上でHubSpotのサイト検索モジュールを使用している場合、user-agentフィールドでアスタリスクを使用すると、検索機能でサイトをクロールできなくなります。検索機能でページをクロールできるようにするには、robots.txtファイルにユーザーエージェントとしてHubSpotContentSearchBotを含める必要があります。
関連記事
-
ページを作成して公開する
新しいページを作成して、検索エンジン向けに最適化してからウェブサイトで公開する方法を説明します。ランディングページを使用することにより、新しい訪問者をサイトに惹きつけるコンテンツオファー...
ナレッジベース -
ブログ記事またはページにアンカーリンクを追加する
訪問者がスクロールせずにコンテンツの特定のセクションに移動できるようにするには、アンカーリンクを使用します。 注: E メールクライアントではアンカータグが機能しないため、E...
ナレッジベース -
GoogleアナリティクスのトラッキングコードをHubSpotのブログ、ページに追加する
HubSpot設定でGoogleアナリティクスのトラッキングIDを追加して、HubSpotのウェブサイトおよびブログコンテンツをGoogleアナリティクスと連携できます。 ...
ナレッジベース