検索エンジンによるページやブログ記事のインデックス化をブロックする

注：以下の手順では、ページURLが検索エンジンでインデックス付けされないようブロックします。検索エンジンからブロックするためにファイルツールでファイルURLをカスタマイズする方法をご確認ください。

Robots.txt ファイル

robots.txt ファイルは、インデックス化の対象外とするページを確認するために検索エンジンクローラーが読み取るウェブサイト上のファイルです。HubSpotでrobots.txtファイルを設定する方法をご確認ください。

Googleなどの検索エンジンでは、robots.text ファイルを実装した後に、結果から過去に遡ってページを削除することはできません。ボットによるページのクロールは禁止されますが、たとえば他のウェブサイトからページへのインバウンドリンクがある場合、検索エンジンはコンテンツをインデックス化できます。ページがすでにインデックス化され、検索エンジンから削除する場合は、［No Index］メタタグの方法を使用することをお勧めします。

［No Index］メタタグ

注意：［No Index］メタタグを使用する場合、robots.txtテキストファイルを同時に使用することはできません。検索エンジンが［No Index］メタタグを認識するためにはページをクロールする必要がありますが、robots.txtファイルはクロールを完全に阻止します。

［No Index］メタタグは、ページのHTMLのヘッドセクションに入力されるコードの文字列で、ページをインデックス化しないよう検索エンジンに指示します。 

• HubSpot アカウントで、ウェブサイトページ、ランディングページ、またはブログ記事に移動します。
• 特定のページまたはブログ記事の名前をクリックします。
• コンテンツエディターで、［設定］ タブをクリックします。
• ［詳細オプション］をクリックします。
• 次のコードをコピーして、［ヘッドHTML］フィールドに貼り付けます。

 <meta name="robots" content="noindex">

Google検索コンソール

検索エンジンによりPDFドキュメントなどがインデックス化されないようにHubSpotファイルマネージャーでファイルをブロックする場合は、ファイルが接続されているサブドメインを選択し、クローラーからブロックするファイルのURLを使用します。

HubSpotでユーザーエージェントからのリクエストが処理される方法

ウェブサイトのテストクロールを行うためのユーザーエージェント文字列を設定していて、アクセス拒否のメッセージが表示される場合、これは予想される動作です。Googleはまだクロールしており、サイトをインデックス化しています。

このメッセージが表示されるのは、HubSpotでは、Googleが所有するIPを発信元とする googlebotユーザーエージェントからのリクエストのみが許可されるためです。HubSpotでホストされているサイトを攻撃者やなりすましから保護するために、他のIPアドレスからのリクエストは拒否されます。HubSpotは、BingBot、MSNBot、Baidusiderなどの検索エンジンクローラーにも対応しています。