注意：[No Index]メタタグを使用する場合、robots.txt テキストファイルを同時に使用することはできません。検索エンジンが[No Index]メタタグを認識するためにはページをクロールする必要がありますが、robots.txt ファイルはクロールを完全に阻止します。
Robots.txt ファイル
robots.txt ファイルは、インデックス化するページとしないページを確認するために検索エンジンクローラーが読み取るウェブサイト上のファイルです。HubSpot で robots.txt ファイルを設定する方法をご確認ください。
Google などの検索エンジンでは、robots.text ファイルを実装した後に、結果から過去に遡ってページを削除することはできません。ボットによるページのクロールは禁止されますが、たとえば他のウェブサイトからページへのインバウンドリンクがある場合、検索エンジンはコンテンツをインデックス化できます。ページがすでにインデックス化され、検索エンジンから削除する場合は、[No Index]メタタグのメソッドを使用することをお勧めします。
"no index" メタタグ
"no index" メタタグは、ページの HTML のヘッドセクションに入力されるコードの文字列で、ページをインデックス化しないよう検索エンジンに指示します。この方法を使用できるのは、ランディングページとウェブサイトページに対してのみです。ブログ記事には使用できません。
- HubSpot アカウントで、ランディングページまたはウェブサイトページに移動します。
- 特定のページの名前をクリックします。
- コンテンツエディターで、[設定] タブをクリックします。
- ［詳細オプション］ をクリックします。
- 次のコードをコピーして、[ヘッド HTML]フィールドに貼り付けます。
<meta name="robots" content="noindex">
Google検索コンソール
Google検索コンソールアカウントをお持ちの場合は、Google検索結果から削除する URLを送信することができます。ご注意ください。これは Google の検索結果にのみ適用されます。検索エンジンによりPDFドキュメントなどがインデックス化されないようにHubSpotファイルマネージャーでファイルをブロックする場合は、ファイルが接続されているサブドメインを選択し、クローラーからブロックするファイルのURLを使用します。
HubSpot でユーザーエージェントからのリクエストが処理される方法
ウェブサイトのテストクロールを行うためのユーザーエージェント文字列を設定していて、アクセス拒否のメッセージが表示される場合、これは予想される動作です。Google はまだクロールしており、サイトをインデックス化しています。
このメッセージが表示されるのは、HubSpotでは、Googleが所有するIPを発信元とする googlebot ユーザーエージェントからのリクエストのみが許可されるためです。HubSpotでホストされているサイトを攻撃者やなりすましから保護するために、他の IP アドレスからのリクエストは拒否されます。HubSpotは、BingBot、MSNBot、Baidusiderなどの検索エンジンクローラーにも対応しています。