検索エンジンによるページやブログ記事のインデックス化をブロックする
更新日時 2020年 10月 19日
注:以下の手順では、ページURLが検索エンジンでインデックス付けされないようブロックします。検索エンジンからブロックするためにファイルツールでファイルURLをカスタマイズする方法をご確認ください。
Robots.txt ファイル
robots.txt ファイルは、インデックス化の対象外とするページを確認するために検索エンジンクローラーが読み取るウェブサイト上のファイルです。HubSpotでrobots.txtファイルを設定する方法をご確認ください。
Googleなどの検索エンジンでは、robots.text ファイルを実装した後に、結果から過去に遡ってページを削除することはできません。ボットによるページのクロールは禁止されますが、たとえば他のウェブサイトからページへのインバウンドリンクがある場合、検索エンジンはコンテンツをインデックス化できます。ページがすでにインデックス化され、検索エンジンから削除する場合は、[No Index]メタタグの方法を使用することをお勧めします。
[No Index]メタタグ
注意:[No Index]メタタグを使用する場合、robots.txtテキストファイルを同時に使用することはできません。検索エンジンが[No Index]メタタグを認識するためにはページをクロールする必要がありますが、robots.txtファイルはクロールを完全に阻止します。
[No Index]メタタグは、ページのHTMLのヘッドセクションに入力されるコードの文字列で、ページをインデックス化しないよう検索エンジンに指示します。
- HubSpot アカウントで、ウェブサイトページ、ランディングページ、またはブログ記事に移動します。
- 特定のページまたはブログ記事の名前をクリックします。
- コンテンツエディターで、[設定] タブをクリックします。
- [詳細オプション]をクリックします。
- 次のコードをコピーして、[ヘッドHTML]フィールドに貼り付けます。
<meta name="robots" content="noindex">
Google検索コンソール
Google検索コンソールアカウントをお持ちの場合は、Google検索結果から削除するURLを送信することができます。これはGoogleの検索結果にのみ適用されます。検索エンジンによりPDFドキュメントなどがインデックス化されないようにHubSpotファイルマネージャーでファイルをブロックする場合は、ファイルが接続されているサブドメインを選択し、クローラーからブロックするファイルのURLを使用します。
HubSpotでユーザーエージェントからのリクエストが処理される方法
ウェブサイトのテストクロールを行うためのユーザーエージェント文字列を設定していて、アクセス拒否のメッセージが表示される場合、これは予想される動作です。Googleはまだクロールしており、サイトをインデックス化しています。
このメッセージが表示されるのは、HubSpotでは、Googleが所有するIPを発信元とする googlebotユーザーエージェントからのリクエストのみが許可されるためです。HubSpotでホストされているサイトを攻撃者やなりすましから保護するために、他のIPアドレスからのリクエストは拒否されます。HubSpotは、BingBot、MSNBot、Baidusiderなどの検索エンジンクローラーにも対応しています。
関連記事
-
SEO戦略のトピックを作成する
SEOツール([マーケティング]>[計画と戦略]>[SEO]...
ナレッジベース -
個々のページおよびブログ記事のパフォーマンスを分析する
個別のページとブログ記事を分析して、訪問者がウェブサイトにどのようにエンゲージメントしているかを確認します。 ウェブサイトのトラフィックや検索エンジン最適化に関するインサイトを検索します。ページにスマート コンテンツ...
ナレッジベース -
検索エンジンのためにページとブログコンテンツを最適化する
SEOのベストプラクティスに従うなら、ウェブサイトへのオーガニックトラフィックの増加につながります。HubSpotツールを使用してコンテンツのSEO改善について調査し、優先順位付けする方法について詳細をご確認ください。
ナレッジベース