メインコンテンツにスキップ
お客さまへの大切なお知らせ:膨大なサポート情報を少しでも早くお客さまにお届けするため、本コンテンツの日本語版は人間の翻訳者を介さない自動翻訳で提供されております。正確な最新情報については本コンテンツの英語版をご覧ください。
SEO

SEOのクローリングエラーを理解する

更新日時 2021年 9月 30日

対象製品

Marketing Hub Professional, Enterprise
CMS Hub Starter, Professional, Enterprise
Marketing Hub Basic(旧製品)

SEOクローラーがページをインデックスできない場合は、クロールエラーを返します。これは、HubSpotのSEOツールに搭載されているクローラーだけでなく、Semrushなどの外部クローラーでも起こり得ます。クローリングエラーを解決するための手順は、エラーの内容やページがどこでホストされているかによって異なります。 

HubSpotのSEOツールがHubSpotのページをクロールしている様子

SEOの推奨事項は、ページや投稿のパフォーマンス詳細「最適化」タブで確認できます。ページのクロールに問題がある場合は、以下のようなエラーメッセージが表示されることがあります。 

  • Status 301: Moved Permanently - 301リダイレクトは、クローラーがコンテンツにアクセスするのを妨げます
  • Status 302: Object moved - 302(一時的)なリダイレクトがクローラーのコンテンツへのアクセスを妨げています。
  • ステータス 403: Forbidden - サーバーへのアクセスは可能だが、コンテンツへのアクセスが拒否されている。
  • ステータス 404: Not Found - 削除または移動されたため、クローラーがコンテンツのライブバージョンを見つけることができません。
  • Crawl of [site] blocked by robots.txt - robots.txtファイルがコンテンツのインデックス化を妨げています。 

HubSpotのSEOツールが外部ページをクロールしている

HubSpotのSEOツールを使用して外部ページをクロールしようとした場合、以下のようなエラーが発生することがあります。 

  • robots.txtファイルでブロックされたページをスキャン:外部ページがrobots.txtファイルでインデックスから除外されている場合、弊社のクローラーのユーザーエージェント「HubSpot Crawler」を除外項目として追加します。robots.txtファイルでの作業の詳細についてはここ.
  • Robots.txtファイルが取得できない:HubSpotのクローラーがサイトのrobots.txtファイルにアクセスできない場合、robots.txtファイルがアクセス可能で、サイトのトップレベルのディレクトリにあることを確認してください。robots.txtファイルでの作業の詳細についてはここ.

HubSpotのSEOツールのリターンで一般的なクローリングエラーが発生した場合は、以下の手順で解決してください。 

  • URLが正しく入力されていることを確認します。
  • クロールされるページが現在ライブであることを確認する。
  • DNSがURLを解決できることを確認します。DNSエラーの解決方法について、詳しくはGoogleのドキュメント.
  • サイト管理者に連絡を取り、当社のクローラーのユーザーエージェントである「HubSpot Crawler」を除外項目として許可リストに追加するよう依頼してください。

外部のSEOツールがHubSpotのページをクロールしている場合

MozやSemrushなどの外部SEOツールを使ってHubSpotのページをクロールしようとした場合、正常にクロールできないことがあります。

この問題の一般的な原因は以下の通りです。 

  • お客様のページがrobots.txtファイルに含まれていることで、インデックスやクロールされなくなっています。 
  • ページのヘッドHTML にnoindexメタタグがあると、インデックスやクロールされなくなります。 
  • HubSpotに接続されているサブドメインではなく、ルートドメインを監査すると、タイムアウトエラーが発生します
  • RSSフィードやブログ一覧ページへのリンクは、新しいブログ記事が公開されると期限切れになるため、ブロックされたリソースのエラーが発生することがあります。
  • HubSpotのスプロケットメニューを読み込むスクリプトなど、必要のないリソースは、ブロックされたリソースエラーを引き起こす可能性があります。これにより、ページの残りの部分がクロールされなくなることはありません。