メインコンテンツにスキップ
お客さまへの大切なお知らせ:膨大なサポート情報を少しでも早くお客さまにお届けするため、本コンテンツの日本語版は人間の翻訳者を介さない自動翻訳で提供されております。正確な最新情報については本コンテンツの英語版をご覧ください。
SEO

SEOのクローリングエラーを理解する

更新日時 2022年 3月 8日

対象製品

Marketing Hub Professional, Enterprise
CMS Hub Starter, Professional, Enterprise
Marketing Hub Basic(旧製品)

SEOクローラーがページをインデックスできない場合、クローリングエラーが返されます。これは、HubSpotのSEOツールのクローラーや、Semrushなどの外部クローラーで発生する可能性があります。クローリングエラーを解決するための手順は、エラーとページがホストされている場所によって異なります。 

HubSpotのSEOツールがHubSpotのページをクロールしている様子

SEOの推奨事項は、ページや投稿のパフォーマンス詳細の最適化」タブで確認できます。ページのクロールに問題がある場合、以下のエラーメッセージのいずれかが表示されることがあります。 

  • ステータス 301: Moved Permanently - 301リダイレクトにより、クローラーがコンテンツにアクセスできないようにしています
  • ステータス302:オブジェクトが移動しました - 302(一時的な)リダイレクトにより、クローラーがコンテンツにアクセスできない状態になっています。
  • ステータス 403: Forbidden - サーバーに到達することはできますが、コンテンツへのアクセスは拒否されます。
  • ステータス 404: Not Found - コンテンツが削除または移動されたため、クローラーがライブバージョンを見つけることができません。
  • Crawl of [site] blocked by robots.txt - robots.txt ファイルがコンテンツのインデックス作成をブロックしています。 

HubSpotのSEOツールによる外部ページのクロール

HubSpotのSEOツールを使って外部ページをクロールしようとした場合、これらのエラーのいずれかに遭遇する可能性があります。 

  • robots.txt ファイルによってブロックされたスキャン:外部ページが robots.txt ファイルによってインデックスから除外されている場合、当社のクローラーのユーザーエージェント「HubSpot Crawler」を除外項目として追加してください。robots.txtの使い方については、こちらをご覧ください。こちら.
  • robots.txtファイルが取得できない: HubSpotのクローラーがサイトのrobots.txtファイルにアクセスできない場合、robots.txtファイルにアクセスでき、サイトのトップレベルディレクトリにあるかどうかを確認します。robots.txtの使い方については、こちらをご覧ください。こちら.
  • クローラーがこのURLをスキャンできない: HubSpot のクローラーが特定の URL をクロールできない場合は、次のトラブルシューティング手順を試してみてください。
    • URLが正しく入力されていることを確認します。
    • クロールされるページが現在ライブであることを確認します。
    • DNSがURLを解決できることを確認する。DNSエラーの解決について詳しくはGoogleのドキュメント.
    • サイト管理者に連絡し、当社のクローラーのユーザーエージェントである「HubSpot Crawler」を免責事項として許可リストに追加するよう依頼してください。

これらのエラーメッセージは、HubSpotにコンテンツをインポートする際にも表示されることがあります。

外部のSEOツールがHubSpotのページをクロールしています。

MozやSemrushなどの外部SEOツールを使用してHubSpotのページをクロールしようとした場合、ページを正常にクロールできないことがあります。

この問題の一般的な原因は以下の通りです。 

  • robots.txtファイルにお客様のページが含まれることで、インデックスやクロールが妨げられています。 
  • ページのhead HTMLに noindexメタタグがあり、インデックスやクロールを妨げている。 
  • HubSpot に接続されているサブドメインではなく、ルートドメインを監査すると、タイムアウトエラーが発生します
  • RSSフィードやブログ一覧ページへのリンクは、新しいブログ記事が公開されると失効するため、リソースがブロックされたエラーが発生することがあります。
  • HubSpot sprocket メニューを読み込むスクリプトなどの非本質的なリソースは、ブロックされたリソースエラーを引き起こす可能性があります。これは、ページの残りの部分がクロールされるのを妨げるものではありません。 
Was this article helpful? *
This form is used for documentation feedback only. Learn how to get help with HubSpot.