お客さまへの大切なお知らせ：膨大なサポート情報を少しでも早くお客さまにお届けするため、本コンテンツの日本語版は人間の翻訳者を介さない自動翻訳で提供されております。

SEOのクローリングエラーを理解する

更新日時 2023年 10月 31日

以下の製品でご利用いただけます（別途記載されている場合を除きます）。

SEOクローラーが一覧ページをインデックスできない場合、クローリングエラーを返します。これは、HubSpotのSEOツールやインポートツールのクローラーや、Semrushのような外部のクローラーでも起こりうることです。クローリングエラーを解決するための手順は、エラーとページがホスティングされている場所によって異なります。

HubSpotのSEOツールがHubSpotのページをクロールしている様子

SEOの推奨事項は、ページや投稿のパフォーマンス詳細の「最適化」タブで確認することができます。ページのクロールに問題がある場合、次のようなエラーメッセージが表示されることがあります：

ステータス 301: Moved Permanently : 301リダイレクトがクローラーのコンテンツへのアクセスを妨げている。
ステータス 302：Object moved : 302（一時的な）リダイレクトが、クローラーによるコンテンツへのアクセスを妨げています。
ステータス 403：Forbidden : サーバーには到達できるが、コンテンツへのアクセスは拒否される。
ステータス404：Not Found : 削除または移動されたため、クローラーはコンテンツのライブバージョンを見つけることができません。
Crawl of [site] blocked by robots.txt: a robots.txt file is blocking content from being indexed.

HubSpotのSEOツールで外部ページをクロールしている様子

HubSpotのSEOツールを使って外部ページをクロールしようとした場合、または外部コンテンツをHubSpotにインポートしている場合、これらのエラーのいずれかに遭遇することがあります：

robots.txtファイルでブロックされたスキャン : robots.txtファイルで外部ページがインデックスから除外されている場合、HubSpotクローラーのユーザーエージェント「HubSpot Crawler」を除外対象として追加します。、robots.txtファイルの詳細についてはこちらをご覧ください。
robots.txtファイルが取得できない : HubSpotのクローラーがサイトのrobots.txtファイルにアクセスできない場合、robots.txtファイルにアクセスできるか、サイトのトップレベルディレクトリにあるかどうかを確認してください。、robots.txtファイルの詳細についてはこちらをご覧ください。
クローラーがこのURLをスキャンできません : HubSpotのクローラーが特定のURLをクロールできない場合は、以下のトラブルシューティング手順をお試しください：
- URLが正しく入力されていることを確認する。
- クロールされるページが現在ライブであることを確認する。
- DNSがURLを解決できることを確認する。DNSエラーの解決については、Googleのドキュメントをご覧ください。
- サイト管理者に連絡し、当社のクローラーのユーザーエージェント「HubSpot Crawler」を例外として許可リストに追加するよう依頼してください。