SEOのクローリングエラーを理解する
更新日時 2023年 4月 4日
以下の 製品でご利用いただけます(別途記載されている場合を除きます)。
|
SEOクローラーが一覧ページをインデックスできない場合、クローリングエラーを返します。これは、HubSpotのSEOツールやインポートツールのクローラーや、Semrushのような外部のクローラーでも起こりうることです。クローリングエラーを解決するための手順は、エラーとページがホスティングされている場所によって異なります。
HubSpotのSEOツールがHubSpotのページをクロールしている様子
SEOの推奨事項は、ページや投稿のパフォーマンス詳細の「最適化」タブで確認することができます。ページのクロールに問題がある場合、次のようなエラーメッセージが表示されることがあります:
- Status 301: Moved Permanently - 301リダイレクトにより、クローラーがコンテンツにアクセスできないようにしています。
- ステータス302:Object moved - 302(一時的な)リダイレクトが、クローラーのコンテンツへのアクセスを妨げています。
- ステータス 403:Forbidden - サーバーには到達できるが、コンテンツへのアクセスは拒否される。
- ステータス404:Not Found - 削除または移動されたため、クローラーはコンテンツのライブバージョンを見つけることができません。
- Crawl of [site] blocked by robots.txt - robots.txtファイルがコンテンツのインデックスをブロックしています。
HubSpotのSEOツールで外部ページをクロールしている様子
HubSpotのSEOツールを使って外部ページをクロールしようとした場合、または外部コンテンツをHubSpotにインポートしている場合、これらのエラーのいずれかに遭遇することがあります:
- robots.txtファイルによってブロックされたスキャン:外部ページがrobots.txtファイルによって一覧表示から除外されている場合、当社のクローラーのユーザーエージェント「HubSpot Crawler」を除外として追加します。robots.txtファイルの扱いについて詳しくはこちらです。
- Robots.txt file couldn't be retrieved: HubSpotのクローラーがサイトのrobots.txtファイルにアクセスできない場合、robots.txtファイルにアクセスできるか、サイトのトップレベルディレクトリにあるかどうかを確認します。robots.txtファイルの扱いについては、こちらをご覧ください。
- The crawler isn't able to scan this URL : HubSpotのクローラーが特定のURLをクロールできない場合、以下のトラブルシューティングをお試しください:
- URlが正しく入力されていることを確認する。
- クロールされるページが現在ライブであることを確認する。
- DNSがURLを解決できることを確認する。DNSエラーの解決については、Googleのドキュメントで詳しく説明しています。
- サイト管理者に連絡し、当社のクローラーのユーザーエージェントである「HubSpot Crawler」を免除として許可リストに追加するよう要請してください。
外部SEOツールがHubSpotのページをクロールしている。
MozやSemrushなどの外部SEOツールを使ってHubSpotのページをクロールしようとした場合、ページを正常にクロールできないことがあります。
この問題の一般的な原因としては、次のようなものがあります:
- robots.txtファイルにお客様のページが含まれることで、インデックスやクロールの対象から外れています。
- ページのヘッドHTMLに noindexメタタグがあり、インデックスやクロールを妨げている。
- HubSpot に接続されているサブドメインではなく、ルートドメインを監査すると、タイムアウトエラーが発生します。
- RSSフィードやブログの一覧ページへのリンクは、新しいブログ記事が公開されると失効するため、リソースがブロックされたエラーが発生する可能性があります。
- HubSpot sprocketメニューを読み込むスクリプトなど、必要でないリソースは、ブロックされたリソースエラーを引き起こす可能性があります。これは、ページの残りの部分がクロールされるのを妨げるものではありません。
関連記事
-
重複コンテンツのcanonical URLの設定
ウェブサイトの複数のページで重複したコンテンツをホストしている場合、正規のURLを設定すると、どのコンテンツに優先バージョンが含まれているかが検索エンジンに通知されます。 canonical URL設定の管理 ...
ナレッジベース -
HubSpotでSEO推奨事項を表示する
SEOのベストプラクティスに従うことで、時間の経過とともにウェブサイトへのオーガニックトラフィックが増加します。SEO推奨事項は、ウェブサイト全体で、またはページごとに表示できます。特定のSEO推奨事項...
ナレッジベース -
個々のページおよびブログ記事のパフォーマンスを分析する
個別のページとブログ記事を分析して、訪問者がウェブサイトにどのようにエンゲージメントしているかを確認します。 ページにスマート コンテンツ...
ナレッジベース