SEOクロールエラーを理解する

SEOクローラがページをインデックスできない場合、クロールエラーが返されます。これは、HubSpotのSEOやインポートツールのクローラや、Semrushなどの外部クローラで発生する可能性があります。クロールエラーを解決する手順は、エラーとページがホストされている場所によって異なります。 

HubSpotページをクロールするHubSpotのSEOツール

ページまたは投稿のパフォーマンスの詳細の[最適化]タブでSEOのおすすめを表示できます。ページのクロールに問題がある場合は、次のエラーメッセージのいずれかが表示されます。 

• ステータス301:完全に移動- 301リダイレクトにより、クローラがコンテンツにアクセスできなくなります。 
• ステータス302:移動したオブジェクト- 302 (一時的な)リダイレクトがクローラによるコンテンツへのアクセスを妨げています。
• ステータス403:禁止-サーバーにアクセスできますが、コンテンツへのアクセスは拒否されます。
• ステータス404:見つかりません-コンテンツが削除または移動されたため、クローラはコンテンツのライブバージョンを見つけることができません。
• Robots.txtによってブロックされた[site]のクロール- robots.txtファイルがコンテンツのインデックス作成をブロックしています。 

外部ページをクロールするHubSpotのSEOツール

HubSpotのSEOツールを使用して外部ページをクロールしようとした場合、または外部コンテンツをHubSpotにインポートしようとしている場合、次のいずれかのエラーが発生する可能性があります。 

• Robots.txtファイルによってブロックされたスキャン:外部ページがrobots.txtファイルによってインデックス作成から除外されている場合は、クローラのユーザーエージェント「HubSpotクローラ」を例外として追加します。Robots.txtファイルの操作の詳細については、こちらをご覧ください。 
• Robots.txtファイルを取得できませんでした。HubSpotのクローラがサイトのrobots.txtファイルにアクセスできない場合は、robots.txtファイルがサイトのトップレベルディレクトリにアクセス可能であることを確認してください。Robots.txtファイルの操作の詳細については、こちらをご覧ください。 
• クローラはこのURLをスキャンできません。HubSpotのクローラが特定のURLをクロールできない場合は、次のトラブルシューティング手順を試してください 。
  • URLが正しく入力されていることを確認してください。 
  • クロールされているページが現在有効であることを確認します。
  • DNSがURLを解決できることを確認します。GoogleドキュメントのDNSエラーの解決について詳しくは、こちらをご覧ください。 
  • サイト管理者に連絡し、クローラのユーザーエージェントである「HubSpotクローラ」を許可リストに例外として追加するよう依頼します。 

HubSpotページをクロールする外部SEOツール

MozやSemrushなどの外部SEOツールを使用してHubSpotページをクロールしようとした場合、ページを正常にクロールできない可能性があります。

この問題の一般的な原因は次のとおりです。 

• Robots.txtファイルにページを含めると、インデックスやクロールができなくなります。 
• ページのヘッドHTMLのnoindexメタタグは、インデックス化またはクロールされません。 
• HubSpotに接続されているサブドメインではなく、ルートドメインを監査すると、タイムアウトエラーが発生します。
• 新しいブログ投稿が公開されると、RSSフィードとブログリストページのリンクが期限切れになり、ブロックされたリソースエラーが発生する可能性があります。
• HubSpotスプロケットメニューを読み込むスクリプトなどの非必須リソースは、ブロックされたリソースエラーを促す可能性があります。これにより、ページの残りの部分がクロールされるのを防ぐことはできません。