SEOクロールエラーを理解する
更新日時 2022年 8月 12日
SEOクローラがページをインデックスできない場合、クロールエラーが返されます。これは、HubSpotのSEOやインポートツールのクローラや、Semrushなどの外部クローラで発生する可能性があります。クロールエラーを解決する手順は、エラーとページがホストされている場所によって異なります。
HubSpotページをクロールするHubSpotのSEOツール
ページまたは投稿のパフォーマンスの詳細の[最適化]タブでSEOのおすすめを表示できます。ページのクロールに問題がある場合は、次のエラーメッセージのいずれかが表示されます。
- ステータス301:完全に移動- 301リダイレクトにより、クローラがコンテンツにアクセスできなくなります。
- ステータス302:移動したオブジェクト- 302 (一時的な)リダイレクトがクローラによるコンテンツへのアクセスを妨げています。
- ステータス403:禁止-サーバーにアクセスできますが、コンテンツへのアクセスは拒否されます。
- ステータス404:見つかりません-コンテンツが削除または移動されたため、クローラはコンテンツのライブバージョンを見つけることができません。
- Robots.txtによってブロックされた[site]のクロール- robots.txtファイルがコンテンツのインデックス作成をブロックしています。
外部ページをクロールするHubSpotのSEOツール
HubSpotのSEOツールを使用して外部ページをクロールしようとした場合、または外部コンテンツをHubSpotにインポートしようとしている場合、次のいずれかのエラーが発生する可能性があります。
- Robots.txtファイルによってブロックされたスキャン:外部ページがrobots.txtファイルによってインデックス作成から除外されている場合は、クローラのユーザーエージェント「HubSpotクローラ」を例外として追加します。Robots.txtファイルの操作の詳細については、こちらをご覧ください。
- Robots.txtファイルを取得できませんでした。HubSpotのクローラがサイトのrobots.txtファイルにアクセスできない場合は、robots.txtファイルがサイトのトップレベルディレクトリにアクセス可能であることを確認してください。Robots.txtファイルの操作の詳細については、こちらをご覧ください。
- クローラはこのURLをスキャンできません。HubSpotのクローラが特定のURLをクロールできない場合は、次のトラブルシューティング手順を試してください 。
- URLが正しく入力されていることを確認してください。
- クロールされているページが現在有効であることを確認します。
- DNSがURLを解決できることを確認します。GoogleドキュメントのDNSエラーの解決について詳しくは、こちらをご覧ください。
- サイト管理者に連絡し、クローラのユーザーエージェントである「HubSpotクローラ」を許可リストに例外として追加するよう依頼します。
HubSpotページをクロールする外部SEOツール
MozやSemrushなどの外部SEOツールを使用してHubSpotページをクロールしようとした場合、ページを正常にクロールできない可能性があります。
この問題の一般的な原因は次のとおりです。
- Robots.txtファイルにページを含めると、インデックスやクロールができなくなります。
- ページのヘッドHTMLのnoindexメタタグは、インデックス化またはクロールされません。
- HubSpotに接続されているサブドメインではなく、ルートドメインを監査すると、タイムアウトエラーが発生します。
- 新しいブログ投稿が公開されると、RSSフィードとブログリストページのリンクが期限切れになり、ブロックされたリソースエラーが発生する可能性があります。
- HubSpotスプロケットメニューを読み込むスクリプトなどの非必須リソースは、ブロックされたリソースエラーを促す可能性があります。これにより、ページの残りの部分がクロールされるのを防ぐことはできません。
Thank you for your feedback, it means a lot to us.
関連記事
-
HubSpotでSEO推奨事項を表示する
SEOのベストプラクティスに従うなら、ウェブサイトへのオーガニックトラフィックの増加につながります。SEO推奨事項は、ウェブサイト全体で、またはページごとに表示できます。特定のSEO推奨事項...
ナレッジベース -
SEO推奨事項について
SEOツール、コンテンツエディター、ページ詳細の中でコンテンツをスキャンして、SEO推奨事項を検索できます。詳細はSEO推奨事項を表示する方法をご覧ください。 ...
ナレッジベース -
HubSpot で Google Search Consoleとの連携を有効にする
HubSpot の Google Search Consoleとの連携により、データが Google 検索から SEO ツールに取り込まれます。Google Search Consoleは、Google...
ナレッジベース