外部クローラーでHubSpotページをクロールできません

Moz、OnPage、SEMRushなど、外部SEOツールを使用してHubSpotページをクロールしようとしたときに、ページを正常にクロールできなかった経験はありませんか。

この問題を解決するには、次の点を確認してください。

1. Robots.txt：ページのインデックス付けまたはクロールが回避されるようなコンテンツ設定で、ページがrobots.txtファイルに追加されていないかどうかを確認します。
2. メタタグ： ページのインデックス付けまたはクロールが回避されるようなコード（noindexなど）がページのHead HTMLに追加されていないかどうかを確認します。

特定のページのインデックス付けまたはクロールが回避されるように設定を調整することもできます。 

ご注意ください：SEMRushを使用してサイトを監査しているときにタイムアウトエラーが発生した場合、ルートドメインではなく、HubSpotを使用してホストしている特定のサブドメインが監査対象になっていることを確認してください。

HubSpotでホストしているコンテンツでSEOエラーが表示されるのはなぜですか？

HubSpotでホストしているコンテンツをクロールする際に外部SEOツールがエラーを返すことはよくあります。たとえば、ブログ一覧ページやブログのRSSフィードで401エラーや警告が表示されることがあります。新しい記事が公開されるとこの両方のリンクが変更され、結果的に期限切れになります。外部SEOツールは期限切れになったリンクを再クロールできないため、結果的にエラーのフラグが付けられます。また、特にRSSフィードもインデックス付けする必要はありません。実際のブログ記事で公開されているコンテンツと同じためです。このエラーは次のように表示されます。

Blocked Resources > https://mydomain.com/_hcms/rss/feed?feedId=

また、外部SEOツールは、インデックス付けの必要がないHubSpotリソースに対して、ブロックされたリソースのエラーを表示することがあります。たとえば、ページエディターにユーザーを移動するHubSpotスプロケットショートカットメニューの読み込みに使用するスクリプトや、HubSpotトラッキングコードがありますが、これらは、検索結果として表示されないためにクロールする必要がなく、ページのコンテンツの把握に重要ではありません。これらのリソースはブロックまたはフラグ付けされている可能性がありますが、ページ自体がクロールされなかったことを意味するものではありません。このエラーは次のように表示されます。

Blocked Resources > https://js.hs-scripts.com