Moz、OnPage、SEMRushなど、外部SEOツールを使用してHubSpotページをクロールしようとしたときに、ページを正常にクロールできなかった経験はありませんか。
この問題を解決するには、次の点を確認してください。
- Robots.txt：ページのインデックス付けまたはクロールが回避されるようなコンテンツ設定で、ページがrobots.txtファイルに追加されていないかどうかを確認します。
- メタタグ： ページのインデックス付けまたはクロールが回避されるようなコード（noindexなど）がページのHead HTMLに追加されていないかどうかを確認します。
- Googlebot：HubSpotでは、Google以外のIPアドレスから起動されたGooglebotからHubSpotページをクロールできません。HubSpotサイトをGoogleボットとしてクロールしようとすると、403エラーが表示される可能性があります。
特定のページのインデックス付けまたはクロールが回避されるように設定を調整することもできます.
注：SEMRushを使用してサイトを監査しているときにタイムアウトエラーが発生した場合、ルートドメインではなく、HubSpotを使用してホストしている特定のサブドメインを監査していることを確認してください。
HubSpotでホストしているコンテンツでSEOエラーが表示されるのはなぜですか？
HubSpotでホストしているコンテンツをクロールしたときに外部SEOツールがエラーを返すことはよくあります。たとえば、ブログ一覧ページやブログのRSSフィードで401エラーや警告が表示されることがあります。新しい記事が公開されるとこの両方のリンクが変更され、結果的に期限切れになります。これらのリンクが期限切れになると、外部SEOツールはこれらのリンクを再クロールできないため、結果的にエラーのフラグが付けられます。また、特にRSSフィードもインデッ クス付けする必要はありません。実際のブログ記事で公開されているコンテンツと同じためです。このエラーは次のように表示されます。
Blocked Resources > https://mydomain.com/_hcms/rss/feed?feedId=
また、外部SEOツールは、インデックス付けの必要がないHubSpotリソースに対して、ブロックされたリソースのエラーを表示することがあります。たとえば、ページエディターにユーザーを移動するHubSpotスプロケットショートカットメニューの読み込みに使用するスクリプトや、HubSpotトラッキングコードがありますが、これらは、検索結果として表示されないためにクロールする必要がなく、ページのコンテンツの把握に重要ではありません。これらのリソースはブロックまたはフラグ付けされている可能性がありますが、ページ自体がクロールされなかったことを意味するものではありません。このエラーは次のように表示されます。
Blocked Resources > https://js.hs-scripts.com