瞭解 SEO 抓取錯誤

如果 SEO 爬取器無法索引頁面，則會返回爬取錯誤。這種情況可能發生在 HubSpot 的 SEO 和匯入工具中的爬行器，以及 Semrush 等外部爬行器。解決爬行錯誤的步驟取決於錯誤和頁面的託管位置。

HubSpot 的 SEO 工具抓取 HubSpot 頁面

您可以在頁面或文章效能詳細資料的 最佳化 索引標籤上檢視 SEO 建議。

1. 導覽到您的內容：
   • 網站頁面：在你的 HubSpot 帳戶中，瀏覽「內容」>「網站頁面」。
   • 登陸頁面：在你的 HubSpot 帳戶中，瀏覽「內容」>「登陸頁面」。 登陸頁面
   • 部落格：在你的 HubSpot 帳戶中，瀏覽「內容」>「部落格」。
2. 將滑鼠移至您的內容，然後按一下效能。
3. 按一下最佳化索引標籤。
4. 預設情況下，「推薦」會在左側邊欄功能表中選取。若要重新掃描內容，請按一下立即重新掃描。如果在抓取頁面時出現問題，您可能會看到以下其中一個錯誤訊息：

• • 狀態 301：永久移動：301 重定向阻止爬蟲存取內容 。
  • 狀態 302：Object moved：302（臨時）重定向會阻止爬蟲存取內容。
  • 狀態 403：Forbidden（禁止）：伺服器可以被到達，但內容的存取被拒絕。
  • 狀態 404：Not Found：由於內容已被刪除或移動，爬蟲無法找到該內容的即時版本。
  • Crawl of [site] blocked by robots.txt： robots.txt 檔案阻擋內容被索引。

HubSpot 的 SEO 工具抓取外部頁面

如果您嘗試使用 HubSpot 的 SEO 工具抓取外部頁面，或正在匯入外部內容到 HubSpot，您可能會遇到這些錯誤之一：

• 掃描被robots.txt檔案阻擋：如果您的外部頁面被robots.txt檔案排除在索引之外，請加入HubSpot爬蟲的使用者代理 "HubSpot Crawler "作為豁免。進一步了解如何使用robots.txt檔案。
• robots.txt檔案無法被擷取：如果HubSpot的爬蟲無法存取您網站的robots.txt檔案，請確認robots.txt檔案是可存取的，並且位於您網站的頂層目錄。瞭解有關使用 robots.txt 檔案的更多資訊。
• 爬蟲無法掃描此 URL：如果 HubSpot 的爬蟲無法抓取特定 URL，請嘗試以下故障排除步驟：
  • 確認輸入的 URL 是否正確。
  • 驗證被抓取的頁面目前是有效的。
  • 確認 DNS 可以解析 URL。在Google 的說明文件中瞭解更多關於解決 DNS 錯誤的資訊。
  • 聯絡您的網站管理員，請求他們將我們爬蟲的使用者代理「HubSpot Crawler」加入允許清單，作為豁免。

外部SEO工具抓取HubSpot網頁

如果您嘗試使用 Moz 或 Semrush 等外部 SEO 工具抓取您的 HubSpot 頁面，您可能會發現無法成功抓取您的頁面。

導致此問題的常見原因包括

• 將您的網頁包含在robots.txt 檔案中，使其無法被索引或抓取。
• 頁面 HTML 標頭 中的 "noindex "元標籤阻止了它們被索引或抓取。
• 審核根網域，而非連接至 HubSpot 的子網域，會導致超時錯誤。
• 當發布新的部落格文章時，RSS 摘要和部落格列表頁面的連結會過期，這可能會產生阻擋資源的錯誤。
• 非必要資源，例如載入 HubSpot sprocket 選單的腳本，可能會提示阻塞資源錯誤。但這不會阻止頁面的其他部分被抓取。