跳到內容
請注意::這篇文章的翻譯只是為了方便而提供。譯文透過翻譯軟體自動建立,可能沒有經過校對。因此,這篇文章的英文版本應該是包含最新資訊的管理版本。你可以在這裡存取這些內容。

了解SEO抓取錯誤

上次更新時間: 六月 28, 2023

可与下列任何一种订阅一起使用,除非有说明:

所有產品和版本

如果SEO抓取工具無法索引頁面,它將返回抓取錯誤。 這可能發生在HubSpot的SEO和匯入工具中的抓取工具,以及Semrush等外部抓取工具中。 解決爬網錯誤的步驟取決於錯誤和頁面的託管地點。 

HubSpot的SEO工具抓取HubSpot頁面

您可以在網頁或文章的效能詳情的「最佳化」標籤頁上檢視SEO建議。 如果抓取頁面時發生問題,您可能會看到以下錯誤訊息之一: 

  • 狀態301 :永久移動- 301重定向阻止爬蟲訪問內容。 
  • 狀態302 :物件移動- 302 (暫時)重定向阻止爬蟲訪問內容。
  • 狀態403 :禁止-可以訪問伺服器,但對內容的存取被拒絕。
  • 狀態404 :未找到-爬蟲無法找到內容的實時版本,因為它已被刪除或移動。
  • [site]的抓取被robots.txt阻止- robots.txt文件阻止內容被索引。 

HubSpot的SEO工具抓取外部頁面

如果您嘗試使用HubSpot的SEO工具抓取外部頁面,或將外部內容匯入HubSpot ,您可能會遇到以下錯誤之一: 

    被robots.txt檔案封鎖的
  • 掃描:如果您的外部頁面被robots.txt檔案排除在索引之外,請新增我們爬蟲程式的使用者代理「HubSpot Crawler」作為例外。在此了解更多有關使用robots.txt檔案的資訊。
  • 無法檢索Robots.txt檔案:如果HubSpot的爬蟲程式無法存取您網站的robots.txt檔案,請確認robots.txt檔案可存取且位於您網站的頂級目錄中。 在此處了解有關使用robots.txt檔案的詳細資訊。
  • 抓取工具無法掃描此URL :如果HubSpot的抓取工具無法抓取特定URL ,請嘗試以下疑難排解步驟:
    • 確認URl輸入正確。
    • 確認要爬網的頁面目前已啟動。
    • 確認DNS可以解析URL。 進一步了解如何解決Google文件中的DNS錯誤。
    • 聯絡你的網站管理員,請他們將我們的爬蟲程式使用者代理「HubSpot爬蟲程式」新增至允許清單,以作為例外情況。 

正在抓取HubSpot頁面的外部SEO工具

如果您嘗試使用外部SEO工具(如Moz或Semrush )抓取HubSpot頁面,您可能會發現無法成功抓取頁面。

此問題的常見原因包括: 

    • 將您的頁面包含在robots.txt檔案中會阻止它們被索引或抓取。 
    • 頁面頭部HTML中的noindex meta標籤會阻止它們被索引或抓取。 
    • 審核根網域,而不是連接到HubSpot的子網域,會導致超時錯誤
    • RSS源和部落格列表頁面的連結會在發佈新的部落格文章時過期,這可能會產生資源錯誤。
    • 非必要資源,例如載入HubSpot鏈輪選單的腳本,可能會提示被封鎖的資源錯誤。 這不會阻止頁面的其餘部分被抓取。 
這篇文章有幫助嗎?
此表單僅供記載意見回饋。了解如何取得 HubSpot 的協助