了解SEO爬行錯誤

如果SEO爬行程序無法為網頁索引，則會傳回爬行錯誤。 這可能會在HubSpot的SEO和匯入工具中的爬行器，以及Semrush等外部爬行器中發生。 解決爬網錯誤的步驟取決於錯誤以及網頁的託管位置。 

爬行HubSpot頁面的HubSpot的SEO工具

你可以在頁面或文章的「最佳化」標籤上查看SEO建議。 如果檢索網頁時發生問題，您可能會看到以下錯誤訊息之一： 

• 狀態301 ：永久移動- 301重定向阻止爬行程序存取內容。 
• 狀態302 ：移動的物件- 302 （暫時）重定向正阻止爬行器存取內容。
• 狀態403 ：禁止-可以到達伺服器，但拒絕存取內容。
• 狀態404 ：找不到-爬行程序無法找到內容的即時版本，因為它已被刪除或移動。
• Robots.txt阻止的[site]爬網- robots.txt文件阻止了內容被索引。 

HubSpot的SEO工具爬行外部頁面

如果您嘗試使用HubSpot的SEO工具爬取外部網頁，或正在將外部內容匯入HubSpot ，您可能會遇到以下錯誤之一： 

• 掃描被robots.txt檔阻止：如果您的外部頁面被robots.txt檔案排除在索引之外，請新增我們的爬行程序使用者代理「HubSpot爬行程序」作為豁免。 在此了解更多關於如何使用robots.txt檔案的資訊。 
• 無法檢索Robots.txt檔案：如果HubSpot的爬行程序無法存取網站的robots.txt檔案，請驗證robots.txt檔案是否可存取，並存放在網站的頂級目錄中。 在此了解更多關於如何使用robots.txt檔案的資訊。 
• 爬行程序無法掃描此網址：如果HubSpot的爬行程序無法爬行特定網址，請嘗試以下故障排除步驟： 
  • 驗證網址已正確輸入。 
  • 驗證正在爬網的網頁目前已上線。
  • 驗證DNS可以解析網址。 進一步了解如何解決Google文件中的DNS錯誤。 
  • 請聯絡你的網站管理員，並要求他們將我們的爬行程序的用戶代理「HubSpot爬行程序」新增至允許清單作為豁免。 

爬行HubSpot頁面的外部SEO工具

如果您嘗試使用外部SEO工具（如Moz或Semrush ）檢索您的HubSpot頁面，您可能會發現您無法成功檢索頁面。

此問題的常見原因包括： 

• 將您的網頁包含在robots.txt檔案中，將阻止他們被索引或爬取。 
• 您的網頁的標題HTML中的noindex meta標籤會阻止他們被索引或爬行。 
• 稽核根網域，而不是連接到HubSpot的子網域，會導致超時錯誤。
• 當新網誌文章發佈時， RSS供稿和網誌列表頁面的連結會過期，這可能會產生被封鎖的資源錯誤。
• 非必需的資源，例如載入HubSpot分支菜單的腳本，可能會提示阻止的資源錯誤。 這不會阻止網頁的其他部分被爬取。