了解SEO爬行錯誤
上次更新時間: 一月 20, 2023
套用至:
所有產品和版本 |
如果SEO爬行程序無法為網頁索引,則會傳回爬行錯誤。 這可能會在HubSpot的SEO和匯入工具中的爬行器,以及Semrush等外部爬行器中發生。 解決爬網錯誤的步驟取決於錯誤以及網頁的託管位置。
爬行HubSpot頁面的HubSpot的SEO工具
你可以在頁面或文章的「最佳化」標籤上查看SEO建議。 如果檢索網頁時發生問題,您可能會看到以下錯誤訊息之一:
- 狀態301 :永久移動- 301重定向阻止爬行程序存取內容。
- 狀態302 :移動的物件- 302 (暫時)重定向正阻止爬行器存取內容。
- 狀態403 :禁止-可以到達伺服器,但拒絕存取內容。
- 狀態404 :找不到-爬行程序無法找到內容的即時版本,因為它已被刪除或移動。
- Robots.txt阻止的[site]爬網- robots.txt文件阻止了內容被索引。
HubSpot的SEO工具爬行外部頁面
如果您嘗試使用HubSpot的SEO工具爬取外部網頁,或正在將外部內容匯入HubSpot ,您可能會遇到以下錯誤之一:
- 掃描被robots.txt檔阻止:如果您的外部頁面被robots.txt檔案排除在索引之外,請新增我們的爬行程序使用者代理「HubSpot爬行程序」作為豁免。 在此了解更多關於如何使用robots.txt檔案的資訊。
- 無法檢索Robots.txt檔案:如果HubSpot的爬行程序無法存取網站的robots.txt檔案,請驗證robots.txt檔案是否可存取,並存放在網站的頂級目錄中。 在此了解更多關於如何使用robots.txt檔案的資訊。
- 爬行程序無法掃描此網址:如果HubSpot的爬行程序無法爬行特定網址,請嘗試以下故障排除步驟:
- 驗證網址已正確輸入。
- 驗證正在爬網的網頁目前已上線。
- 驗證DNS可以解析網址。 進一步了解如何解決Google文件中的DNS錯誤。
- 請聯絡你的網站管理員,並要求他們將我們的爬行程序的用戶代理「HubSpot爬行程序」新增至允許清單作為豁免。
爬行HubSpot頁面的外部SEO工具
如果您嘗試使用外部SEO工具(如Moz或Semrush )檢索您的HubSpot頁面,您可能會發現您無法成功檢索頁面。
此問題的常見原因包括:
- 將您的網頁包含在robots.txt檔案中,將阻止他們被索引或爬取。
- 您的網頁的標題HTML中的noindex meta標籤會阻止他們被索引或爬行。
- 稽核根網域,而不是連接到HubSpot的子網域,會導致超時錯誤。
- 當新網誌文章發佈時, RSS供稿和網誌列表頁面的連結會過期,這可能會產生被封鎖的資源錯誤。
- 非必需的資源,例如載入HubSpot分支菜單的腳本,可能會提示阻止的資源錯誤。 這不會阻止網頁的其他部分被爬取。
Thank you for your feedback, it means a lot to us.
相關內容
-
在HubSpot中查看SEO推薦
遵循SEO最佳實踐可隨著時間的推移,讓您的網站獲得更多有機流量。 SEO推薦可以針對您的整體網站或逐頁查看。 進一步了解特定的SEO建議。 所有HubSpot帳戶都可以在頁面編輯器中查看SEO建議。 SEO主題...
知識庫 -
了解SEO建議
在SEO工具、內容編輯器和頁面詳情中,您可以掃描內容以獲得SEO建議。 進一步了解如何瀏覽您的SEO建議。 建議會根據對您網站的SEO的影響、解決建議的技術困難以及解決建議人員的角色,在SEO工具中進行整理。 具有高
知識庫 -
了解Google Search Console集成的指標
HubSpot的Google Search Console整合會為您的SEO控制面板新增新的指標,顯示您的內容在整體搜尋中的效果。 請在下方找到有關這些指標的常見問題的答案。 請注意:如果您對Google如何計算...
知識庫