Förstå fel i SEO-crawling

Om en SEO-crawler inte kan indexera en sida returnerar den ett crawlingfel. Detta kan hända med crawlerna i HubSpot SEO- och importverktygen samt externa crawler som Semrush. Stegen för att lösa ett crawlingfel beror på felet och var sidan är värd.

HubSpot SEO-verktyg som kryper en HubSpot-sida

Du kan visa SEO-rekommendationer på fliken Optimering i prestandadetaljerna för en sida eller ett inlägg. Om det finns problem med att crawla sidan kan du se något av följande felmeddelanden:

• Status 301: Flyttas permanent - en 301-omdirigering förhindrar crawlern från att komma åt innehållet.
• Status 302: Objekt flyttat - en 302-omdirigering (tillfällig) förhindrar crawler från att få tillgång till innehållet.
• Status 403: Förbjuden - servern kan nås, men tillgång till innehållet nekas.
• Status 404: Inte hittad - crawlern kan inte hitta en levande version av innehållet eftersom det har raderats eller flyttats.
• Crawl of [site] blocked by robots.txt - en robots.txt-fil hindrar innehållet från att indexeras.

HubSpot SEO-verktyg som kryssar en extern sida

Om du har försökt att crawla externa sidor med HubSpot SEO-verktyg eller importerar externt innehåll till HubSpot kan du stöta på något av dessa fel:

• Om din externa sida är utesluten från indexering av din robots.txt-fil, lägg till vår crawlers användaragent "HubSpot Crawler" som ett undantag.Läs mer om hur du arbetar med en robots.txt-fil här.
• Robots.txt-filen kunde inte hämtas: Om HubSpot crawlers inte kan komma åt din webbplats robots.txt-fil, kontrollera att robots.txt-filen är tillgänglig och finns i den översta katalogen på din webbplats. Läs mer om hur du arbetar med en robots.txt-fil här.
• Crawlern kan inte skanna den här URL:n: Om HubSpot crawlers inte kan skanna en specifik URL kan du prova följande felsökningssteg:
  • Kontrollera att URl:n har angetts korrekt.
  • Kontrollera att den sida som ska crawlas för närvarande är aktiv.
  • Kontrollera att DNS kan lösa upp webbadressen. Läs mer om hur du löser DNS-fel i Googles dokumentation.
    
  • Kontakta din webbplatsadministratör och be att de lägger till vår crawlers användaragent, "HubSpot Crawler", i listan över tillåtna användare som ett undantag.

Ett externt SEO-verktyg som kryper en HubSpot-sida

Om du har försökt att crawla dina HubSpot-sidor med hjälp av ett externt SEO-verktyg som Moz eller Semrush kan det hända att du inte kan crawla dina sidor framgångsrikt.

Vanliga orsaker till det här problemet är bland annat följande:

• Om dina sidor finns med i filen robots.txt förhindrar det att de indexeras eller kryssas.
• En noindex-metatag i HTML-huvudet på dina sidor hindrar dem från att indexeras eller kryssas.
• Granskning av en rotdomän i stället för den underdomän som är ansluten till HubSpot orsakar ett timeoutfel.
• Länkar för RSS-flöden och sidor för bloggförteckningar upphör att gälla när nya blogginlägg publiceras, vilket kan generera fel för blockerade resurser.
• Resurser som inte är nödvändiga, t.ex. skript som laddar HubSpot-sprocketmenyn, kan orsaka fel för blockerade resurser. Detta hindrar inte resten av sidan från att crawlas.