Förstå fel i SEO-crawling
Senast uppdaterad: juni 28, 2023
Tillgänglig med något av följande abonnemang, om inte annat anges:
|
Om en SEO-crawler inte kan indexera en sida returnerar den ett crawlingfel. Detta kan hända med crawlerna i HubSpot SEO- och importverktygen samt externa crawler som Semrush. Stegen för att lösa ett crawlingfel beror på felet och var sidan är värd.
HubSpot SEO-verktyg som kryper en HubSpot-sida
Du kan visa SEO-rekommendationer på fliken Optimering i prestandadetaljerna för en sida eller ett inlägg. Om det finns problem med att crawla sidan kan du se något av följande felmeddelanden:
- Status 301: Flyttas permanent - en 301-omdirigering förhindrar crawlern från att komma åt innehållet.
- Status 302: Objekt flyttat - en 302-omdirigering (tillfällig) förhindrar crawler från att få tillgång till innehållet.
- Status 403: Förbjuden - servern kan nås, men tillgång till innehållet nekas.
- Status 404: Inte hittad - crawlern kan inte hitta en levande version av innehållet eftersom det har raderats eller flyttats.
- Crawl of [site] blocked by robots.txt - en robots.txt-fil hindrar innehållet från att indexeras.
HubSpot SEO-verktyg som kryssar en extern sida
Om du har försökt att crawla externa sidor med HubSpot SEO-verktyg eller importerar externt innehåll till HubSpot kan du stöta på något av dessa fel:
- Om din externa sida är utesluten från indexering av din robots.txt-fil, lägg till vår crawlers användaragent "HubSpot Crawler" som ett undantag.Läs mer om hur du arbetar med en robots.txt-fil här.
- Robots.txt-filen kunde inte hämtas: Om HubSpot crawlers inte kan komma åt din webbplats robots.txt-fil, kontrollera att robots.txt-filen är tillgänglig och finns i den översta katalogen på din webbplats. Läs mer om hur du arbetar med en robots.txt-fil här.
- Crawlern kan inte skanna den här URL:n: Om HubSpot crawlers inte kan skanna en specifik URL kan du prova följande felsökningssteg:
- Kontrollera att URl:n har angetts korrekt.
- Kontrollera att den sida som ska crawlas för närvarande är aktiv.
- Kontrollera att DNS kan lösa upp webbadressen. Läs mer om hur du löser DNS-fel i Googles dokumentation.
- Kontakta din webbplatsadministratör och be att de lägger till vår crawlers användaragent, "HubSpot Crawler", i listan över tillåtna användare som ett undantag.
Ett externt SEO-verktyg som kryper en HubSpot-sida
Om du har försökt att crawla dina HubSpot-sidor med hjälp av ett externt SEO-verktyg som Moz eller Semrush kan det hända att du inte kan crawla dina sidor framgångsrikt.
Vanliga orsaker till det här problemet är bland annat följande:
- Om dina sidor finns med i filen robots.txt förhindrar det att de indexeras eller kryssas.
- En noindex-metatag i HTML-huvudet på dina sidor hindrar dem från att indexeras eller kryssas.
- Granskning av en rotdomän i stället för den underdomän som är ansluten till HubSpot orsakar ett timeoutfel.
- Länkar för RSS-flöden och sidor för bloggförteckningar upphör att gälla när nya blogginlägg publiceras, vilket kan generera fel för blockerade resurser.
- Resurser som inte är nödvändiga, t.ex. skript som laddar HubSpot-sprocketmenyn, kan orsaka fel för blockerade resurser. Detta hindrar inte resten av sidan från att crawlas.