Om en SEO-crawler inte kan indexera en sida kommer den att returnera ett crawling-fel. Detta kan hända med sökrobotarna i HubSpots SEO- och importverktyg, samt externa sökrobotar som Semrush. Stegen för att lösa ett crawling-fel beror på felet och var sidan är hostad.
HubSpots SEO-verktyg crawlar en HubSpot-sida
Du kan se SEO-rekommendationer på fliken Optimering i prestandadetaljerna för en sida eller ett inlägg. Om det är problem med att genomsöka sidan kan du se något av följande felmeddelanden:
- Status 301: Flyttas permanent: en 301-omdirigering hindrar sökroboten från att komma åt innehållet.
- Status 302: Objektet har flyttats: en 302-omdirigering (tillfällig) hindrar sökroboten från att komma åt innehållet.
- Status 403: Förbjuden: servern kan nås, men åtkomst till innehållet nekas.
- Status 404: Not Found: crawlern kan inte hitta en aktuell version av innehållet eftersom det har raderats eller flyttats.
- Genomsökningav [webbplats] blockerad av robots.txt: en robots.txt-fil blockerar innehållet från att indexeras.
HubSpots SEO-verktyg crawlar en extern sida
Om du har försökt att genomsöka externa sidor med HubSpots SEO-verktyg eller importerar externt innehåll till HubSpot, kan du stöta på ett av dessa fel:
- Scan blockerad av robots.txt-fil: om din externa sida är utesluten från indexering av din robots.txt-fil, lägg till HubSpot-crawlerns användaragent "HubSpot Crawler" som ett undantag. Läs mer om hur du arbetar med en robots.txt-fil.
- Robots.txt-filen kunde inte hämtas: om HubSpots sökrobotar inte kan komma åt din webbplats robots.txt-fil, kontrollera att robots.txt-filen är tillgänglig och i toppnivåkatalogen på din webbplats. Läs mer om hur du arbetar med en robots.txt-fil.
- Sökroboten kan inte skanna denna URL: Om HubSpots sökrobotar inte kan söka igenom en specifik URL kan du prova följande felsökningssteg:
- Kontrollera att URL:en har angetts korrekt.
- Kontrollera att sidan som genomsöks för närvarande är live.
- Kontrollera att DNS kan lösa URL-adressen. Läs mer om hur du löser DNS-fel i Googles dokumentation.
- Kontakta din webbplatsadministratör och be att de lägger till vår crawlers användaragent, "HubSpot Crawler", i listan över tillåtna som ett undantag.
Ett externt SEO-verktyg crawlar en HubSpot-sida
Om du har försökt att crawla dina HubSpot-sidor med ett externt SEO-verktyg som Moz eller Semrush, kan det hända att du inte kan crawla dina sidor framgångsrikt.
Vanliga orsaker till detta problem inkluderar:
- Inkluderingen av dina sidor i robots.txt-filen hindrar dem från att indexeras eller genomsökas.
- En "noindex"-metatagg i HTML-rubriken på dina sidor hindrar dem från att indexeras eller genomsökas.
- Granskning av en rotdomän, snarare än den underdomän som är ansluten till HubSpot, orsakar ett timeout-fel.
- Länkar till RSS-flöden och blogglistningssidor upphör att gälla när nya blogginlägg publiceras, vilket kan generera fel med blockerade resurser.
- Icke nödvändiga resurser, t.ex. skripten som laddar HubSpots sprocket-meny, kan leda till blockerade resursfel. Detta hindrar inte resten av sidan från att genomsökas.