Förstå SEO-krypteringsfel

Om en SEO-crawler inte kan indexera en sida kommer den att returnera ett crawling-fel. Detta kan hända med sökrobotarna i HubSpots SEO- och importverktyg, samt externa sökrobotar som Semrush. Stegen för att lösa ett crawling-fel beror på felet och var sidan är hostad.

HubSpots SEO-verktyg crawlar en HubSpot-sida

Du kan se SEO-rekommendationer på fliken Optimering i prestandadetaljerna för en sida eller ett inlägg. Om det är problem med att genomsöka sidan kan du se något av följande felmeddelanden:

• Status 301: Flyttas permanent: en 301-omdirigering hindrar sökroboten från att komma åt innehållet.
• Status 302: Objektet har flyttats: en 302-omdirigering (tillfällig) hindrar sökroboten från att komma åt innehållet.
• Status 403: Förbjuden: servern kan nås, men åtkomst till innehållet nekas.
• Status 404: Not Found: crawlern kan inte hitta en aktuell version av innehållet eftersom det har raderats eller flyttats.
• Genomsökningav [webbplats] blockerad av robots.txt: en robots.txt-fil blockerar innehållet från att indexeras.

HubSpots SEO-verktyg crawlar en extern sida

Om du har försökt att genomsöka externa sidor med HubSpots SEO-verktyg eller importerar externt innehåll till HubSpot, kan du stöta på ett av dessa fel:

• Scan blockerad av robots.txt-fil: om din externa sida är utesluten från indexering av din robots.txt-fil, lägg till HubSpot-crawlerns användaragent "HubSpot Crawler" som ett undantag. Läs mer om hur du arbetar med en robots.txt-fil.
• Robots.txt-filen kunde inte hämtas: om HubSpots sökrobotar inte kan komma åt din webbplats robots.txt-fil, kontrollera att robots.txt-filen är tillgänglig och i toppnivåkatalogen på din webbplats. Läs mer om hur du arbetar med en robots.txt-fil.
• Sökroboten kan inte skanna denna URL: Om HubSpots sökrobotar inte kan söka igenom en specifik URL kan du prova följande felsökningssteg:
  • Kontrollera att URL:en har angetts korrekt.
  • Kontrollera att sidan som genomsöks för närvarande är live.
  • Kontrollera att DNS kan lösa URL-adressen. Läs mer om hur du löser DNS-fel i Googles dokumentation.
  • Kontakta din webbplatsadministratör och be att de lägger till vår crawlers användaragent, "HubSpot Crawler", i listan över tillåtna som ett undantag.

Ett externt SEO-verktyg crawlar en HubSpot-sida

Om du har försökt att crawla dina HubSpot-sidor med ett externt SEO-verktyg som Moz eller Semrush, kan det hända att du inte kan crawla dina sidor framgångsrikt.

Vanliga orsaker till detta problem inkluderar:

• Inkluderingen av dina sidor i robots.txt-filen hindrar dem från att indexeras eller genomsökas.
• En "noindex"-metatagg i HTML-rubriken på dina sidor hindrar dem från att indexeras eller genomsökas.
• Granskning av en rotdomän, snarare än den underdomän som är ansluten till HubSpot, orsakar ett timeout-fel.
• Länkar till RSS-flöden och blogglistningssidor upphör att gälla när nya blogginlägg publiceras, vilket kan generera fel med blockerade resurser.
• Icke nödvändiga resurser, t.ex. skripten som laddar HubSpots sprocket-meny, kan leda till blockerade resursfel. Detta hindrar inte resten av sidan från att genomsökas.