Forstå SEO crawling-fejl

Hvis en SEO-crawler ikke kan indeksere en side, vil den returnere en crawlingfejl. Det kan ske med crawlerne i HubSpots SEO- og importværktøjer, såvel som eksterne crawlere som Semrush. Trinene til at løse en crawling-fejl afhænger af fejlen, og hvor siden er hostet.

HubSpots SEO-værktøjer crawler en HubSpot-side

Du kan se SEO-anbefalinger på fanen Optimering i en sides eller et posts præstationsoplysninger. Hvis der er problemer med at crawle siden, kan du se en af følgende fejlmeddelelser:

• Status 301: Moved Permanently: en 301-omdirigering forhindrer crawleren i at få adgang til indholdet.
• Status 302: Objekt flyttet: en 302 (midlertidig) omdirigering forhindrer crawleren i at få adgang til indholdet.
• Status 403: Forbidden: Serveren kan nås, men adgang til indhold er nægtet.
• Status 404: Not Found: crawleren kan ikke finde en live version af indholdet, fordi det er blevet slettet eller flyttet.
• Crawl af [site] blokeret af robots.txt: en robots.txt-fil blokerer indholdet fra at blive indekseret.

HubSpots SEO-værktøjer crawler en ekstern side

Hvis du har forsøgt at crawle eksterne sider ved hjælp af HubSpots SEO-værktøjer eller importerer eksternt indhold til HubSpot, kan du støde på en af disse fejl:

• Scanning blokeret af robots.txt-fil: Hvis din eksterne side er udelukket fra indeksering af din robots.txt-fil, skal du tilføje HubSpot-crawlerens brugeragent "HubSpot Crawler" som en undtagelse. Læs mere om at arbejde med en robots.txt-fil.
• Robots.txt-filen kunne ikke hentes: Hvis HubSpots crawlere ikke kan få adgang til dit websteds robots.txt-fil, skal du kontrollere, at robots.txt-filen er tilgængelig og i mappen på øverste niveau på dit websted. Læs mere om, hvordan du arbejder med en robots.txt-fil.
• Crawleren kan ikke scanne denne URL: Hvis HubSpots crawlere ikke kan crawle en bestemt URL, kan du prøve følgende fejlfindingstrin:
  • Kontrollér, at URL'en er indtastet korrekt.
  • Kontrollér, at den side, der crawles, er live i øjeblikket.
  • Kontrollér, at DNS kan løse URL'en. Læs mere om løsning af DNS-fejl i Googles dokumentation.
  • Kontakt din webstedsadministrator og bed om, at de tilføjer vores crawlers brugeragent, "HubSpot Crawler", til tilladelseslisten som en undtagelse.

Et eksternt SEO-værktøj crawler en HubSpot-side

Hvis du har forsøgt at crawle dine HubSpot-sider ved hjælp af et eksternt SEO-værktøj som Moz eller Semrush, kan du opleve, at du ikke er i stand til at crawle dine sider.

Almindelige årsager til dette problem er bl.a:

• Inkluderingen af dine sider i robots.txt-filen forhindrer dem i at blive indekseret eller crawlet.
• Et "noindex"-metatag i head HTML på dine sider forhindrer dem i at blive indekseret eller crawlet.
• Auditering af et roddomæne i stedet for det underdomæne, der er forbundet til HubSpot, forårsager en timeout-fejl.
• Links til RSS-feeds og blogsider udløber, når nye blogindlæg udgives, hvilket kan generere fejl med blokerede ressourcer.
• Ikke-essentielle ressourcer, såsom de scripts, der indlæser HubSpots sprocket-menu, kan forårsage blocked resources-fejl. Dette forhindrer ikke resten af siden i at blive crawlet.