Forstå SEO-crawlingfejl

Hvis en SEO-crawler ikke kan indeksere en side, vil den returnere en crawlingfejl. Det kan ske med crawlerne i HubSpots SEO- og importværktøjer samt med eksterne crawlere som Semrush. Hvordan man løser en crawlingfejl, afhænger af fejlen, og hvor siden er hostet.

HubSpots SEO-værktøjer crawler en HubSpot-side

Du kan se SEO-anbefalinger på fanen Optimering i en sides eller et indlægs præstationsdetaljer.

1. Naviger til dit indhold:
   • Hjemmesidens sider: På din HubSpot-konto skal du navigere til Indhold > Websider.
   • Landingssider: På din HubSpot-konto skal du navigere til Indhold > Landingssider.
   • Blog: På din HubSpot-konto skal du navigere til Indhold > Blog.
2. Hold musen over dit indhold, og klik på Performance.
3. Klik på fanen Optimering.
4. Som standard vil Anbefalinger være valgt i menuen i venstre side. Klik på Rescan now for at scanne indholdet igen. Hvis der er problemer med at crawle siden, kan du se en af følgende fejlmeddelelser:

• • Status 301: Flyttet permanent: en 301-omdirigering forhindrer crawleren i at få adgang til indholdet.
  • Status 302: Objekt flyttet: en 302 (midlertidig) omdirigering forhindrer crawleren i at få adgang til indholdet.
  • Status 403: Forbidden: Serveren kan nås, men adgang til indhold er nægtet.
  • Status 404: Ikke fundet: Crawleren kan ikke finde en live-version af indholdet, fordi det er blevet slettet eller flyttet.
  • Crawl af [site] blokeret af robots.txt: en robots.txt-fil blokerer indholdet fra at blive indekseret.

HubSpots SEO-værktøjer crawler en ekstern side

Hvis du har forsøgt at crawle eksterne sider ved hjælp af HubSpots SEO-værktøjer eller importerer eksternt indhold til HubSpot, kan du støde på en af disse fejl:

• Scanning blokeret af robots.txt-fil: Hvis din eksterne side er udelukket fra indeksering af din robots.txt-fil, skal du tilføje HubSpot-crawlerens brugeragent "HubSpot Crawler" som en undtagelse. Få mere at vide om at arbejde med en robots.txt-fil.
• Robots.txt-filen kunne ikke hentes: Hvis HubSpots crawlere ikke kan få adgang til dit websteds robots.txt-fil, skal du kontrollere, at robots.txt-filen er tilgængelig og ligger i den øverste mappe på dit websted. Få mere at vide om at arbejde med en robots.txt-fil.
• Crawleren kan ikke scanne denne URL: Hvis HubSpots crawlere ikke kan crawle en bestemt URL, kan du prøve følgende fejlfindingstrin:
  • Kontrollér, at URL'en er indtastet korrekt.
  • Kontrollér, at den side, der crawles, er live i øjeblikket.
  • Kontrollér, at DNS kan løse URL'en. Få mere at vide om at løse DNS-fejl i Googles dokumentation.
  • Kontakt din webstedsadministrator og bed om, at de tilføjer vores crawlers brugeragent, "HubSpot Crawler", til listen over tilladelser som en undtagelse.

Et eksternt SEO-værktøj crawler en HubSpot-side

Hvis du har forsøgt at crawle dine HubSpot-sider ved hjælp af et eksternt SEO-værktøj som Moz eller Semrush, kan du opleve, at du ikke kan crawle dine sider med succes.

Almindelige årsager til dette problem omfatter:

• Inkluderingen af dine sider i robots.txt-filen forhindrer dem i at blive indekseret eller crawlet.
• Et "noindex"-metatag i hoved-HTML' en på dine sider forhindrer dem i at blive indekseret eller crawlet.
• Auditering af et roddomæne i stedet for det subdomæne, der er forbundet med HubSpot, forårsager en timeout-fejl.
• Links til RSS-feeds og blogsider udløber, når der udgives nye blogindlæg, hvilket kan generere fejl med blokerede ressourcer.
• Ikke-væsentlige ressourcer, som f.eks. de scripts, der indlæser HubSpots sprocket-menu, kan give anledning til fejl med blokerede ressourcer. Dette forhindrer ikke resten af siden i at blive crawlet.