Hvis en SEO-crawler ikke kan indeksere en side, vil den returnere en crawlingfejl. Det kan ske med crawlerne i HubSpots SEO- og importværktøjer samt med eksterne crawlere som Semrush. Hvordan man løser en crawlingfejl, afhænger af fejlen, og hvor siden er hostet.
HubSpots SEO-værktøjer crawler en HubSpot-side
Du kan se SEO-anbefalinger på fanen Optimering i en sides eller et indlægs præstationsdetaljer.
- Naviger til dit indhold:
- Hjemmesidens sider:
- Landingssider:
- Blog:
- Hold musen over dit indhold, og klik på Performance.
- Klik på fanen Optimering.
- Som standard vil Anbefalinger være valgt i menuen i venstre side. Klik på Rescan now for at scanne indholdet igen. Hvis der er problemer med at crawle siden, kan du se en af følgende fejlmeddelelser:
-
- Status 301: Flyttet permanent: en 301-omdirigering forhindrer crawleren i at få adgang til indholdet.
- Status 302: Objekt flyttet: en 302 (midlertidig) omdirigering forhindrer crawleren i at få adgang til indholdet.
- Status 403: Forbidden: Serveren kan nås, men adgang til indhold er nægtet.
- Status 404: Ikke fundet: Crawleren kan ikke finde en live-version af indholdet, fordi det er blevet slettet eller flyttet.
- Crawl af [site] blokeret af robots.txt: en robots.txt-fil blokerer indholdet fra at blive indekseret.
HubSpots SEO-værktøjer crawler en ekstern side
Hvis du har forsøgt at crawle eksterne sider ved hjælp af HubSpots SEO-værktøjer eller importerer eksternt indhold til HubSpot, kan du støde på en af disse fejl:
- Scanning blokeret af robots.txt-fil: Hvis din eksterne side er udelukket fra indeksering af din robots.txt-fil, skal du tilføje HubSpot-crawlerens brugeragent "HubSpot Crawler" som en undtagelse. Få mere at vide om at arbejde med en robots.txt-fil.
- Robots.txt-filen kunne ikke hentes: Hvis HubSpots crawlere ikke kan få adgang til dit websteds robots.txt-fil, skal du kontrollere, at robots.txt-filen er tilgængelig og ligger i den øverste mappe på dit websted. Få mere at vide om at arbejde med en robots.txt-fil.
- Crawleren kan ikke scanne denne URL: Hvis HubSpots crawlere ikke kan crawle en bestemt URL, kan du prøve følgende fejlfindingstrin:
- Kontrollér, at URL'en er indtastet korrekt.
- Kontrollér, at den side, der crawles, er live i øjeblikket.
- Kontrollér, at DNS kan løse URL'en. Få mere at vide om at løse DNS-fejl i Googles dokumentation.
- Kontakt din webstedsadministrator og bed om, at de tilføjer vores crawlers brugeragent, "HubSpot Crawler", til listen over tilladelser som en undtagelse.
Et eksternt SEO-værktøj crawler en HubSpot-side
Hvis du har forsøgt at crawle dine HubSpot-sider ved hjælp af et eksternt SEO-værktøj som Moz eller Semrush, kan du opleve, at du ikke kan crawle dine sider med succes.
Almindelige årsager til dette problem omfatter:
- Inkluderingen af dine sider i robots.txt-filen forhindrer dem i at blive indekseret eller crawlet.
- Et "noindex"-metatag i hoved-HTML' en på dine sider forhindrer dem i at blive indekseret eller crawlet.
- Auditering af et roddomæne i stedet for det subdomæne, der er forbundet med HubSpot, forårsager en timeout-fejl.
- Links til RSS-feeds og blogsider udløber, når der udgives nye blogindlæg, hvilket kan generere fejl med blokerede ressourcer.
- Ikke-væsentlige ressourcer, som f.eks. de scripts, der indlæser HubSpots sprocket-menu, kan give anledning til fejl med blokerede ressourcer. Dette forhindrer ikke resten af siden i at blive crawlet.