Hvis en SEO-crawler ikke kan indeksere en side, vil den returnere en crawlingfejl. Det kan ske med crawlerne i HubSpots SEO- og importværktøjer, såvel som eksterne crawlere som Semrush. Trinene til at løse en crawling-fejl afhænger af fejlen, og hvor siden er hostet.
HubSpots SEO-værktøjer crawler en HubSpot-side
Du kan se SEO-anbefalinger på fanen Optimering i en sides eller et posts præstationsoplysninger. Hvis der er problemer med at crawle siden, kan du se en af følgende fejlmeddelelser:
- Status 301: Moved Permanently: en 301-omdirigering forhindrer crawleren i at få adgang til indholdet.
- Status 302: Objekt flyttet: en 302 (midlertidig) omdirigering forhindrer crawleren i at få adgang til indholdet.
- Status 403: Forbidden: Serveren kan nås, men adgang til indhold er nægtet.
- Status 404: Not Found: crawleren kan ikke finde en live version af indholdet, fordi det er blevet slettet eller flyttet.
- Crawl af [site] blokeret af robots.txt: en robots.txt-fil blokerer indholdet fra at blive indekseret.
HubSpots SEO-værktøjer crawler en ekstern side
Hvis du har forsøgt at crawle eksterne sider ved hjælp af HubSpots SEO-værktøjer eller importerer eksternt indhold til HubSpot, kan du støde på en af disse fejl:
- Scanning blokeret af robots.txt-fil: Hvis din eksterne side er udelukket fra indeksering af din robots.txt-fil, skal du tilføje HubSpot-crawlerens brugeragent "HubSpot Crawler" som en undtagelse. Læs mere om at arbejde med en robots.txt-fil.
- Robots.txt-filen kunne ikke hentes: Hvis HubSpots crawlere ikke kan få adgang til dit websteds robots.txt-fil, skal du kontrollere, at robots.txt-filen er tilgængelig og i mappen på øverste niveau på dit websted. Læs mere om, hvordan du arbejder med en robots.txt-fil.
- Crawleren kan ikke scanne denne URL: Hvis HubSpots crawlere ikke kan crawle en bestemt URL, kan du prøve følgende fejlfindingstrin:
- Kontrollér, at URL'en er indtastet korrekt.
- Kontrollér, at den side, der crawles, er live i øjeblikket.
- Kontrollér, at DNS kan løse URL'en. Læs mere om løsning af DNS-fejl i Googles dokumentation.
- Kontakt din webstedsadministrator og bed om, at de tilføjer vores crawlers brugeragent, "HubSpot Crawler", til tilladelseslisten som en undtagelse.
Et eksternt SEO-værktøj crawler en HubSpot-side
Hvis du har forsøgt at crawle dine HubSpot-sider ved hjælp af et eksternt SEO-værktøj som Moz eller Semrush, kan du opleve, at du ikke er i stand til at crawle dine sider.
Almindelige årsager til dette problem er bl.a:
- Inkluderingen af dine sider i robots.txt-filen forhindrer dem i at blive indekseret eller crawlet.
- Et "noindex"-metatag i head HTML på dine sider forhindrer dem i at blive indekseret eller crawlet.
- Auditering af et roddomæne i stedet for det underdomæne, der er forbundet til HubSpot, forårsager en timeout-fejl.
- Links til RSS-feeds og blogsider udløber, når nye blogindlæg udgives, hvilket kan generere fejl med blokerede ressourcer.
- Ikke-essentielle ressourcer, såsom de scripts, der indlæser HubSpots sprocket-menu, kan forårsage blocked resources-fejl. Dette forhindrer ikke resten af siden i at blive crawlet.