Hvis en SEO-crawler ikke kan indeksere en side, vil den returnere en crawlingfeil. Dette kan skje med crawlerne i HubSpots SEO- og importverktøy, samt eksterne crawlere som Semrush. Fremgangsmåten for å løse en gjennomsøkingsfeil avhenger av feilen og hvor siden ligger.
HubSpots SEO-verktøy som crawler en HubSpot-side
Du kan se SEO-anbefalinger i Optimalisering-fanen i ytelsesdetaljene for en side eller et innlegg. Hvis det er problemer med å gjennomsøke siden, kan du se en av følgende feilmeldinger:
- Status 301: Flyttet permanent: en 301-omdirigering hindrer crawleren i å få tilgang til innholdet.
- Status 302: Objekt flyttet: en 302-omdirigering (midlertidig) hindrer crawleren i å få tilgang til innholdet.
- Status 403: Forbidden: serveren kan nås, men tilgang til innholdet er nektet.
- Status 404: Ikke funnet: crawleren kan ikke finne en aktuell versjon av innholdet fordi det er slettet eller flyttet.
- Gjennomsøkingav [nettsted] blokkert av robots.txt: en robots.txt-fil blokkerer innholdet fra å bli indeksert.
HubSpots SEO-verktøy gjennomsøker en ekstern side
Hvis du har forsøkt å gjennomsøke eksterne sider ved hjelp av HubSpots SEO-verktøy eller importerer eksternt innhold til HubSpot, kan du støte på en av disse feilene:
- Skanning blokkert av robots.txt-filen: Hvis den eksterne siden er ekskludert fra indeksering av robots.txt-filen, legger du til HubSpot-crawlerens brukeragent "HubSpot Crawler" som et unntak. Finn ut mer om hvordan du arbeider med en robots.txt-fil.
- Robots.txt-filen kunne ikke hentes: Hvis HubSpots crawlere ikke får tilgang til nettstedets robots.txt-fil, må du kontrollere at robots.txt-filen er tilgjengelig og ligger i toppnivåkatalogen på nettstedet ditt. Finn ut mer om hvordan du arbeider med robots.txt-filen.
- Crawleren kan ikke skanne denne nettadressen: Hvis HubSpots crawlere ikke kan gjennomsøke en bestemt nettadresse, kan du prøve følgende feilsøkingstrinn:
- Kontroller at URL-adressen er riktig angitt.
- Kontroller at siden som skal gjennomsøkes, er aktiv.
- Kontroller at DNS kan løse URL-adressen. Finn ut mer om hvordan du løser DNS-feil i Googles dokumentasjon.
- Ta kontakt med nettstedsadministratoren din og be om at de legger til brukeragenten til crawleren vår, "HubSpot Crawler", i listen over tillatte unntak.
Et eksternt SEO-verktøy som crawler en HubSpot-side
Hvis du har forsøkt å crawle HubSpot-sidene dine ved hjelp av et eksternt SEO-verktøy som Moz eller Semrush, kan det hende at du ikke får crawlet sidene dine.
Vanlige årsaker til dette problemet er blant annet
- Inkludering av sidene dine i robots.txt-filen hindrer dem i å bli indeksert eller gjennomsøkt.
- En "noindex"-metatagg i HTML-hodet på sidene dine hindrer dem i å bli indeksert eller gjennomsøkt.
- Revisjon av et rotdomene, i stedet for underdomenet som er koblet til HubSpot, forårsaker en tidsavbruddsfeil.
- Lenker til RSS-feeder og bloggoppføringssider utløper når nye blogginnlegg publiseres, noe som kan føre til blokkerte ressurser-feil.
- Ikke-essensielle ressurser, for eksempel skriptene som laster inn HubSpot sprocket-menyen, kan føre til blokkerte ressurser-feil. Dette forhindrer ikke at resten av siden gjennomsøkes.