Forstå SEO-feil ved gjennomsøking

Hvis en SEO-crawler ikke kan indeksere en side, vil den returnere en crawlingfeil. Dette kan skje med crawlerne i HubSpots SEO- og importverktøy, samt eksterne crawlere som Semrush. Fremgangsmåten for å løse en gjennomsøkingsfeil avhenger av feilen og hvor siden ligger.

HubSpots SEO-verktøy som crawler en HubSpot-side

Du kan se SEO-anbefalinger i Optimalisering-fanen i ytelsesdetaljene for en side eller et innlegg. Hvis det er problemer med å gjennomsøke siden, kan du se en av følgende feilmeldinger:

• Status 301: Flyttet permanent: en 301-omdirigering hindrer crawleren i å få tilgang til innholdet.
• Status 302: Objekt flyttet: en 302-omdirigering (midlertidig) hindrer crawleren i å få tilgang til innholdet.
• Status 403: Forbidden: serveren kan nås, men tilgang til innholdet er nektet.
• Status 404: Ikke funnet: crawleren kan ikke finne en aktuell versjon av innholdet fordi det er slettet eller flyttet.
• Gjennomsøkingav [nettsted] blokkert av robots.txt: en robots.txt-fil blokkerer innholdet fra å bli indeksert.

HubSpots SEO-verktøy gjennomsøker en ekstern side

Hvis du har forsøkt å gjennomsøke eksterne sider ved hjelp av HubSpots SEO-verktøy eller importerer eksternt innhold til HubSpot, kan du støte på en av disse feilene:

• Skanning blokkert av robots.txt-filen: Hvis den eksterne siden er ekskludert fra indeksering av robots.txt-filen, legger du til HubSpot-crawlerens brukeragent "HubSpot Crawler" som et unntak. Finn ut mer om hvordan du arbeider med en robots.txt-fil.
• Robots.txt-filen kunne ikke hentes: Hvis HubSpots crawlere ikke får tilgang til nettstedets robots.txt-fil, må du kontrollere at robots.txt-filen er tilgjengelig og ligger i toppnivåkatalogen på nettstedet ditt. Finn ut mer om hvordan du arbeider med robots.txt-filen.
• Crawleren kan ikke skanne denne nettadressen: Hvis HubSpots crawlere ikke kan gjennomsøke en bestemt nettadresse, kan du prøve følgende feilsøkingstrinn:
  • Kontroller at URL-adressen er riktig angitt.
  • Kontroller at siden som skal gjennomsøkes, er aktiv.
  • Kontroller at DNS kan løse URL-adressen. Finn ut mer om hvordan du løser DNS-feil i Googles dokumentasjon.
  • Ta kontakt med nettstedsadministratoren din og be om at de legger til brukeragenten til crawleren vår, "HubSpot Crawler", i listen over tillatte unntak.

Et eksternt SEO-verktøy som crawler en HubSpot-side

Hvis du har forsøkt å crawle HubSpot-sidene dine ved hjelp av et eksternt SEO-verktøy som Moz eller Semrush, kan det hende at du ikke får crawlet sidene dine.

Vanlige årsaker til dette problemet er blant annet

• Inkludering av sidene dine i robots.txt-filen hindrer dem i å bli indeksert eller gjennomsøkt.
• En "noindex"-metatagg i HTML-hodet på sidene dine hindrer dem i å bli indeksert eller gjennomsøkt.
• Revisjon av et rotdomene, i stedet for underdomenet som er koblet til HubSpot, forårsaker en tidsavbruddsfeil.
• Lenker til RSS-feeder og bloggoppføringssider utløper når nye blogginnlegg publiseres, noe som kan føre til blokkerte ressurser-feil.
• Ikke-essensielle ressurser, for eksempel skriptene som laster inn HubSpot sprocket-menyen, kan føre til blokkerte ressurser-feil. Dette forhindrer ikke at resten av siden gjennomsøkes.