Hvis en SEO-crawler ikke kan indeksere en side, vil den returnere en crawling-feil. Dette kan skje med crawlerne i HubSpots SEO- og importverktøy, samt eksterne crawlere som Semrush. Fremgangsmåten for å løse en crawling-feil avhenger av feilen og hvor siden er lagret.
HubSpots SEO-verktøy gjennomsøker en HubSpot-side
Du kan se SEO-anbefalinger i Optimalisering-fanen i ytelsesdetaljene for en side eller et innlegg.
- Naviger til innholdet ditt:
- Nettstedssider:
- Landingssider:
- Blogg:
- Hold musepekeren over innholdet ditt, og klikk på Ytelse.
- Klikk på Optimalisering-fanen.
- Som standard vil Anbefalinger være valgt i menyen i venstre sidefelt. Klikk på Skann på nytt nå for å skanne innholdet på nytt. Hvis det er problemer med å gjennomsøke siden, kan det hende du ser en av følgende feilmeldinger:
-
- Status 301: Flyttet permanent: En 301-viderekobling hindrer søkeroboten i å få tilgang til innholdet.
- Status 302: Objekt flyttet: En 302 (midlertidig) viderekobling hindrer crawleren i å få tilgang til innholdet.
- Status 403: Forbidden: Serveren kan nås, men tilgang til innholdet er nektet.
- Status 404: Ikke funnet: Crawleren klarer ikke å finne en live-versjon av innholdet fordi det ble slettet eller flyttet.
- Crawl av [nettsted] blokkert av robots.txt: en robots.txt-fil blokkerer innholdet fra å bli indeksert.
HubSpots SEO-verktøy gjennomsøker en ekstern side
Hvis du har forsøkt å gjennomsøke eksterne sider ved hjelp av HubSpots SEO-verktøy eller importerer eksternt innhold til HubSpot, kan du støte på en av disse feilene:
- Skanning blokkert av robots.txt-fil: Hvis den eksterne siden er ekskludert fra indeksering av robots.txt-filen din, legger du til HubSpot-crawlerens brukeragent "HubSpot Crawler" som et unntak. Finn ut mer om hvordan du arbeider med en robots.txt-fil.
- Robots.txt-filen kunne ikke hentes: Hvis HubSpots crawlere ikke får tilgang til nettstedets robots.txt-fil, må du kontrollere at robots.txt-filen er tilgjengelig og ligger i katalogen på øverste nivå på nettstedet ditt. Finn ut mer om hvordan du arbeider med en robots.txt-fil.
- Søkeprogrammet kan ikke skanne denne URL-en: Hvis HubSpots søkeprogrammer ikke kan gjennomsøke en bestemt URL, kan du prøve følgende feilsøkingstrinn:
- Kontroller at URL-adressen er riktig angitt.
- Kontroller at siden som gjennomsøkes er live for øyeblikket.
- Kontroller at DNS kan løse URL-adressen. Finn ut mer om hvordan du løser DNS-feil i Googles dokumentasjon.
- Ta kontakt med nettstedsadministratoren og be om at de legger til brukeragenten til søkeroboten vår, "HubSpot Crawler", i listen over tillatte som et unntak.
Et eksternt SEO-verktøy som gjennomsøker en HubSpot-side
Hvis du har forsøkt å gjennomsøke HubSpot-sidene dine ved hjelp av et eksternt SEO-verktøy, for eksempel Moz eller Semrush, kan det hende at du ikke klarer å gjennomsøke sidene dine.
Vanlige årsaker til dette problemet inkluderer:
- Inkludering av sidene dine i robots.txt-filen hindrer dem i å bli indeksert eller gjennomsøkt.
- En "noindex"-metatagg i HTML-hodet på sidene dine hindrer dem i å bli indeksert eller gjennomsøkt.
- Revisjon av et rotdomene, i stedet for underdomenet som er koblet til HubSpot, forårsaker en tidsavbruddsfeil.
- Koblinger for RSS-feeder og bloggoppføringssider utløper når nye blogginnlegg publiseres, noe som kan generere blokkerte ressursfeil.
- Ikke-essensielle ressurser, for eksempel skriptene som laster inn HubSpot sprocket-menyen, kan føre til blokkerte ressurser-feil. Dette forhindrer ikke at resten av siden gjennomsøkes.