SEO crawling fouten begrijpen

Als een SEO crawler een pagina niet kan indexeren, geeft deze een crawling error terug. Dit kan gebeuren met de crawlers in HubSpot's SEO en import tools, maar ook met externe crawlers zoals Semrush. De stappen voor het oplossen van een crawling error zijn afhankelijk van de fout en waar de pagina wordt gehost.

HubSpot's SEO tools crawlen een HubSpot pagina

Je kunt SEO-aanbevelingen bekijken op het tabblad Optimalisatie van de prestatiedetails van een pagina of post. Als er problemen zijn met het crawlen van de pagina, zie je mogelijk een van de volgende foutmeldingen:

• Status 301: Permanent verplaatst: een 301-omleiding voorkomt dat de crawler toegang krijgt tot de inhoud.
• Status 302: Object moved: een 302 (tijdelijke) redirect voorkomt dat de crawler toegang krijgt tot de inhoud.
• Status 403: Forbidden: de server kan worden bereikt, maar de toegang tot de inhoud wordt geweigerd.
• Status 404: Not Found: de crawler kan geen live versie van de inhoud vinden omdat deze is verwijderd of verplaatst.
• Crawl van [site] geblokkeerd door robots.txt: een robots.txt-bestand blokkeert dat de inhoud wordt geïndexeerd.

HubSpot SEO tools crawlen een externe pagina

Als je hebt geprobeerd externe pagina's te crawlen met HubSpot's SEO tools of externe content importeert naar HubSpot, kun je een van deze fouten tegenkomen:

• Scan geblokkeerd door robots.txt bestand: als je externe pagina is uitgesloten van indexering door je robots.txt bestand, voeg dan de HubSpot crawler's user agent "HubSpot Crawler" toe als een uitzondering. Meer informatie over het werken met een robots.txt bestand.
• Robots.txt-bestand kon niet worden opgehaald: als de crawlers van HubSpot het robots.txt-bestand van je site niet kunnen openen, controleer dan of het robots.txt-bestand toegankelijk is en zich in de hoofdmap van je site bevindt. Meer informatie over het werken met een robots.txt-bestand.
• De crawler kan deze URL niet scannen: als de crawlers van HubSpot een specifieke URL niet kunnen crawlen, probeer dan de volgende stappen voor probleemoplossing:
  • Controleer of de URL correct is ingevoerd.
  • Controleer of de pagina die wordt gecrawld momenteel live is.
  • Controleer of DNS de URL kan oplossen. Lees meer over het oplossen van DNS-fouten in de documentatie van Google.
  • Neem contact op met je sitebeheerder en vraag of hij de user agent van onze crawler, "HubSpot Crawler", kan toevoegen aan de lijst met toegestane uitzonderingen.

Een extern SEO-hulpprogramma dat een HubSpot-pagina crawlt

Als je hebt geprobeerd om je HubSpot pagina's te crawlen met behulp van een externe SEO tool zoals Moz of Semrush, kan het zijn dat je pagina's niet succesvol kunnen worden gecrawld.

Veelvoorkomende oorzaken voor dit probleem zijn onder andere:

• Het opnemen van je pagina's in het robots.txt bestand voorkomt dat ze worden geïndexeerd of gecrawld.
• Een "noindex" metatag in de head HTML van je pagina's voorkomt dat ze worden geïndexeerd of gecrawld.
• Het auditen van een hoofddomein, in plaats van het subdomein dat is verbonden met HubSpot, veroorzaakt een time-outfout.
• Links voor RSS-feeds en pagina's met blogvermeldingen verlopen wanneer nieuwe blogberichten worden gepubliceerd, wat fouten met geblokkeerde bronnen kan veroorzaken.
• Niet-essentiële bronnen, zoals de scripts die het HubSpot sprocket menu laden, kunnen leiden tot fouten met geblokkeerde bronnen. Dit voorkomt niet dat de rest van de pagina wordt gecrawld.