Begrijp SEO crawling fouten

Als een SEO crawler een pagina niet kan indexeren, zal deze een crawling error retourneren. Dit kan gebeuren met de crawlers in HubSpot's SEO en import tools, maar ook met externe crawlers zoals Semrush. De stappen voor het oplossen van een crawling-fout zijn afhankelijk van de fout en waar de pagina wordt gehost.

HubSpot's SEO tools crawlen een HubSpot pagina

Je kunt SEO-aanbevelingen bekijken op het tabblad Optimalisatie van de prestatiedetails van een pagina of post. Als er problemen zijn met het crawlen van de pagina, zie je mogelijk een van de volgende foutmeldingen:

• Status 301: Permanent verplaatst - een 301-omleiding voorkomt dat de crawler toegang krijgt tot de inhoud.
• Status 302: Object verplaatst - een 302 (tijdelijke) redirect voorkomt dat de crawler toegang krijgt tot de inhoud.
• Status 403: Forbidden - de server kan worden bereikt, maar de toegang tot de inhoud wordt geweigerd.
• Status 404: Not Found - de crawler kan geen live versie van de inhoud vinden omdat deze is verwijderd of verplaatst.
• Crawl van [site] geblokkeerd door robots.txt - een robots.txt bestand blokkeert het indexeren van de inhoud.

HubSpot's SEO tools crawlen een externe pagina

Als je hebt geprobeerd externe pagina's te crawlen met HubSpot's SEO tools of externe content importeert naar HubSpot, kun je een van deze fouten tegenkomen:

• Scan geblokkeerd door robots.txt bestand: Als uw externe pagina is uitgesloten van indexering door uw robots.txt bestand, voeg dan onze crawler's user agent "HubSpot Crawler" toe als een uitzondering.Meer informatie over het werken met een robots.txt bestand vindt u hier.
• Robots.txt bestand kon niet worden opgehaald: als de crawlers van HubSpot geen toegang krijgen tot het robots.txt bestand van je site, controleer dan of het robots.txt bestand toegankelijk is en in de top-level directory van je site staat. Lees hier meer over het werken met een robots.txt bestand .
• De crawler kan deze URL niet scannen: Als de crawlers van HubSpot een specifieke URL niet kunnen crawlen, probeer dan de volgende stappen voor probleemoplossing:
  • Controleer of de URl correct is ingevoerd.
  • Controleer of de pagina die wordt gecrawld momenteel live is.
  • Controleer of DNS de URL kan oplossen. In de documentatie van Google vindt u meer informatie over het oplossen van DNS-fouten .
    
  • Neem contact op met je sitebeheerder en vraag hem om de user agent van onze crawler, "HubSpot Crawler", toe te voegen aan de toestemmingslijst als uitzondering.

Een externe SEO tool crawlt een HubSpot pagina

Als u hebt geprobeerd uw HubSpot-pagina's te crawlen met behulp van een externe SEO-tool zoals Moz of Semrush, kan het zijn dat u uw pagina's niet succesvol kunt crawlen.

Veel voorkomende oorzaken voor dit probleem zijn onder andere:

• De opname van uw pagina's in het robots.txt-bestand voorkomt dat ze worden geïndexeerd of gecrawld.
• Een noindex meta tag in de head HTML van uw pagina's voorkomt dat ze geïndexeerd of gecrawld worden.
• Het controleren van een root domein, in plaats van het subdomein dat verbonden is met HubSpot, veroorzaakt een time-out fout.
• Links voor RSS feeds en blog listing pagina's verlopen wanneer nieuwe blog posts worden gepubliceerd, wat geblokkeerde bronnen fouten kan genereren.
• Niet-essentiële bronnen, zoals de scripts die het HubSpot sprocket menu laden, kunnen geblokkeerde bronnen fouten veroorzaken. Dit voorkomt niet dat de rest van de pagina wordt gecrawld.