Begrijp SEO crawling fouten

Als een SEO crawler een pagina niet kan indexeren, zal het een crawling error teruggeven. Dit kan gebeuren met de crawlers in HubSpot's SEO tools, maar ook met externe crawlers zoals Semrush. De stappen voor het oplossen van een crawling error zijn afhankelijk van de fout en waar de pagina wordt gehost.

HubSpot's SEO-tools crawlen een HubSpot-pagina

U kunt SEO-aanbevelingen bekijken op het tabbladOptimalisatievan de prestatiedetails van een pagina of post. Als er problemen zijn met het crawlen van de pagina, ziet u mogelijk een van de volgende foutmeldingen:

• Status 301: Permanent verplaatst - een 301-omleiding voorkomt dat de crawler toegang krijgt tot de inhoud.
• Status 302: Object verplaatst - een 302 (tijdelijke) redirect voorkomt dat de crawler toegang krijgt tot de inhoud.
• Status 403: Verboden - de server kan worden bereikt, maar de toegang tot de inhoud wordt geweigerd.
• Status 404: Not Found - de crawler kan geen live-versie van de inhoud vinden omdat deze is verwijderd of verplaatst.
• Crawl van [site] geblokkeerd door robots.txt - eenrobots.txt bestand blokkeert dat de inhoud wordt geïndexeerd.

HubSpot's SEO-tools crawlen een externe pagina

Als u hebt geprobeerd externe pagina's te crawlen met HubSpot's SEO-tools, kunt u een van deze fouten tegenkomen:

• Scan geblokkeerd door robots.txt-bestand:als uw externe pagina wordt uitgesloten van indexering door uw robots.txt-bestand, voegt u onze crawler's user agent "HubSpot Crawler" toe als een vrijstelling. Meer informatieover het werken met een robots.txt bestand vindt uhier.
• Robots.txt bestand kon niet worden opgehaald: als HubSpot's crawlers het robots.txt bestand van uw site niet kunnen benaderen, controleer dan of het robots.txt bestand toegankelijk is en in de top-level directory van uw site staat. Meer informatie over het werken met een robots.txt bestand vindt uhier.
• De crawler is niet in staat om deze URL te scannenAls de crawlers van HubSpot een specifieke URL niet kunnen crawlen, probeert u de volgende stappen voor probleemoplossing uit te voeren:
  • Controleer of de URL correct is ingevoerd.
  • Controleer of de pagina die wordt gecrawld op dit moment live is.
  • Controleer of DNS de URL kan oplossen. Meer informatie over het oplossen van DNS-fouten vindt u in Google's documentatie.
  • Neem contact op met uw sitebeheerder en vraag of ze de user agent van onze crawler, "HubSpot Crawler", als uitzondering willen toevoegen aan de lijst met toegestane gebruikers.

Deze foutmeldingen kunnen ook verschijnen bij het importeren van content in HubSpot.

Een externe SEO tool crawlt een HubSpot pagina

Als u heeft geprobeerd om uw HubSpot pagina's te crawlen met behulp van een externe SEO tool zoals Moz of Semrush, kan het zijn dat u niet in staat bent om uw pagina's succesvol te crawlen.

Veel voorkomende oorzaken voor dit probleem zijn onder andere:

• De opname van uw pagina's in het robots.txt-bestand voorkomt dat ze worden geïndexeerd of gecrawld.
• Een noindex-meta-tag in de head-HTML van uw pagina's voorkomt dat ze worden geïndexeerd of gecrawld.
• Het auditen van een hoofddomein, in plaats van het subdomein dat is verbonden met HubSpot, veroorzaakt een time-outfout.
• Links voor RSS feeds en blog listing pagina's verlopen wanneer nieuwe blog posts worden gepubliceerd, wat geblokkeerde bronnen fouten kan genereren.
• Niet-essentiële bronnen, zoals de scripts die het HubSpot sprocket menu laden, kunnen geblokkeerde bronnen fouten veroorzaken. Dit voorkomt niet dat de rest van de pagina wordt gecrawld.