SEO

Niet in staat om HubSpot pagina's te crawlen met een externe crawler

Laatst bijgewerkt: oktober 19, 2020

Geldt voor:

Marketing Hub  Professional, Enterprise
Legacy Marketing Hub Basic

Als u hebt geprobeerd uw HubSpot-pagina's te crawlen met behulp van een extern SEO-hulpprogramma zoals Moz, OnPage of SEMRush, kan het zijn dat u niet in staat bent om uw pagina's met succes te crawlen.

Controleer het volgende om dit probleem op te lossen:

  1. Robots.txt: controleer of uw pagina's zijn toegevoegd aan het robots.txt-bestand in de inhoudsinstellingen, waardoor het niet kan worden geïndexeerd of gecrawld.
  2. Metatags: controleer of code, zoals noindex, is toegevoegd aan de Head HTML van uw pagina's, waardoor deze niet geïndexeerd of gecrawld kunnen worden.

U kunt ook uw instellingen aanpassen om te voorkomen dat bepaalde pagina's geïndexeerd of gecrawld worden.

Let op:als u uw site auditeert met behulp van SEMRush en een time-out fout ontvangt, zorger danvoor dat u het specifieke subdomein dat u host met HubSpot auditeert, niet het root-domein.

Waarom zie ik SEO-fouten voor mijn HubSpot-gehoste content?

Externe SEO-tools zullen vaak fouten opleveren bij het crawlen van HubSpot-gehoste content. Zo kunt u bijvoorbeeld 401 fouten of waarschuwingen zien voor uw blog listingpagina, of de blog RSS-feeds. Beide links veranderen wanneer een nieuw bericht wordt gepubliceerd, en als gevolg daarvan zijn deze links ingesteld om te vervallen. Externe SEO-tools kunnen deze links niet meer hercrawlen nadat ze verlopen zijn, met als gevolg dat ze gemarkeerd worden als fouten. Het is ook niet nodig om de RSS-feed in het bijzonder te indexeren, omdat dit dezelfde inhoud is die live op uw eigenlijke blogpost staat. Dezefout kan er als volgt uitzien:

Geblokkeerde bronnen > https://mydomain.com/_hcms/rss/feed?feedId=

Bovendien kunnen externe SEO-tools geblokkeerde bronfouten opleveren voor HubSpot-bronnen die niet geïndexeerd hoeven te worden. Er zijn bijvoorbeeld scripts die gebruikt worden om het HubSpot sprocketsnelmenu te laden dat je naar de pagina-editor brengt, of je HubSpot tracking code, die niet hoeven te worden gecrawled omdat ze niet opduiken als een zoekresultaat, en ze zijn niet kritisch voor het begrijpen van de inhoud van een pagina. Hoewel deze bronnen kunnen worden geblokkeerd of gemarkeerd, betekent dit niet dat uw pagina zelf niet is gecrawld. Deze fout kan er als volgt uitzien:

Geblokkeerde bronnen > https://js.hs-scripts.com