Doorgaan naar artikel
Let op: De Nederlandse vertaling van dit artikel is alleen bedoeld voor het gemak. De vertaling wordt automatisch gemaakt via een vertaalsoftware en is mogelijk niet proefgelezen. Daarom moet de Engelse versie van dit artikel worden beschouwd als de meest recente versie met de meest recente informatie. U kunt het hier raadplegen.
SEO

Kan HubSpot pagina's niet crawlen met een externe crawler

Laatst bijgewerkt: augustus 3, 2021

Geldt voor:

Marketing Hub Professional, Enterprise
CMS Hub Starter, Professional, Enterprise
Legacy Marketing Hub Basic

Als u heeft geprobeerd om uw HubSpot pagina's te crawlen met behulp van een externe SEO tool zoals Moz, OnPage, of SEMRush, kan het zijn dat u niet in staat bent om uw pagina's succesvol te crawlen.

Om dit probleem op te lossen, controleert u het volgende:

  1. Robots.txt: controleer of uw pagina's zijn toegevoegd aan het robots.txt-bestand in de inhoudsinstellingen, waardoor ze niet kunnen worden geïndexeerd of gecrawld.
  2. Metatags: controleer of er code, zoals noindex, is toegevoegd aan de Head HTML van je pagina's, waardoor ze niet geïndexeerd of gecrawld kunnen worden.

U kunt ook uw instellingen aanpassen om te voorkomen dat bepaalde pagina's worden geïndexeerd of gecrawld.

Let op:als u uw site controleert met behulp van SEMRush en een time-out foutmelding krijgt, zorger dan voor dat u het specifieke subdomein controleert dat u host bij HubSpot, niet het hoofddomein.

Waarom zie ik SEO fouten voor mijn HubSpot gehoste content?

Externe SEO tools zullen vaak fouten retourneren bij het crawlen van HubSpot-gehoste content. Bijvoorbeeld, u kunt 401 fouten of waarschuwingen zien voor uw blog listing pagina, of de blog RSS feeds. Beide links veranderen wanneer een nieuwe post wordt gepubliceerd, en als gevolg daarvan zijn deze links ingesteld om te verlopen. Externe SEO tools kunnen deze links niet opnieuw crawlen nadat ze verlopen zijn, en als gevolg daarvan zullen ze als fout gemarkeerd worden. Het is ook niet nodig om de RSS feed in het bijzonder te indexeren, omdat dit dezelfde inhoud is die live op je eigenlijke blog post staat. Dezefout kan er als volgt uitzien:

Geblokkeerde bronnen > https://mydomain.com/_hcms/rss/feed?feedId=

Daarnaast kunnen externe SEO tools geblokkeerde bronfouten weergeven voor HubSpot bronnen die niet geïndexeerd hoeven te worden. Er zijn bijvoorbeeld scripts die worden gebruikt om het HubSpot sprocket snelmenu te laden dat je naar de pagina editor brengt, of je HubSpot tracking code, die niet hoeven te worden gecrawld omdat ze niet zouden opduiken als een zoekresultaat, en ze zijn niet kritisch voor het begrijpen van de inhoud van een pagina. Hoewel deze bronnen geblokkeerd of gemarkeerd kunnen zijn, betekent dit niet dat uw pagina zelf niet is gecrawld. Deze fout kan er alsvolgt uitzien:

Geblokkeerde bronnen > https://js.hs-scripts.com