Doorgaan naar artikel
Let op: De Nederlandse vertaling van dit artikel is alleen bedoeld voor het gemak. De vertaling wordt automatisch gemaakt via een vertaalsoftware en is mogelijk niet proefgelezen. Daarom moet de Engelse versie van dit artikel worden beschouwd als de meest recente versie met de meest recente informatie. U kunt het hier raadplegen.
Landing Pages

Pas uw robots.txt bestand aan

Laatst bijgewerkt: augustus 3, 2021

Geldt voor:

Marketing Hub Starter, Professional, Enterprise
CMS Hub Starter, Professional, Enterprise
Legacy Marketing Hub Basic

Robots.txt-bestanden worden door zoekmachines gebruikt om de inhoud van uw website te indexeren. Deze kunnen handig zijn om te voorkomen dat bepaalde inhoud, zoals een inhoudsaanbod dat achter een formulier is verborgen, wordt teruggezonden in de resultaten van zoekmachines.

Let op:Google en andere zoekmachineskunnen niet met terugwerkende kracht pagina's verwijderenuit de zoekresultaten verwijderen nadat u de methode van het robots.txt-bestand hebt geïmplementeerd. Hoewel dit de bots vertelt een pagina niet te crawlen, kunnen zoekmachines uw inhoud nog steeds indexeren als er bijvoorbeeld inkomende links naar uw pagina zijn vanaf andere websites. Als uw pagina al is geïndexeerd en u wilt dat deze met terugwerkende kracht wordt verwijderd uit zoekmachines, kunt u waarschijnlijk het beste de methode met de metatag"No Index" gebruiken .

Hoe robots.txt-bestanden werken

Uw robots.txt-bestand vertelt zoekmachines hoe ze pagina's op uw website moeten crawlen. De twee belangrijkste onderdelen van uw robots.txt-bestand zijn:

  • User-agent: Definieert de zoekmachine of web bot waarop een regel van toepassing is. Een sterretje(*) kan worden gebruikt als een wildcard met User-agent om allezoekmachines op te nemen.
  • Disallow: Adviseert een zoekmachine om een bestand, pagina of map niet te crawlen of te indexeren.

Als u meer wilt weten over het instellen van uw robots.txt-bestanden voor Google-zoekresultaten, raadpleegt ude documentatie voor ontwikkelaars van Google. U kuntook eenhulpprogramma voor het genererenvanrobots.txt-bestanden gebruikenom uw bestandtemaken.

Let op:om een bestand te blokkeren in uw bestandsbeheerder, past u het bestand aan zodat het gehost wordt op een van uw domeinen. Vervolgens kunt u de URL van het bestand toevoegen aan uw robots.txt-bestand.

Werk uw robots.txt bestand bij in HubSpot

  • { local.navSettings }}

  • In het linker zijbalk menu, navigeer naar Website > Pagina's.

  • Gebruik het Wijzig dropdownmenu om een domein te selecteren om bij te werken.

  • Klik op de SEO &Crawlers tab.
  • Scroll naar beneden naar de Robots.txt sectie enbreng uw wijzigingen aan in uw robots.txt bestand in het tekstveld.

  • Klik op Opslaan.

Let op: als u HubSpot's site search module gebruikt op uw website, zal een sterretje in het user-agent veld de zoekfunctie blokkeren van het crawlen van uw site. U moet HubSpotContentSearchBotals user-agent in uw robots.txt-bestand opnemen om de zoekfunctie in staat te stellen uw pagina's te crawlen.