Landing Pages

Pas uw robots.txt-bestand aan

Laatst bijgewerkt: oktober 19, 2020

Geldt voor:

Marketing Hub  Starter, Professional, Enterprise
CMS Hub  Professional, Enterprise
Legacy Marketing Hub Basic

Robots.txt bestanden worden gerefereerd door zoekmachines om de inhoud van uw website te indexeren. Deze kunnen nuttig zijn om bepaalde inhoud, zoals een inhoudsaanbieding verborgen achter een formulier, niet terug te laten komen in de resultaten van zoekmachines.

Let op:Google en andere zoekmachineskan geen pagina's met terugwerkende kracht verwijderenvan de zoekresultaten nadat u de robots.txt-bestandsmethode hebt geïmplementeerd. Hoewel dit de bots vertelt om geen pagina te crawlen, kunnen zoekmachines toch uw inhoud indexeren als er bijvoorbeeld inkomende links naar uw pagina zijn van andere websites. Als uw pagina al geïndexeerd is en u wilt dat deze met terugwerkende kracht uit zoekmachines wordt verwijderd, dan wilt u waarschijnlijk de "No Index" meta-tagmethode gebruiken .

Hoe robots.txt-bestanden werken

Uw robots.txt-bestand vertelt zoekmachines hoe ze pagina's moeten crawlen die op uw website worden gehost. De twee belangrijkste onderdelen van uw robots.txt-bestand zijn:

  • User-agent: Definieert de zoekmachine of webbot waarop een regel van toepassing is. Een asterisk(*) kan worden gebruikt als een wildcard met User-agent om allezoekmachinesop te nemen.
  • Disallow: Adviseert een zoekmachine om niet te crawlen en een bestand, pagina of directory te indexeren.

Om meer te weten te komen over hoe u uw robots.txt-bestanden kunt instellen voor Google-zoekresultaten, raadpleegt u dedocumentatie van de ontwikkelaar van Google. U kuntook een robots.txt-generatorgebruikenom uw bestandaan te maken.

Let op:om een bestand te blokkeren in uw bestandsbeheerder, pas het bestand aan zodat het wordt gehost op een van uw domeinen. Vervolgens kunt u de URL van het bestand toevoegen aan uw robots.txt-bestand.

Update uw robots.txt bestand in HubSpot

  • Klik in uw HubSpot-account op de instellingenpictogram settings in de hoofdnavigatiebalk.

  • Navigeer in het menu aan de linkerzijde naar Website > Pagina's.

  • Gebruik hetmenuWijzigen om een domein te selecteren dat moet worden bijgewerkt.

  • Klik op hettabbladSEO &Crawlers.
  • Scroll naar beneden naar de Robots.txt sectie enbreng uw wijzigingen aan in uw robots.txt bestand in het tekstveld.

  • Klik op Opslaan.

Let op: als u de HubSpot's site zoekmodule op uw website gebruikt, zal een sterretje in het user-agent veld de zoekfunctie blokkeren voor het kruipen van uw site. U moet HubSpotContentSearchBotals user-agent in uw robots.txt bestand opnemen om de zoekfunctie toe te staan uw pagina's te crawlen.