SEO

Blokkeer pagina's of blogberichten die door zoekmachines worden geïndexeerd.

Laatst bijgewerkt: oktober 19, 2020

Geldt voor:

Marketing Hub  Professional, Enterprise
CMS Hub  Professional, Enterprise
Legacy Marketing Hub Basic
Er zijn een paar manieren om te voorkomen dat zoekmachines specifieke pagina's op uw website indexeren. Het is aan te raden om elk van deze methoden zorgvuldig te onderzoeken voordat u wijzigingen doorvoert om er zeker van te zijn dat alleen de gewenste pagina's worden geblokkeerd door zoekmachines.

Let op: deze instructies zullen een URL van een pagina blokkeren om te worden geïndexeerd voor zoekopdrachten. Leer hoe u een bestands-URL in de bestandstool kunt aanpassen

om deze te blokkeren voor zoekmachines.

Robots.txt bestand

Uw robots.txt bestand is een bestand op uw website dat zoekmachine crawlers lezen om te zien welke pagina's ze wel en niet moeten indexeren. Leer hoe u uw robots.txt-bestand in HubSpot

kunt instellen.

Google en andere zoekmachines kunnen geen pagina's met terugwerkende kracht uit de resultatenverwijderen nadat u de robots.txt-bestandsmethode hebt geïmplementeerd. Hoewel dit de bots vertelt dat ze een pagina niet moeten crawlen, kunnen zoekmachines toch uw inhoud indexeren (bijv. als er inkomende links naar uw pagina zijn van andere websites). Als uw pagina al geïndexeerd is en u wilt deze met terugwerkende kracht van zoekmachines verwijderen, is het aan te raden om in plaats daarvan de "No Index" meta-tag-methode te gebruiken.

"Geen index" meta tag

Let op:

als u ervoor kiest om de "No Index" meta tag-methode te gebruiken, moet u er rekening mee houden dat deze niet moet worden gecombineerd met de robots.txt-bestandsmethode. Zoekmachines moeten beginnen met het crawlen van de pagina om de "No Index" meta-tag te zien en het robots.txt-bestand voorkomt het crawlen.

Een "no index"

meta-tag is een reeks code die wordt ingevoerd in het hoofdgedeelte van de HTML van een pagina en die zoekmachines vertelt dat ze de pagina niet moeten indexeren. :
 <meta naam="robots" inhoud="noindex">

edit-head-html

Google-zoekzool

Als u een Google Search Console-accounthebt,kunt u een URL indienen die uit de Google-zoekresultaten moet worden verwijderd. Let op: dit geldt alleen voor de zoekresultaten van Google.

Als u bestanden in uw HubSpot bestandsbeheer (bijvoorbeeld een PDF-document) wilt blokkeren voor indexering door zoekmachines, moet u een aangesloten subdomein voor het bestand of de bestanden selecteren en de bestands-URL gebruiken om webcrawlers te blokkeren.

Hoe HubSpot omgaat met verzoeken van een gebruikersagent

Als u een gebruiker agent string om te testen crawlen uw website en zien een bericht van de toegang geweigerd, is dit verwachte gedrag. Google is nog steeds bezig met het crawlen en indexeren van uw site.



De reden dat u dit bericht ziet is omdat HubSpot alleen verzoeken van de googlebot-gebruikersagent toestaat die afkomstig zijn van IP's die eigendom zijn van Google.Om HubSpot-hosted sites te beschermen tegen aanvallers of spoofers,worden verzoeken


van andere IP adressen geweigerd. HubSpot doet dit ook voor andere zoekmachine crawlers, zoals BingBot, MSNBot en Baiduspider.