Laatst bijgewerkt: augustus 3, 2021
Let op: deze instructies zullen een pagina URL blokkeren van geïndexeerd te worden voor zoekopdrachten. Leer hoe u de URL van een bestand kunt aanpassen
in het hulpprogramma Bestanden om het te blokkeren voor zoekmachines.Robots.txt bestand
Uw robots.txt-bestand is een bestand op uw website dat crawlers van zoekmachines lezen om te zien welke pagina's ze wel en niet moeten indexeren. Leer hoe u uw robots.txt bestand instelt in HubSpot
.Google en andere zoekmachines kunnen niet met terugwerkende kracht pagina's uit de resultatenverwijderen nadat u het robots.txt bestand heeft geïmplementeerd. Hoewel dit bots vertelt een pagina niet te crawlen, kunnen zoekmachines uw inhoud nog steeds indexeren (bijvoorbeeld als er inkomende links naar uw pagina zijn vanaf andere websites). Als uw pagina al is geïndexeerd en u deze met terugwerkende kracht uit zoekmachines wilt verwijderen, kunt u het beste de methode "No Index" meta-tag gebruiken.
"Geen index" meta tag
Let op:
als u ervoor kiest om de "No Index" meta tag methode te gebruiken, wees u er dan van bewust dat deze niet gecombineerd mag worden met de robots.txt bestand methode. Zoekmachines moeten de pagina beginnen te crawlen om de "No Index" meta tag te zien en het robots.txt-bestand voorkomt crawlen helemaal.Een "no index"
meta-tag is een codestring die in het hoofdgedeelte van de HTML van een pagina wordt ingevoerd en die zoekmachines vertelt de pagina niet te indexeren.-
Navigeer naar je inhoud:
- Website Pagina's : { local.navWebsitePages }}
- Landingspagina's : { local.navLandingPages }}
- Blog
- Klik op de naam van een specifieke pagina of blog post.
- Klik in de inhoudseditor op het tabblad Instellingen .
- Klik op Geavanceerde opties .
- Kopieer en plak de volgende code in de sectie Hoofd-HTML
<meta name="robots" content="noindex">
Google Zoekconsole
Als u een Google Search Console-accounthebt,kunt u een URL indienen om uit de zoekresultaten van Google te worden verwijderd. Merk op dat dit alleen van toepassing zal zijn op de zoekresultaten van Google. Als u bestanden in uw HubSpot file manager (bijv. een PDF-document) wilt blokkeren voor indexering door zoekmachines, moet u een verbonden subdomein selecteren voor het bestand (of de bestanden) en de URL van het bestand gebruiken om webcrawlers te blokkeren.
Hoe HubSpot omgaat met verzoeken van een user agent
Als u een user agent string instelt om uw website te testen crawlen en u ziet een bericht van toegang geweigerd, dan is dit verwacht gedrag. Google crawlt en indexeert uw site nog steeds.
De reden dat u dit bericht ziet is omdat HubSpot alleen verzoeken van de googlebot user agent toestaat die afkomstig zijn van IP's die eigendom zijn van Google.Om HubSpot-gehoste sites te beschermen tegen aanvallers of spoofers,zullen verzoekenvan andere IP-adressen worden geweigerd. HubSpot doet dit ook voor andere zoekmachine crawlers, zoals BingBot, MSNBot, en Baiduspider.
