Laatst bijgewerkt: oktober 19, 2020
Let op: deze instructies zullen een URL van een pagina blokkeren om te worden geïndexeerd voor zoekopdrachten. Leer hoe u een bestands-URL in de bestandstool kunt aanpassen
om deze te blokkeren voor zoekmachines.Robots.txt bestand
Uw robots.txt bestand is een bestand op uw website dat zoekmachine crawlers lezen om te zien welke pagina's ze wel en niet moeten indexeren. Leer hoe u uw robots.txt-bestand in HubSpot
kunt instellen.Google en andere zoekmachines kunnen geen pagina's met terugwerkende kracht uit de resultatenverwijderen nadat u de robots.txt-bestandsmethode hebt geïmplementeerd. Hoewel dit de bots vertelt dat ze een pagina niet moeten crawlen, kunnen zoekmachines toch uw inhoud indexeren (bijv. als er inkomende links naar uw pagina zijn van andere websites). Als uw pagina al geïndexeerd is en u wilt deze met terugwerkende kracht van zoekmachines verwijderen, is het aan te raden om in plaats daarvan de "No Index" meta-tag-methode te gebruiken.
"Geen index" meta tag
Let op:
als u ervoor kiest om de "No Index" meta tag-methode te gebruiken, moet u er rekening mee houden dat deze niet moet worden gecombineerd met de robots.txt-bestandsmethode. Zoekmachines moeten beginnen met het crawlen van de pagina om de "No Index" meta-tag te zien en het robots.txt-bestand voorkomt het crawlen.Een "no index"
meta-tag is een reeks code die wordt ingevoerd in het hoofdgedeelte van de HTML van een pagina en die zoekmachines vertelt dat ze de pagina niet moeten indexeren.- Navigeer in uw HubSpot account naar uw website pagina's, landingspagina's of blog .
- Klik op de naam van een specifieke pagina of blogpost.
- Klik in de inhoudseditor op het tabblad Instellingen .
- Klik op Geavanceerde Opties .
- Kopieer en plak de volgende code in de Head HTML-sectie
<meta naam="robots" inhoud="noindex">
Google-zoekzool
Als u een Google Search Console-accounthebt,kunt u een URL indienen die uit de Google-zoekresultaten moet worden verwijderd. Let op: dit geldt alleen voor de zoekresultaten van Google. Als u bestanden in uw HubSpot bestandsbeheer (bijvoorbeeld een PDF-document) wilt blokkeren voor indexering door zoekmachines, moet u een aangesloten subdomein voor het bestand of de bestanden selecteren en de bestands-URL gebruiken om webcrawlers te blokkeren.
Hoe HubSpot omgaat met verzoeken van een gebruikersagent
Als u een gebruiker agent string om te testen crawlen uw website en zien een bericht van de toegang geweigerd, is dit verwachte gedrag. Google is nog steeds bezig met het crawlen en indexeren van uw site.
De reden dat u dit bericht ziet is omdat HubSpot alleen verzoeken van de googlebot-gebruikersagent toestaat die afkomstig zijn van IP's die eigendom zijn van Google.Om HubSpot-hosted sites te beschermen tegen aanvallers of spoofers,worden verzoeken
van andere IP adressen geweigerd. HubSpot doet dit ook voor andere zoekmachine crawlers, zoals BingBot, MSNBot en Baiduspider.