Voorkomen dat inhoud in zoekresultaten verschijnt

U kunt voorkomen dat nieuwe inhoud in de resultaten wordt weergegeven door de URL slug toe te voegen aan een robots.txt-bestand. Zoekmachines gebruiken deze bestanden om te begrijpen hoe ze de inhoud van een website moeten indexeren. Inhoud op HubSpot systeemdomeinen met hs-sites wordt altijd ingesteld als no-index in een robots.txt bestand.

Als zoekmachines uw inhoud al hebben geïndexeerd, kunt u een metatag "noindex" toevoegen aan de HTML-titel van de inhoud. Dit vertelt zoekmachines om de inhoud niet meer weer te geven in de zoekresultaten.

Let op: alleen inhoud die wordt gehost op een domein dat is verbonden met HubSpot kan worden geblokkeerd in je robots.txt-bestand. Meer informatie over het aanpassen van bestands-URL's in de bestandstool.

Gebruik robot.txt-bestanden

U kunt inhoud die nog niet is geïndexeerd door zoekmachines toevoegen aan een robots.txt-bestand om te voorkomen dat deze wordt weergegeven in zoekresultaten.

Zo bewerk je je robots.txt-bestand in HubSpot:

• Navigeer in het linker zijbalkmenu naar Inhoud > Pagina's.

• Selecteer het domein waarvan je het robots.txt-bestand wilt bewerken:
  • Om het robots.txt-bestand voor alle verbonden domeinen te bewerken, klikt u op het vervolgkeuzemenu Kies een domein om de instellingen te bewerken en selecteert u Standaardinstellingen voor alle domeinen.
  • Als u het robots.txt-bestand voor een specifiek domein wilt bewerken, klikt u op het vervolgkeuzemenu Kies een domein om de instellingen te bewerken en selecteert u het domein. Klik indien nodig op Standaardinstellingen overschrijven. Hiermee worden alle standaardinstellingen van robots.txt voor dit domein overschreven.

• Klik op het tabblad SEO & Crawlers.
• Bewerk de inhoud van het bestand in het gedeelte Robots.txt. Er zijn twee delen van een robots.txt-bestand:.
  
  • User-agent: definieert de zoekmachine of webbot waarop een regel van toepassing is. Standaard is dit ingesteld om alle zoekmachines te omvatten, wat wordt weergegeven met een sterretje (*), maar je kunt hier specifieke zoekmachines opgeven. Als je de sitezoekmodule van HubSpot gebruikt, moet je HubSpotContentSearchBot opnemen als een aparte user-agent. Dit zorgt ervoor dat de zoekfunctie je pagina's kan crawlen.

• • Disallow: vertelt een zoekmachine om geen bestanden of pagina's te crawlen en te indexeren die een specifieke URL slug gebruiken. Voor elke pagina die je wilt toevoegen aan het robots.txt-bestand, voer je Disallow: /url-slug (bijvoorbeeld, www.hubspot.com/welcome zou verschijnen als Disallow: /welcome).

• Klik linksonder op Opslaan.

Meer informatie over het opmaken van een robots.txt-bestand vindt u in de documentatie voor ontwikkelaars van Google.

Gebruik "noindex" metatags

Als inhoud al is geïndexeerd door zoekmachines, kunt u een "noindex" metatag toevoegen om zoekmachines te instrueren deze inhoud in de toekomst niet meer te indexeren.

Let op: deze methode mag niet worden gecombineerd met de robots.txt-methode, omdat zoekmachines dan de "noindex"-tag niet te zien krijgen.

Metatags met "noindex" toevoegen aan pagina's en berichten

• Navigeer naar uw inhoud:

  • Websitepagina's:
  • Landingspagina's:
  • Blog:
• Klik op de naam van je inhoud.
• Klik in de inhoudseditor op het menu Instellingen en selecteer Geavanceerd.
• Voeg in het gedeelte Extra code snippets van het dialoogvenster de volgende code toe aan het veld Head HTML : <meta name="robots" content="noindex">.

• Klik rechtsboven op Update om deze wijziging live te zetten.

Metatags met "noindex" toevoegen aan artikelen van Kennisbanken

• Klik op de naam van uw inhoud.
• Klik in de artikeleditor op het tabblad Instellingen en vervolgens op Geavanceerde opties.
• Voeg in de sectie Extra code snippets de volgende code toe aan het veld Head HTML : <meta name="robots" content="noindex">.

• Klik rechtsboven op Update om deze wijziging live te zetten.

Als je een Google Search Console account hebt, kun je dit proces voor Google zoekresultaten versnellen met Google's Removals Tool.