Voorkom dat inhoud in de zoekresultaten verschijnt

Voorkom dat nieuwe inhoud in de zoekresultaten verschijnt door de URL-slug toe te voegen aan een robots.txt-bestand. Zoekmachines gebruiken deze bestanden om te bepalen hoe de inhoud van een website moet worden geïndexeerd. Inhoud opHubSpot-systeemdomeinen die ‘hs-sites’ bevatten, wordt in een robots.txt-bestand altijd ingesteld als ‘no-index’.

Als zoekmachines je inhoud al hebben geïndexeerd, kun je een "noindex"-metatag toevoegen aan de head-sectie van de HTML-code van de inhoud. Dit geeft zoekmachines de instructie om de inhoud niet meer in de zoekresultaten weer te geven.

Let op: alleen inhoud die wordt gehost op een domein dat is gekoppeld aan HubSpot, kan worden geblokkeerd in je robots.txt-bestand. Lees meer over het aanpassen van bestands-URL's in de tool 'Bestanden'.

Gebruik robots.txt-bestanden

Voeg inhoud die nog niet door zoekmachines is geïndexeerd toe aan een robots.txt-bestand om te voorkomen dat deze in zoekresultaten wordt weergegeven.

Zo bewerk je je robots.txt-bestand in HubSpot:

1. Klik in je HubSpot-account op het instellingen-pictogram in de bovenste navigatiebalk.

2. Ga in het menu aan de linkerkant naar Content > Pagina's.

3. Selecteer het domein waarvan je het robots.txt-bestand wilt bewerken:
   • Om het robots.txt-bestand voor alle gekoppelde domeinen te bewerken, klik je op het vervolgkeuzemenu 'Kies een domein om de instellingen te bewerken' en selecteer je 'Standaardinstellingen voor alle domeinen' (standaard geselecteerd).
   • Om het robots.txt-bestand voor een specifiek domein te bewerken, klikt u op het vervolgkeuzemenu 'Kies een domein om de instellingen te bewerken ' en selecteert u het domein. Klik indien nodig op 'Standaardinstellingen overschrijven'. Hiermee worden alle standaardinstellingen van het robots.txt-bestand voor dit domein overschreven.
4. Klik op het tabblad 'SEO & Crawlers '.
5. Bewerk in het gedeelte 'Robots.txt' de inhoud van het bestand. Een robots.txt-bestand bestaat uit twee delen:
   • User-agent: definieert de zoekmachine of webbot waarop een regel van toepassing is. Standaard is dit ingesteld op alle zoekmachines, wat wordt aangegeven met een asterisk (*), maar je kunt hier specifieke zoekmachines opgeven. Als u de sitezoekmodule van HubSpot gebruikt, moet u HubSpotContentSearchBot als aparte user-agent opnemen. Hierdoor kan de zoekfunctie uw pagina’s crawlen.
   • Disallow: geeft een zoekmachine de opdracht om geen bestanden of pagina’s met een specifieke URL-slug te crawlen en te indexeren. Voer voor elke pagina die je aan het robots.txt-bestand wilt toevoegen het volgende in: Disallow: /url-slug (bijvoorbeeld: www.hubspot.com/welcome wordt weergegeven als Disallow: /welcome).
6. Klik vervolgens linksonder op ‘Opslaan’ wanneer je klaar bent.

Lees meer over het opmaken van een robots.txt-bestand in de ontwikkelaarsdocumentatie van Google.

Gebruik 'noindex'-metatags

Als inhoud al door zoekmachines is geïndexeerd, kunt u een "noindex"-metatag toevoegen om zoekmachines te laten weten dat ze deze inhoud in de toekomst niet meer moeten indexeren.

Let op: deze methode mag niet worden gecombineerd met de robots.txt-methode, omdat zoekmachines dan de "noindex"-tag niet kunnen zien.

Voeg "noindex"-metatags toe aan pagina's en berichten

1. Ga naar je inhoud:

   • Webpagina's: Klik in je HubSpot-account op Meer en navigeer vervolgens naar Content > Websitepagina's. Als Meer niet in je account verschijnt, navigeer dan direct naar Content > Websitepagina's.
   • Landingspagina's: Klik in je HubSpot-account op Meer en navigeer vervolgens naar Content > Landingspagina's. Als Meer niet in je account verschijnt, navigeer dan direct naar Content > Landingspagina's.
   • Blog: Klik in je HubSpot-account op Meer en navigeer vervolgens naar Content > Blog. Als Meer niet in je account verschijnt, navigeer dan direct naar Content > Blog.
2. Klik op de naam van je inhoud.
3. Klik in de inhoudseditor rechtsboven op Instellingen .
4. Klik in het dialoogvenster op 'Geavanceerd' in het menu aan de linkerkant.
5. Voer in het gedeelte 'Extra codefragmenten ' de volgende code in het veld 'Head HTML ' in: <meta name="robots" content="noindex">.

6. Klik op de X om het instellingenvenster te sluiten.
7. Klik rechtsboven op 'Bijwerken' of 'Publiceren' om je wijzigingen live te zetten.

Voeg 'noindex'-metatags toe aan kennisbankartikelen

1. Klik in je HubSpot-account op Meer en navigeer vervolgens naar Service > Kennisdatabase. Als Meer niet in je account verschijnt, navigeer dan direct naar Service > Kennisdatabase.
2. Klik op de naam van je inhoud.
3. Klik in de artikeleditor rechtsboven op Instellingen.
4. Klik in het dialoogvenster op 'Geavanceerde opties ' in het menu aan de linkerkant.
5. Voer in het gedeelte 'Extra codefragmenten ' de volgende code in het veld 'Head HTML ' in: <meta name="robots" content="noindex"> .

6. Klik op X om het instellingenvenster te sluiten.
7. Om je wijzigingen live te zetten, klik je rechtsboven op 'Bijwerken' of 'Publiceren '.

De inhoud verschijnt nog steeds in de zoekresultaten

Nadat u een noindex-tag hebt toegevoegd of uw robots.txt-bestand hebt bijgewerkt, hebben zoekmachines tijd nodig om uw inhoud opnieuw te crawlen en uit de index te verwijderen. Als uw inhoud nog steeds in de zoekresultaten verschijnt, controleer dan het volgende:

• Toegankelijkheid van de pagina: de pagina moet openbaar toegankelijk zijn, zodat zoekmachines deze kunnen crawlen. Privépagina’s of pagina’s die met een wachtwoord zijn beveiligd, worden niet gecrawld, waardoor de noindex-tag niet kan worden gelezen.
• HTML-header: controleer het veld 'HTML-header' in de pagina-instellingen en de broncode van de livepagina om te controleren of de noindex-tag is opgeslagen en correct op de pagina wordt weergegeven.
• Conflicten met robots.txt: controleer je robots.txt-bestand om te controleren of er geen ‘Disallow’-regels zijn die zoekmachines de toegang tot de pagina blokkeren. Als zoekmachines worden geblokkeerd bij het crawlen van de pagina, kunnen ze de ‘noindex’-tag niet lezen.

Gebruik de verwijderingstool van Google Search Console om het verwijderen uit de index van Google-zoekresultaten te versnellen.