Avertissement : cet article est le résultat de la traduction automatique, l'exactitude et la fidélité de la traduction ne sont donc pas garanties. Pour consulter la version originale de cet article, en anglais, cliquez ici.
Reports

Bloquer des pages ou des articles de blog afin qu'ils ne puissent pas être indexés par les moteurs de recherche

Dernière mise à jour: January 17, 2019

Marketing Hub Professional, Enterprise

Disponible avec :

Marketing Hub
marketing-basic-pro-enterprise
Professional, Enterprise
Basique
HubSpot CMS
Plusieurs options existent si vous souhaitez empêcher les moteurs de recherche d’indexer des pages précises de votre site web. Nous vous conseillons de les étudier avec attention avant de mettre en place toutes modifications, afin de vous assurer que seules les pages voulues seront bloquées pour les moteurs de recherche.

Remarque : si vous choisissez cette méthode, sachez qu'elle ne doit pas être combinée à celle du fichier robots.txt. Les moteurs de recherche doivent commencer à analyser une page pour voir le meta-tag « No index », ce qui est impossible avec le fichier robots.txt.

Fichier robots.txt

Votre fichier robots.txt est un fichier placé sur votre site web et lu par les robots des moteurs de recherche afin de voir quelles pages indexer ou non.  Découvrez comment configurer le fichier robots.txt dans HubSpot.

Google et d'autres moteurs de recherche ne suppriment pas rétroactivement les pages des résultats après la mise en œuvre de la méthode robots.txt. Ce fichier indique aux robots de ne pas analyser une page mais les moteurs de recherche peuvent toujours indexer votre contenu si, par exemple, des liens entrants mènent à cette page depuis d’autres sites. Si votre page a déjà été indexée et que vous aimeriez la supprimer rétroactivement des moteurs de recherche, il vous faudra utiliser la méthode du meta-tag « No index » (voir plus bas). 

Balise « No index »

Une méta-balise « No index » consiste en quelques lignes de code intégrées dans la section en-tête du code HTML d'une page, qui indiquent aux moteurs de recherche de ne pas indexer cette page.

 

edit-head-html

 

Outils Google pour les webmasters

Si vous disposez d'un compte pour l'utilisation des outils Google pour les webmasters, vous pouvez soumettre une URL afin qu'elle soit retirée des résultats de recherche sur Google..

Remarque : cela s'applique uniquement aux résultats de recherche sur Google.

 Si vous voulez bloquer des fichiers dans votre gestionnaire de fichiers HubSpot afin qu'ils ne soient pas indexés par les moteurs de recherche, comme par exemple un document .pdf, vous devrez sélectionner un sous-domaine connecté pour le ou les fichiers concernés et utiliser l'URL des fichiers pour la bloquer vis-à-vis des robots d'indexation.  

Comment HubSpot gère les demandes d'un agent utilisateur

Si vous paramétrez une chaîne d'agent utilisateur pour tester l'indexation de votre site web, il est normal que vous obteniez un message indiquant que l’accès est refusé. Google est toujours en train d'explorer et d'indexer votre site.

Vous voyez ce message car HubSpot autorise uniquement les demandes de l’agent utilisateur googlebot venant d’adresses IP qui appartiennent à Google. Afin de protéger les sites hébergés sur HubSpot des attaques ou des « spoofers », les demandes provenant d'autres adresses IP seront refusées. HubSpot agit de même pour les robots d’indexation d’autres moteurs de recherche, comme BingBot, MSNBot et Baiduspider.