Reports

Comment empêcher l'indexation de certaines pages par les moteurs de recherche ?

Dernière mise à jour: July 6, 2017

Disponible avec :

Produit: HubSpot Marketing
Abonnement: Basique, Pro et Entreprise

Plusieurs options existent si vous souhaitez empêcher les moteurs de recherche d'indexer des pages précises de votre site web. Nous vous conseillons de les étudier avec attention avant de mettre en place vos modifications, afin de vous assurer que seules les pages voulues seront bloquées pour les moteurs de recherche.

Notez que Google et les autres moteurs de recherche ne suppriment pas toujours les pages de manière rétroactive de leurs résultats si vous appliquez la méthode du fichier robots.txt. Ce fichier indique aux robots de ne pas analyser une page mais les moteurs de recherche peuvent toujours indexer votre contenu si, par exemple, des liens entrants mènent à cette page depuis d'autres sites. Si votre page a déjà été indexée et que vous aimeriez la supprimer rétroactivement des moteurs de recherche, il vous faudra utiliser la méthode de la balise « No index » (voir plus bas). 

Si vous choisissez cette méthode, sachez qu'elle ne doit pas être combinée à celle du fichier robots.txt. Les moteurs de recherche doivent commencer à analyser une page afin de trouver la balise « No index », ce qui est impossible avec le fichier robots.txt.

Fichier robots.txt

  • Ce fichier placé sur votre site web est lu par les robots des moteurs de recherche afin de voir quelles pages indexer ou non. 
  • En savoir plus sur la configuration d'un fichier robots.txt dans HubSpot.

Balise « No index »

La méta-balise « No index » consiste en quelques lignes de code intégrées dans la section en-tête du code HTML d'une page, qui indiquent aux moteurs de recherche de ne pas indexer cette page.

  • Accédez à Contenu > Pages du site web ou Pages de destination > Modifier > Paramètres > Modifier/Ajouter HTML en-tête.
  • Copiez et collez le code suivant dans le code HTML de la section en-tête d'une page : ..

Outils Google pour les webmasters

https://support.google.com/webmasters/answer/1663419

  • Remarque : ceci s'applique uniquement aux résultats de recherche sur Google.

http://knowledge.hubspot.com/articles/kcs_article/cos-general/can-i-block-files-in-my-file-manager-from-being-indexed-by-search-engines

« Il semble que Google (ou un autre moteur de recherche) n'analyse pas mon site...»

Si vous paramétrez une chaîne d'agent utilisateur pour tester l'indexation de votre site, il est normal que vous obteniez un message indiquant que l'accès est refusé. Google analyse/indexe toujours votre site.

Vous voyez ce message car, pour protéger les sites hébergés par HubSpot des attaques, HubSpot autorise uniquement les demandes de l'agent utilisateur googlebot venant d'adresses IP qui appartiennent à Google. Les demandes issues d'autres adresses IP (comme par exemple celles imitant une chaîne d'agent utilisateur) sont refusées. HubSpot agit de même pour les robots d'indexation d'autres moteurs de recherche, comme BingBot, MSNBot et Baiduspider.

Vous voyez ce message car, pour protéger les sites hébergés par HubSpot des attaques, HubSpot autorise uniquement les demandes de l'agent utilisateur googlebot venant d'adresses IP qui appartiennent à Google. Les demandes issues d'autres adresses IP (comme par exemple celles imitant une chaîne d'agent utilisateur) sont refusées. HubSpot agit de même pour les robots d'indexation d'autres moteurs de recherche, comme BingBot, MSNBot et Baiduspider.