Avertissement : cet article est le résultat de la traduction automatique, l'exactitude et la fidélité de la traduction ne sont donc pas garanties. Pour consulter la version originale de cet article, en anglais, cliquez ici.
CMS-General

Personnaliser le fichier robots.txt

Dernière mise à jour: février 19, 2019

Disponible avec :

Hub Marketing Professional, Enterprise
Basique
HubSpot CMS

Les fichiers robots.txt sont référencés par les moteurs de recherche pour indexer le contenu de votre site web. Il peut être utile d'empêcher que certains contenus, tels qu'une offre de contenu cachée derrière un formulaire, soient renvoyés par les résultats des moteurs de recherche.

Cet article explique le fonctionnement des fichiers robots.txt et comment mettre à jour le fichier robots.txt dans HubSpot.

Remarque : Google et d'autres moteurs de recherche ne suppriment pas rétroactivement les pages des résultats de recherche après la mise en œuvre de la méthode robots.txt. Ce fichier indique aux robots de ne pas analyser une page, mais les moteurs de recherche peuvent toujours indexer votre contenu si, par exemple, des liens entrants mènent à cette page depuis d’autres sites. Si votre page a déjà été indexée et que vous aimeriez la supprimer rétroactivement des moteurs de recherche, il vous faudra utiliser la méthode du meta-tag « No index »

Fonctionnement des fichiers robots.txt

Votre fichier robots.txt indique aux moteurs de recherche comment indexer les pages hébergées sur votre site web. 

Les deux principaux composants de votre fichier robots.txt sont les suivants :

  • User-agent : Définit le moteur de recherche ou le bot web auquel une règle s'applique. Un astérisque (*) peut être utilisé comme caractère générique avec  User-agent pour inclure tous les moteurs de recherche. 
  • Disallow : Indique au moteur de recherche de ne pas explorer ni indexer un fichier, une page ou un répertoire.

Pour en savoir plus sur la configuration des fichiers robots.txt, consultez la documentation robots.txt. Ce document explique en détail le fonctionnement des fichiers robots.txt et donne des exemples. Vous pouvez également utiliser un générateur de fichiers robots.txt pour créer votre fichier. 

Mettre à jour le fichier robots.txt dans HubSpot

  • Depuis votre compte HubSpot, accédez à l'icône Paramètres settings dans l'angle supérieur droit.
  • Dans le menu latéral de gauche, accédez à Site web > Pages.
  • Utilisez le menu déroulant Modifier pour sélectionner un domaine à mettre à jour.
  • Cliquez sur l'onglet SEO et robots d'indexation .
  • Faites défiler la page jusqu'à la section Robots.txt et apportez les modifications au fichier robots.txt dans le champ de texte.

  • Cliquez sur Enregistrer.