Comment personnaliser le fichier robots.txt

Dernière mise à jour: August 9, 2018

Disponible avec :

Site web
Site web Modules complémentaires

Le contenu du fichier robots.txt peut être personnalisé dans les options de publication de page de votre domaine.

Pourquoi personnaliser le fichier robots.txt d'un sous-domaine ?

  • Pour empêcher les moteurs de recherche d'indexer des pages de remerciement relatives à certaines offres.
  • Pour empêcher les moteurs de recherche d'indexer des pages de destination associées à des campagnes d'e-mails.
  • Pour empêcher les moteurs de recherche d'indexer des pages présentant des contenus redondants.

Suivez les étapes ci-dessous pour accéder au fichier robots.txt sur HubSpot et pour le personnaliser.

Accéder au fichier robots.txt

Dans le tableau de bord HubSpot, accédez à Contenu > Paramètres du contenu.

HubSpot Help article screenshot

Faites défiler les options de publication de page jusqu'à la section Robots.txt.

HubSpot Help article screenshot

Personnaliser le fichier robots.txt

Si vous ne savez pas comment fonctionnent les fichiers robots.txt, consultez les ressources disponibles sur http://www.robotstxt.org. Vous pouvez également utiliser un générateur de fichiers robots.txt comme celui-ci.

HubSpot Help article screenshot

Exemple : pour exclure tous les fichiers à l'exception d'un seul

L'exemple ci-dessous montre comment exclure certains fichiers à l'aide d'un fichier robots.txt. Il est tiré de la page robotstxt.org (pour plus d'exemples, veuillez accéder à cette page).

Un fichier robots.txt ne contient pas de champ ni de fonctionnalité « Allow ». Le plus simple est donc de placer tous les fichiers à exclure dans un dossier séparé, par exemple « divers », en laissant un seul fichier dans le dossier de niveau supérieur :

User-agent: *
Disallow: /~joe/divers/

Vous pouvez aussi exclure explicitement toutes les pages souhaitées :

User-agent: *
Disallow: /~joe/junk.html
Disallow: /~joe/foo.html
Disallow: /~joe/bar.html

Enregistrer les modifications

Cliquez sur Enregistrer les modifications pour mettre à jour le fichier robots.txt.

HubSpot Help article screenshot

Table des matières

    Article précédent:

    Measuring Your Performance Project

    Article suivant: