Comprendre les erreurs d'indexation des moteurs de recherche
Dernière mise à jour: avril 4, 2023
Disponible avec le ou les abonnements suivants, sauf mention contraire :
|
Si un crawler SEO ne peut pas indexer une page, il renvoie une erreur de crawling. Cela peut se produire avec les crawlers des outils d'Outil SEO et d'import de HubSpot, ainsi qu'avec des crawlers externes comme Semrush. Les étapes à suivre pour résoudre une erreur d'exploration dépendent de l'erreur et de l'endroit où la page est hébergée.
Les outils SEO de HubSpot explorent une page HubSpot
Vous pouvez consulter les recommandations SEO dans l'onglet Optimisation des détails de performance d'une page ou d'un article. En cas de problème d'exploration de la page, l'un des messages d'erreur suivants peut s'afficher :
- Statut 301 : déplacé de manière permanente - une redirection 301 empêche le robot d'indexation d'accéder au contenu.
- Statut 302 : Objet déplacé - une redirection 302 (temporaire) empêche le robot d'accéder au contenu.
- Statut 403 : Interdit - le serveur est accessible, mais l'accès au contenu est refusé.
- Statut 404 : Non trouvé - le robot d'exploration n'est pas en mesure de trouver une version vivante du contenu parce qu'il a été supprimé ou déplacé.
- Crawl of [site] blocked by robots.txt - un fichier robots.txt empêche l'indexation du contenu.
Les outils SEO de HubSpot explorent une page externe
Si vous avez tenté d'explorer des pages externes à l'aide des outils SEO de HubSpot ou si vous importez du contenu externe dans HubSpot, il se peut que vous rencontriez l'une de ces erreurs :
- Scan bloqué par le fichier robots.txt : si votre page externe est exclue de l'indexation par votre fichier robots.txt, ajoutez l'agent utilisateur de notre crawler "HubSpot Crawler" en tant qu'exemption.Apprenez-en plus sur l'utilisation d'un fichier robots.txt ici.
- Le fichier robots.txt n'a pas pu être récupéré : si les robots d'HubSpot ne peuvent pas accéder au fichier robots.txt de votre site, vérifiez que le fichier robots.txt est accessible et qu'il se trouve dans le répertoire de premier niveau de votre site. Pour en savoir plus sur l'utilisation d'un fichier robots.txt, cliquez ici.
- Le crawler n'est pas en mesure d'analyser cette URL: Si les crawlers de HubSpot ne peuvent pas analyser une URL spécifique, essayez les étapes de dépannage suivantes :
- Vérifier que l'URl a été correctement saisie.
- Vérifiez que la page explorée est actuellement en ligne.
- Vérifiez que le DNS peut résoudre l'URL. Pour en savoir plus sur la résolution des erreurs DNS, consultez la documentation de Google.
- Contactez l'administrateur de votre site et demandez-lui d'ajouter l'agent utilisateur de notre crawler, "HubSpot Crawler", à la liste des autorisations en tant qu'exemption.
Un outil d'Outil SEO externe qui explore une page HubSpot
Si vous avez tenté de crawler vos pages HubSpot à l'aide d'un outil SEO externe tel que Moz ou Semrush, il se peut que vous ne parveniez pas à crawler vos pages avec succès.
Les causes courantes de ce problème sont les suivantes
- L'inclusion de vos pages dans le fichier robots.txt les empêche d'être indexées ou explorées.
- Une balise méta noindex dans l' en-tête HTML de vos pages les empêche d'être indexées ou explorées.
- L'audit d'un domaine racine, plutôt que du sous-domaine connecté à HubSpot, provoque une erreur de dépassement de délai.
- Les liens pour les flux RSS et les pages de listes de blogs expirent lorsque de nouveaux articles de blogs sont publiés, ce qui peut générer des erreurs de ressources bloquées.
- Les ressources non essentielles, telles que les scripts qui chargent le menu HubSpot sprocket, peuvent provoquer des erreurs de ressources bloquées. Cela n'empêche pas le reste de la page d'être exploré.
Articles similaires
-
Définir des URL canoniques pour le contenu dupliqué
Si vous hébergez un contenu en double dans plusieurs pages de votre site web, définir une URL canonique...
Base de connaissances -
Comprendre les indicateurs de l'intégration de Google Search Console
L' intégration de la Google Search Console de HubSpot ajoute de nouvelles mesures à votre tableau de bord SEO...
Base de connaissances -
Comprendre les recommandations SEO
Dans l'outil SEO, l'éditeur de contenu et les détails de la page, vous pouvez analyser votre contenu pour...
Base de connaissances