Comprendre les erreurs d'exploration des moteurs de recherche
Dernière mise à jour: mars 8, 2022
Si un crawler de référencement ne peut pas indexer une page, il renvoie une erreur de crawling. Cela peut se produire avec les robots d'indexation des outils SEO de HubSpot, ainsi qu'avec des robots d'indexation externes comme Semrush. Les étapes de la résolution d'une erreur d'exploration dépendent de l'erreur et de l'endroit où la page est hébergée.
Les outils de référencement de HubSpot crawlant une page HubSpot
Vous pouvez consulter les recommandations de référencement dans l'onglet Optimisation des détails de performanced'une page ou d'un article. Si l'exploration de la page pose des problèmes, vous pouvez voir l'un des messages d'erreur suivants :
- Statut 301 : Déplacé de façon permanente - une redirection 301 empêche le robot d'exploration d'accéder au contenu
- Statut 302 : Objet déplacé - une redirection 302 (temporaire) empêche le robot d'exploration d'accéder au contenu.
- Statut 403 : Forbidden - le serveur peut être atteint, mais l'accès au contenu est refusé.
- Statut 404 : Not Found (introuvable ) - le robot d'exploration est incapable de trouver une version vivante du contenu parce qu'il a été supprimé ou déplacé.
- Crawl of [site] blocked by robots.txt - un fichier robots.txt bloque l'indexation du contenu.
Les outils de référencement de HubSpot explorent une page externe
Si vous avez tenté d'explorer des pages externes à l'aide des outils de référencement de HubSpot, vous pouvez rencontrer l'une de ces erreurs :
- Analyse bloquée par le fichier robots.txt : si votre page externe est exclue de l'indexation par votre fichier robots.txt, ajoutez l'agent utilisateur de notre crawler "HubSpot Crawler" comme exemption. Pour en savoir plus sur l'utilisation d'un fichier robots.txt, cliquez ici
- Le fichier robots.txt n'a pas pu être récupéré : si les robots de HubSpot ne peuvent pas accéder au fichier robots.txt de votre site, vérifiez que le fichier robots.txt est accessible et se trouve dans le répertoire de premier niveau de votre site. Pour en savoir plus sur le travail avec un fichier robots.txt ici
- Le robot d'exploration n'est pas en mesure d'analyser cette URL si les robots d'exploration de HubSpot ne peuvent pas explorer une URL spécifique, essayez les étapes de dépannage suivantes
- Vérifiez que l'URL a été saisie correctement
- Vérifiez que la page en cours d'exploration est actuellement en ligne.
- Vérifiez que le DNS peut résoudre l'URL. Pour en savoir plus sur la résolution des erreurs DNS, consultez La documentation de Google
- Contactez l'administrateur de votre site et demandez-lui d'ajouter l'agent utilisateur de notre robot d'exploration, "HubSpot Crawler", à la liste des autorisations en tant qu'exemption
Ces messages d'erreur peuvent également apparaître lors de l' importation de contenu dans HubSpot
Un outil de référencement externe qui explore une page HubSpot
Si vous avez tenté d'explorer vos pages HubSpot à l'aide d'un outil de référencement externe tel que Moz ou Semrush, vous pouvez constater que vous ne parvenez pas à explorer vos pages avec succès.
Les causes courantes de ce problème sont les suivantes :
- L'inclusion de vos pages dans le fichier robots.txt les empêche d'être indexées ou explorées.
- Une balise méta noindex dans l' en-tête HTML de vos pages les empêche d'être indexées ou explorées.
- L'audit d'un domaine racine, plutôt que du sous-domaine connecté à HubSpot, provoque une erreur de délai d'attente.
- Les liens vers les flux RSS et les pages d'inscription des blogs expirent lorsque de nouveaux articles sont publiés, ce qui peut générer des erreurs de ressources bloquées.
- Les ressources non essentielles, telles que les scripts qui chargent le menu du godet HubSpot, peuvent provoquer des erreurs de ressources bloquées. Cela n'empêche pas le reste de la page d'être exploré.
Thank you for your feedback, it means a lot to us.
Articles similaires
-
Afficher les recommandations SEO dans HubSpot
Les meilleures pratiques SEO entraînent davantage de trafic naturel vers votre site web au fil du temps. Les...
Base de connaissances -
Définir des URL canoniques pour le contenu dupliqué
Si vous hébergez un contenu en double dans plusieurs pages de votre site web, définir une URL canonique...
Base de connaissances -
Créez des thèmes pour votre stratégie SEO
À l'aide des outils de référencement de HubSpot, vous pouvez rechercher et organiser des sujets et des...
Base de connaissances