Entender

Se uma página não puder ser indexada, será retornado um erro de rastreamento. Isso pode acontecer com os rastreadores no HubSpot As etapas para resolver um erro de crawling dependem do erro e do local em que a página está hospedada. 

Página do HubSpot

Você pode exibir os detalhes de desempenho da guia Otimização de uma página ou post.

1. Acesse seu conteúdo:
   • Páginas do site: Na sua conta da HubSpot, acesse Conteúdo > Páginas do site.
   • Landing Pages: Na sua conta da HubSpot, acesse Conteúdo > Landing pages.
   • Blog: Na sua conta da HubSpot, acesse Conteúdo > Blog.
2. Passe o mouse sobre o conteúdo e clique em Desempenho.
3. Clique na guia Otimização.
4. Por padrão, as Recomendações serão selecionadas no menu da barra lateral esquerda. Para reexaminar o conteúdo, clique em Reexaminar agora. Se houver problemas ao rastrear a página, você poderá ver uma das seguintes mensagens de erro: 

• • Status 301: Movido Permanentemente: um redireciono 301 está impedindo o rastreador de acessar o conteúdo. 
  • Status 302: Objeto movido: um redireciono 302 (temporário) está impedindo o rastreador de acessar o conteúdo.
  • Status 403: Proibido: o servidor pode ser acessado, mas o acesso ao conteúdo foi negado.
  • Status 404: Não Encontrado: o rastreador não pode localizar uma versão ao vivo do conteúdo porque ela foi excluída ou movida.
  • Rastreamento de [site] bloqueado por robots.txt: um arquivo robots.txt está bloqueando a indexação do conteúdo. 

do HubSpot

Se você tentou rastrear páginas externas usando o HubSpot's 

• Varredura bloqueada pelo arquivo robots.txt: se a sua página externa for excluída da indexação pelo seu arquivo robots.txt, adicione o agente de usuário "HubSpot Crawler" do rastreador HubSpot como uma isenção. Saiba mais sobre como trabalhar com um arquivo robots.txt.
• O arquivo robots.txt não pôde ser recuperado: se os rastreadores do HubSpot não puderem acessar o arquivo robots.txt do seu site, verifique se o arquivo robots.txt está acessível e no diretório de nível superior do seu site. Saiba mais sobre como trabalhar com um arquivo robots.txt.
• O rastreador não pode verificar esta URL: se os rastreadores do HubSpot não puderem rastrear uma URL específica, tente as seguintes etapas de solução de problemas:
  • Verifique se a URL foi inserida corretamente.
  • Verifique se a página sendo rastreada está ativa no momento.
  • Verifique se o DNS pode resolver a URL. Saiba mais sobre como resolver erros de DNS na documentação do Google.
  • Entre em contato com o administrador do site e solicite que ele adicione o agente de usuário do nosso rastreador, "HubSpot Crawler", à lista de permissões como uma isenção. 

Uma página externa

Se você tentou rastrear suas páginas HubSpot usando um

As causas comuns para esse problema incluem: 

• A inclusão de suas páginas no arquivo robots.txt está impedindo que sejam indexadas ou rastreadas. 
• Uma marca meta "noindex" no HTML principal de suas páginas está impedindo que elas sejam indexadas ou rastreadas. 
• A auditoria de um Domínio raiz, em vez do subdomínio conectado ao HubSpot, está causando um erro de tempo limite.
• Os links para feeds RSS e páginas de listagem de blog expiram quando novas postagens de blog são publicadas, o que pode gerar erros de recursos bloqueados.
• Os recursos não essenciais, como os scripts que carregam o menu de roda dentada HubSpot, podem solicitar erros de recursos bloqueados. Isso não impede que o restante da página seja rastreado.