Compreender os erros de rastreio de SEO

Se um rastejador de SEO não conseguir indexar uma página, irá devolver um erro de rastejamento. Isto pode acontecer com os rastejadores no SEO do HubSpot e ferramentas de importação, bem como com os rastejadores externos como o Semrush. Os passos para resolver um erro de rastejamento dependem do erro e do local onde a página está alojada. 

Ferramentas SEO do HubSpot rastejando uma página do HubSpot

Pode ver as recomendações SEO no separador Optimização de uma página ou detalhes de desempenhode um post. Se houver problemas a rastejar a página, poderá ver uma das seguintes mensagens de erro: 

• Estado 301: Movido permanentemente: um redireccionamento 301 está a impedir o crawler de aceder ao conteúdo. 
• Estado 302: Objeto movido: um redireccionamento 302 (temporário) está a impedir o crawler de aceder ao conteúdo.
• Estado 403: Forbidden: o servidor pode ser contactado, mas o acesso ao conteúdo é negado.
• Estado 404: Não encontrado: o rastreador não consegue encontrar uma versão ativa do conteúdo porque este foi eliminado ou movido.
• Rastreio de [site] bloqueado por robots.txt: um ficheiro robots.txt está a bloquear a indexação do conteúdo. 

Ferramentas SEO do HubSpot rastejando uma página externa

Se tentou rastejar páginas externas usando as ferramentas de SEO do HubSpot ou está a importar conteúdo externo para o HubSpot, pode encontrar um destes erros: 

• Verificação bloqueada pelo ficheiro robots.txt: se a sua página externa for excluída da indexação pelo seu ficheiro robots.txt, adicione o agente de utilizador do rastreador do HubSpot "HubSpot Crawler" como uma isenção. Saiba mais sobre trabalhar com um ficheiro robots.txt.
• Não foi possível recuperar o arquivo robots.txt: se os rastreadores do HubSpot não puderem acessar o arquivo robots.txt do seu site, verifique se o arquivo robots.txt está acessível e no diretório de nível superior do seu site. Saiba mais sobre trabalhar com um ficheiro robots.txt.
• O rastreador não consegue rastrear este URL: se os rastreadores da HubSpot não conseguirem rastrear um URL específico, tente as seguintes etapas de solução de problemas:
  • Verificar se o URL foi introduzido corretamente.
  • Verifique se a página que está a ser rastreada está atualmente ativa.
  • Verifique se o DNS pode resolver o URL. Saiba mais sobre a resolução de erros de DNS em Documentação do Google.
  • Contacte o administrador do seu site e peça-lhe que adicione o agente de utilizador do nosso rastreador, "HubSpot Crawler", à lista de permissões como uma isenção. 

Uma ferramenta SEO externa que rasteja uma página HubSpot

Se tentou rastejar as suas páginas HubSpot usando uma ferramenta externa de SEO como Moz ou Semrush, poderá descobrir que não consegue rastejar as suas páginas com sucesso.

As causas comuns para esta questão incluem: 

• A inclusão das suas páginas no ficheiro robots.txt está a impedir que sejam indexadas ou rastreadas. 
• Uma meta tag "noindex" no head HTML das suas páginas está a impedir que estas sejam indexadas ou rastreadas. 
• A auditoria de um domínio raiz, em vez do subdomínio conectado ao HubSpot, está causando um erro de tempo limite.
• As ligações para feeds RSS e páginas de listagem de blogs expiram quando são publicados novos posts no blog, o que pode gerar erros de recursos bloqueados.
• Os recursos não essenciais, tais como os scripts que carregam o menu da roda dentada HubSpot, podem provocar erros de recursos bloqueados. Isto não impede que o resto da página seja rastejada.