Entenda os erros de rastreamento SEO

Se um SEO crawler não conseguir indexar uma página, irá retornar um erro de rastejamento. Isto pode acontecer com os rastejadores nas ferramentas SEO do HubSpot, bem como com os rastejadores externos como o Semrush. Os passos para resolver um erro de rastejamento dependem do erro e do local onde a página está hospedada. 

Ferramentas de SEO do HubSpot rastejando uma página do HubSpot

Você pode ver as recomendações SEO na guia Otimização de uma página ou nos detalhes de desempenhode uma publicação. Se houver problemas ao rastejar a página, você pode ver uma das seguintes mensagens de erro: 

• Status 301: Movido permanentemente - um redirecionamento 301 está impedindo o rastreador de acessar o conteúdo
• Status 302: Objeto movido - um redirecionamento 302 (temporário) está impedindo o rastreador de acessar o conteúdo.
• Status 403: Proibido - o servidor pode ser alcançado, mas o acesso ao conteúdo é negado.
• Status 404: Não encontrado - o rastreador não consegue encontrar uma versão ao vivo do conteúdo porque ele foi apagado ou movido.
• Crawl de [site] bloqueado por robots.txt - um arquivo robots.txt está bloqueando o conteúdo de ser indexado. 

Ferramentas de SEO do HubSpot rastejando uma página externa

Se você tentou rastejar páginas externas usando as ferramentas SEO do HubSpot, você pode encontrar um desses erros: 

• Scan bloqueado pelo arquivo robots.txt: se sua página externa for excluída da indexação pelo seu arquivo robots.txt, adicione o agente de usuário do nosso crawler "HubSpot Crawler" como uma isenção. Saiba mais sobre como trabalhar com um arquivo robots.txt aqui 
• O arquivo Robots.txt não pôde ser recuperado: se os crawlers do HubSpot não puderem acessar o arquivo robots.txt do seu site, verifique se o arquivo robots.txt está acessível e no diretório de nível superior do seu site. Saiba mais sobre como trabalhar com um arquivo robots.txt aqui 

Se as ferramentas SEO do HubSpot voltarem a encontrar um erro geral de rastejamento, siga estes passos para o resolver: 

• Verifique se a URL foi digitada corretamente
• Verifique se a página que está sendo rastreada está atualmente ao vivo.
• Verifique se o DNS pode resolver o URL. Saiba mais sobre como resolver erros de DNS em Documentação da Google 
• Contacte o administrador do seu site e solicite que eles adicionem o nosso agente de utilizadores, "HubSpot Crawler", à lista de autorização como uma isenção

Uma ferramenta de SEO externa que rasteja uma página do HubSpot

Se você tentou rastrear suas páginas do HubSpot usando uma ferramenta externa de SEO como Moz ou Semrush, você pode descobrir que não consegue rastrear suas páginas com sucesso.

As causas comuns para esta questão incluem: 

• A inclusão de suas páginas no arquivo robots.txt está impedindo que elas sejam indexadas ou rastreadas. 
• Uma meta tag noindex no HTML principal de suas páginas está impedindo que elas sejam indexadas ou rastejadas. 
• A auditoria de um domínio raiz, em vez do subdomínio ligado ao HubSpot, está a causar um erro de timeout.
• Links para feeds RSS e páginas de listagem de blogs expiram quando novos posts de blogs são publicados, o que pode gerar erros de recursos bloqueados.
• Recursos não essenciais, tais como os scripts que carregam o menu da roda dentada HubSpot, podem provocar erros de recursos bloqueados. Isto não impede que o resto da página seja rastejada.