Compreender os erros de rastreio de SEO

Se um rastejador de SEO não conseguir indexar uma página, irá devolver um erro de rastejamento. Isto pode acontecer com os rastejadores no SEO do HubSpot e ferramentas de importação, bem como com os rastejadores externos como o Semrush. Os passos para resolver um erro de rastejamento dependem do erro e do local onde a página está alojada. 

Ferramentas SEO do HubSpot rastejando uma página do HubSpot

Pode ver as recomendações SEO no separador Optimização de uma página ou detalhes de desempenhode um post. Se houver problemas a rastejar a página, poderá ver uma das seguintes mensagens de erro: 

• Estado 301: Movido permanentemente - um redireccionamento 301 está a impedir o rastejador de aceder ao conteúdo.
• Estado 302: Objecto movido - um redireccionamento 302 (temporário) está a impedir o rastejador de aceder ao conteúdo.
• Estado 403: Proibido - o servidor pode ser alcançado, mas o acesso ao conteúdo é negado.
• Estado 404: Não encontrado - o rastejador não consegue encontrar uma versão ao vivo do conteúdo porque foi apagado ou movido.
• Crawl de [site] bloqueado por robots.txt - um ficheiro robots.txt está a bloquear o conteúdo de ser indexado. 

Ferramentas SEO do HubSpot rastejando uma página externa

Se tentou rastejar páginas externas usando as ferramentas de SEO do HubSpot ou está a importar conteúdo externo para o HubSpot, pode encontrar um destes erros: 

• Scan bloqueado pelo ficheiro robots.txt: se a sua página externa for excluída da indexação pelo seu ficheiro robots.txt, adicione o agente de utilizadores do nosso crawler "HubSpot Crawler" como uma isenção.Saiba mais sobre como trabalhar com um ficheiro robots.txt aqui.
• O ficheiro Robots.txt não pôde ser recuperado: se os crawlers do HubSpot não conseguirem aceder ao ficheiro robots.txt do seu site, verifique se o ficheiro robots.txt está acessível e no directório de nível superior do seu site. Saiba mais sobre como trabalhar com um ficheiro robots.txt aqui.
• O rastejador não é capaz de digitalizar este URL: se os rastejadores do HubSpot não conseguirem rastejar um URL específico, tente os seguintes passos de resolução de problemas:
  • Verificar se a URl foi introduzida correctamente.
  • Verificar se a página que está a ser rastreada está actualmente em directo.
  • Verificar se o DNS pode resolver o URL. Saiba mais sobre a resolução de erros DNS na documentação do Google.
    
  • Contacte o administrador do seu site e solicite que adicionem o agente de utilizadores do nosso crawler, "HubSpot Crawler", à lista de autorização como uma isenção. 

Uma ferramenta SEO externa que rasteja uma página HubSpot

Se tentou rastejar as suas páginas HubSpot usando uma ferramenta externa de SEO como Moz ou Semrush, poderá descobrir que não consegue rastejar as suas páginas com sucesso.

As causas comuns para esta questão incluem: 

• A inclusão das suas páginas no ficheiro robots.txt está a impedir que sejam indexadas ou rastreadas. 
• Uma meta tag noindex no HTML da cabeça das suas páginas está a impedir que sejam indexadas ou rastejadas. 
• A auditoria de um domínio raiz, em vez do subdomínio ligado ao HubSpot, está a causar um erro de timeout.
• As ligações para feeds RSS e páginas de listagem de blogs expiram quando são publicados novos posts no blog, o que pode gerar erros de recursos bloqueados.
• Os recursos não essenciais, tais como os scripts que carregam o menu da roda dentada HubSpot, podem provocar erros de recursos bloqueados. Isto não impede que o resto da página seja rastejada.