Observação: essas instruções impedirão que uma URL de página seja indexada para pesquisas. Saiba como personalizar uma URL de arquivo na ferramenta de arquivos para bloqueá-la dos mecanismos de busca.
Arquivo Robots.txt
Seu arquivo robots.txt é um arquivo em seu site que os rastreadores de mecanismos de pesquisa leem para ver quais páginas devem e não devem indexar. Saiba como configurar seu arquivo robots.txt no HubSpot.
O Google e outros mecanismos de busca não têm a capacidade de remover páginas dos resultados retroativamente depois de implementar o método de arquivo robots.txt. Embora isso diga aos bots para não rastrear uma determinada página, os mecanismos de busca ainda poderão indexar seu conteúdo (por exemplo, se houver links de entrada de outros sites para a sua página). Se sua página já foi indexada e você quiser removê-la dos mecanismos de busca retroativamente, é recomendado usar o método de meta tag “Sem índice”.
Meta tag "Sem índice"
Observação: se vocês optar por usar o método de meta tag "Sem índice", esteja ciente de que ele não deve ser combinado com o método do arquivo robots.txt. Os mecanismos de pesquisa precisam começar a rastrear a página para ver a meta tag "Sem índice" e o arquivo robots.txt impede o rastreamento.
Uma meta tag "Sem índice" é uma cadeia de código inserida na seção de cabeçalho do HTML de uma página que informa aos mecanismos de pesquisa para não indexar a página.
- Na sua conta da HubSpot, acesse as páginas de website, páginas de destino, ou blog.
- Clique no nome de uma página específica ou post de blog.
- No editor de conteúdo, clique na guia Configurações.
- Clique em Opções avançadas.
- Na seção Cabeçalho do HTML, copie e cole o seguinte código:
<meta name="robots" content="noindex">
Google Search Console
Se você tiver uma conta do Google Search Console , poderá enviar uma URL para ser removida dos resultados de pesquisa do Google. Observe que isso se aplica apenas aos resultados de pesquisa do Google.Se quiser bloquear arquivos no gerenciador de arquivos do HubSpot (por exemplo, um documento PDF), para que não sejam indexados por mecanismos de pesquisa, selecione um subdomínio conectado para os arquivos e use a URL do arquivo para bloquear os rastreadores da Web.
Como o HubSpot trata as solicitações de um agente do usuário
Se você estiver configurando uma string do agente do usuário para testar o rastreamento do seu site e estiver vendo uma mensagem de acesso negada, esse é o comportamento esperado. O Google ainda está rastreando e indexando seu site.
O motivo pelo qual você vê esta mensagem é porque o HubSpot permite apenas solicitações do agente do usuário googlebot provenientes de IPs de propriedade do Google. Para proteger sites hospedados no HubSpot de invasores ou spoofers, as solicitações de outros endereços IP serão negadas. A HubSpot também faz isso para outros rastreadores de mecanismos de pesquisa, como BingBot, MSNBot e Baiduspider.