Personaliza tu archivo robots.txt

Los archivos Robots.txt se refieren a los motores de búsqueda para indexar el contenido de tu sitio web. Pueden ser útiles para mantener ciertos contenidos, como una oferta de contenido oculta detrás de un formulario, de ser devuelto en los resultados de los motores de búsqueda.

Ten en cuenta: Google y otros motores de búsqueda no pueden eliminar de manera retroactiva páginas de resultados después de implementar el método del archivo robots.txt. Si bien esto indica que los bots no rastrean una página, los motores de búsqueda aún pueden indexar tu contenido si, por ejemplo, hay enlaces inbound a tu página desde otros sitios web. Si tu página ya ha sido indexada y deseas que se elimine de manera retroactiva de los motores de búsqueda, probablemente querrás usar el método de la etiqueta meta "No Index". 

Cómo funcionan archivos robots.txt

Tu archivo robots.txt le informa a los motores de búsqueda de cómo rastrear las páginas alojadas en tu sitio web. Los dos componentes principales de tu archivo robots.txt son:

• Agente de usuario: Define el motor de búsqueda o el bot web que se aplica a una regla. Un asterisco (*) se puede usar como comodín con el agente de usuario para incluir todos los motores de búsqueda.  
• Disallow: Asigna un motor de búsqueda no para rastrear e indexar un archivo, página o directorio.

Para obtener más información sobre cómo configurar tus archivos robots.txt para los resultados de búsqueda de Google, echa un vistazo a la Documentación de desarrolladores de Google. También puedes usar una herramienta de generador robots.txt para crear tu archivo. 

Nota: para bloquear un archivo en tu administrador de archivos, personaliza el archivo para que esté alojado en uno de tus dominios. Luego puedes agregar la URL del archivo a tu archivo robots.txt. 

Actualiza tu archivo robots.txt en HubSpot

• En tu cuenta de HubSpot, haz clic en el símbolo de configuración settings, situado en la barra de navegación principal.

• En el menú de la barra lateral izquierda, navega a Sitio web > Páginas.

• Utiliza el menú desplegable Modificando para seleccionar un dominio para actualizar.

• Haz clic en la pestaña SEO y rastreadores.
• Desplázate hacia abajo hasta la sección Robots.txt y haz cambios en tu archivo robots.txt en el campo de texto.

• Haz clic en Guardar.

Nota: si usas el módulo de búsqueda del sitio de HubSpot en tu sitio web, un asterisco en el campo del agente de usuario bloqueará que la característica de búsqueda rastree tu sitio. Deberás incluir HubSpotContentSearchBot como agente de usuario en tu archivo robots.txt para permitir que la característica de búsqueda rastree tus páginas.