Localizar tu archivo robots.txt
En tu Panel de HubSpot, selecciona Contenido > Configuración de Contenido.
Desplázate hacia abajo hasta llegar a las opciones de publicación de página, donde encontrarás la sección robots.txt.

Personalizar la sección robots.txt
Si no sabes cómo funcionan los archivos robots.txt, consulta la documentación en http://www.robotstxt.org. También puedes usar una herramienta de generación de robots.txt como esta.
Ejemplo: excluir todos los archivos excepto uno
Imaginemos que quieres excluir ciertos archivos con tu archivo robots.txt. A continuación podrás ver un ejemplo de robotstxt.org (si quieres ver más, visita esta página).
No existe el campo o funcionalidad allow (permitir) en un archivo robots.txt, así que la manera más fácil de excluir archivos es colocarlos a todos en un directorio separado de disallow (no permitir) con un nombre como “cosas” y dejar un solo archivo en el nivel superior a este directorio:
User-agent: * Disallow: /~joe/stuff/
De manera alternativa, puedes dejar de permitir todas las páginas que no estén permitidas:
User-agent: * Disallow: /~joe/junk.html Disallow: /~joe/foo.html Disallow: /~joe/bar.html
Guardar los cambios
Haz clic en el botón Guardar Cambios para terminar de actualizar el archivo robots.txt.
