Desplázate hacia abajo hasta llegar a las opciones de publicación de página, donde encontrarás la sección robots.txt.
Guardar los cambios
Haz clic en el botón Guardar Cambios para terminar de actualizar el archivo robots.txt.
Última actualización: August 9, 2018
Puedes personalizar el contenido del archivo robots.txt para las páginas de tu sitio web en las opciones de publicación de páginas de tu dominio.
Realiza estos pasos para descubrir dónde y cómo personalizar el archivo robots.txt en HubSpot.
En tu Panel de HubSpot, selecciona Contenido > Configuración de Contenido.
Desplázate hacia abajo hasta llegar a las opciones de publicación de página, donde encontrarás la sección robots.txt.
Si no sabes cómo funcionan los archivos robots.txt, consulta la documentación en http://www.robotstxt.org. También puedes usar una herramienta de generación de robots.txt como esta.
Imaginemos que quieres excluir ciertos archivos con tu archivo robots.txt. A continuación podrás ver un ejemplo de robotstxt.org (si quieres ver más, visita esta página).
No existe el campo o funcionalidad allow (permitir) en un archivo robots.txt, así que la manera más fácil de excluir archivos es colocarlos a todos en un directorio separado de disallow (no permitir) con un nombre como “cosas” y dejar un solo archivo en el nivel superior a este directorio:
User-agent: * Disallow: /~joe/stuff/
De manera alternativa, puedes dejar de permitir todas las páginas que no estén permitidas:
User-agent: * Disallow: /~joe/junk.html Disallow: /~joe/foo.html Disallow: /~joe/bar.html
Haz clic en el botón Guardar Cambios para terminar de actualizar el archivo robots.txt.