Desplázate hacia abajo hasta llegar a las opciones de publicación de página, donde encontrarás la sección robots.txt.
Guardar los cambios
Haz clic en el botón Guardar Cambios para terminar de actualizar el archivo robots.txt.
Última actualización: August 9, 2018
| Add-ons: | Sitio web |
Puedes personalizar el contenido del archivo robots.txt para las páginas de tu sitio web en las opciones de publicación de páginas de tu dominio.
Realiza estos pasos para descubrir dónde y cómo personalizar el archivo robots.txt en HubSpot.
En tu Panel de HubSpot, selecciona Contenido > Configuración de Contenido.
Desplázate hacia abajo hasta llegar a las opciones de publicación de página, donde encontrarás la sección robots.txt.
Si no sabes cómo funcionan los archivos robots.txt, consulta la documentación en http://www.robotstxt.org. También puedes usar una herramienta de generación de robots.txt como esta.
Imaginemos que quieres excluir ciertos archivos con tu archivo robots.txt. A continuación podrás ver un ejemplo de robotstxt.org (si quieres ver más, visita esta página).
No existe el campo o funcionalidad allow (permitir) en un archivo robots.txt, así que la manera más fácil de excluir archivos es colocarlos a todos en un directorio separado de disallow (no permitir) con un nombre como “cosas” y dejar un solo archivo en el nivel superior a este directorio:
User-agent: * Disallow: /~joe/stuff/
De manera alternativa, puedes dejar de permitir todas las páginas que no estén permitidas:
User-agent: * Disallow: /~joe/junk.html Disallow: /~joe/foo.html Disallow: /~joe/bar.html
Haz clic en el botón Guardar Cambios para terminar de actualizar el archivo robots.txt.