Cómo personalizar el archivo robots.txt

Última actualización: January 24, 2018

Requisitos

Add-ons: Sitio web

Puedes personalizar el contenido del archivo robots.txt para las páginas de tu sitio web en las opciones de publicación de páginas de tu dominio.

¿Qué puedes hacer con un archivo robots.txt para tu subdominio?

  • Evitar que los motores de búsqueda indexen las páginas de agradecimiento que tienen ofertas de contenido.
  • Evitar que los motores de búsqueda indexen las páginas de destino que se vinculan con campañas que envías solo por correo electrónico.
  • Evitar que los motores de búsqueda rastreen cualquier página que tiene contenido duplicado.

Realiza estos pasos para descubrir dónde y cómo personalizar el archivo robots.txt en HubSpot.

Localizar tu archivo robots.txt

En tu Panel de HubSpot, selecciona Contenido > Configuración de Contenido.

Desplázate hacia abajo hasta llegar a las opciones de publicación de página, donde encontrarás la sección robots.txt.

HubSpot Help article screenshot

Personalizar la sección robots.txt

Si no sabes cómo funcionan los archivos robots.txt, consulta la documentación en http://www.robotstxt.org. También puedes usar una herramienta de generación de robots.txt como esta.

Ejemplo: excluir todos los archivos excepto uno

Imaginemos que quieres excluir ciertos archivos con tu archivo robots.txt. A continuación podrás ver un ejemplo de robotstxt.org (si quieres ver más, visita esta página).

No existe el campo o funcionalidad allow (permitir) en un archivo robots.txt, así que la manera más fácil de excluir archivos es colocarlos a todos en un directorio separado de disallow (no permitir) con un nombre como “cosas” y dejar un solo archivo en el nivel superior a este directorio:

User-agent: *
Disallow: /~joe/stuff/

De manera alternativa, puedes dejar de permitir todas las páginas que no estén permitidas:

User-agent: *
Disallow: /~joe/junk.html
Disallow: /~joe/foo.html
Disallow: /~joe/bar.html

Guardar los cambios

Haz clic en el botón Guardar Cambios para terminar de actualizar el archivo robots.txt.

HubSpot Help article screenshot

Artículo anterior:

Certificación Inbound Marketing

Artículo siguiente: