上次更新时间： 2026年7月28日
通过将 URL 短链接添加到robots.txt 文件中，可防止新内容出现在搜索结果中。搜索引擎会利用这些文件来了解如何对网站内容进行索引。HubSpot 系统域名中包含“hs-sites” 的内容，在 robots.txt 文件中始终被 设置为“no-index”。
如果搜索引擎已经对您的内容进行了索引，您可以在内容的 HTML 头部添加一个“noindex”元标签。这将指示搜索引擎停止在搜索结果中显示该内容。
请注意：只有 托管在与 HubSpot 关联的域名上的内容才能在 robots.txt 文件中被屏蔽。了解有关在“文件”工具中自定义文件 URL 的更多信息。
使用 robots.txt 文件
将尚未被搜索引擎收录的内容添加到 robots.txt 文件中，以防止其在搜索结果中显示。
要在 HubSpot 中编辑 robots.txt 文件：
-
在 HubSpot 帐户中，单击顶部导航栏中的
“设置”图标。 -
在左侧边栏菜单中，导航至“内容” > “页面”。
- 选择您要编辑其 robots.txt 文件的域名：
- 若要编辑所有关联域名的 robots.txt 文件，请点击“选择要编辑其设置的域名”下拉 菜单，并选择“所有域名的默认设置”（默认已选中）。
- 若要编辑特定域名的 robots.txt 文件，请点击“选择要编辑其设置的域名”下拉菜单 并选择该域名。如有必要，请点击“覆盖默认设置”。这将覆盖该域名的任何 robots.txt 默认设置。
- 点击“SEO 与爬虫”选项卡。
- 在“Robots.txt”部分，编辑文件内容。robots.txt 文件包含两个部分：
- User-agent：定义规则适用的搜索引擎或网络爬虫。默认情况下，此项将设置为包含所有搜索引擎（用星号 (*) 表示），但您可以在此处指定特定的搜索引擎。 如果您正在使用 HubSpot 的网站搜索模块，则需要将 HubSpotContentSearchBot 作为单独的用户代理添加进来。这样才能允许搜索功能抓取您的页面。
- Disallow：指示搜索引擎不要抓取和索引任何使用特定 URL 路径的文件或页面。对于您想要添加到 robots.txt 文件中的每个页面，请输入 Disallow: /url-slug（例如，www.hubspot.com/welcome 将显示为 Disallow: /welcome）。
- 完成后，点击左下角的“保存”。
有关 robots.txt 文件格式的更多信息，请参阅Google 开发者文档。
使用“noindex”元标签
如果内容已被搜索引擎收录，您可以添加“noindex”元标签，以指示搜索引擎今后停止对其进行收录。
请注意：此 方法不应与 robots.txt 方法结合使用，否则会阻止搜索引擎识别“noindex”标签。
在页面和文章中添加“noindex”元标签
-
导航至您的内容：
- 点击内容名称。
- 在内容编辑器中，点击右上角的“设置” 。
- 在对话框中，点击左侧边栏菜单中的“高级”。
- 在“其他代码片段”部分，将以下代码输入到“HTML 头部”字段中 ：
<meta name="robots" content="noindex">。
- 点击“X”关闭设置对话框。
- 要使更改生效，请点击右上角 的 “更新”或 “发布” 。
在知识库文章中添加“noindex”元标签
- 在你的 HubSpot 帐户中，单击更多，然后导航到服务 > 知识库。如果你的帐户中未显示更多，请直接导航到服务 > 知识库。
- 点击您的内容名称。
- 在文章编辑器中，点击右上角的“设置”。
- 在对话框中，点击左侧边栏菜单中的“高级选项”。
- 在“其他代码片段”部分，将以下代码输入到“HTML 头部”字段中 ：
<meta name="robots" content="noindex">。
- 点击“X”关闭设置对话框。
- 要使更改生效，请点击右上角 的 “更新”或 “发布” 。
内容仍会出现在搜索结果中
添加 noindex 标签或更新 robots.txt 文件后，搜索引擎需要时间重新抓取并从索引中移除您的内容。如果您的内容仍出现在搜索结果中，请确认以下事项：
- 页面访问权限：页面必须对公众开放，搜索引擎才能对其进行抓取。私有或受密码保护的页面不会被抓取，这将导致 noindex 标签无法被读取。
- HTML 头部：检查页面设置中的“HTML 头部”字段以及页面源代码，确认 noindex 标签已保存且在页面上正确显示。
- robots.txt 冲突：检查您的 robots.txt 文件，确认没有“Disallow”规则阻止搜索引擎访问该页面。如果搜索引擎被阻止抓取该页面，它们将无法读取 noindex 标签。
若要加快 Google 搜索结果的移除速度，请使用Google 搜索控制台的“移除工具”。
