上次更新时间： 2025年10月10日
您可以在robots.txt 文件中添加 URL 标头，防止新内容出现在搜索结果中。搜索引擎使用这些文件来了解如何索引网站内容。在 robots.txt 文件中，包含hs-sites 的HubSpot 系统域上的内容总是被设置为禁止索引。
如果搜索引擎已经索引了你的内容，你可以在内容的 HTML 头部添加 "noindex "元标签。这将告知搜索引擎停止在搜索结果中显示该内容。
请注意： 只有连接到 HubSpot 的域上的内容才能在 robots.txt 文件中被阻止。了解有关在文件工具中自定义文件URL的更多信息。
使用robots.txt文件
您可以将尚未被搜索引擎收录的内容添加到 robots.txt 文件中，以防止其显示在搜索结果中。
在 HubSpot 中编辑 robots.txt 文件：
-
在 HubSpot 帐户中，单击顶部导航栏中的 “设置”图标。
-
在左侧边栏菜单中，导航至内容 >页面。
- 选择要编辑 robots.txt 文件的域：
- 要编辑所有已连接域的 robots.txt 文件，请单击 "选择一个域以编辑其设置 "下拉菜单，然后选择 "所有域的默认设置（默认选择）"。
- 要编辑特定域的 robots.txt 文件，请单击 "选择一个 域以编辑其设置 "下拉菜单并选择该域。如有必要，单击覆盖默认设置。这将覆盖该域的 robots.txt 默认设置。
- 单击搜索引擎优化和爬虫选项卡。
- 在Robots.txt部分，编辑文件内容。robots.txt 文件有两个部分：
- User-agent：定义规则适用的搜索引擎或网络机器人。默认情况下，这将被设置为包括所有搜索引擎，显示为星号（*），但你也可以在此指定特定的搜索引擎。如果使用 HubSpot 的网站搜索模块，则需要将 HubSpotContentSearchBot 作为单独的用户代理。这将允许搜索功能抓取你的页面。
- 禁止：告诉搜索引擎不要抓取和索引任何使用特定 URL 标头的文件或页面。对于要添加到 robots.txt 文件的每个页面，输入 Disallow：/url-slug（例如，www.hubspot.com/welcome 将显示为 Disallow: /welcome）。
- 完成后，单击左下角的保存。
有关 robots.txt 文件格式的更多信息，请参阅Google 开发人员文档。
使用 "noindex "元标签
如果内容已经被搜索引擎收录，可以添加 "noindex "元标签，指示搜索引擎今后停止收录该内容。
请注意： 此方法不应与 robots.txt 方法结合使用，因为这会阻止搜索引擎看到 "noindex "标签。
在页面和文章中添加 "noindex "元标签
-
导航至您的内容：
- 网站页面：在 HubSpot 帐户中，导航到内容 > 网站页面。
- 登陆页面：在 HubSpot 帐户中，导航到内容 > 登陆页面。
- 博客：在 HubSpot 帐户中，导航到内容 > 博客。
- 单击内容名称。
- 在内容编辑器中，单击右上角的设置 。
- 在对话框中，单击左侧边栏菜单的 "高级"。
- 在 "附加代码片段"部分，在 "头部 HTML "字段中输入以下代码：
<meta name="robots" content="noindex">.
- 单击X关闭设置对话框。
- 单击右上角的 "更新 " 或 "发布" ，即可实时更新 更改。
为知识库文章添加 "noindex "元标签
- 在 HubSpot 帐户中，导航到服务 > 知识库。
- 单击内容名称。
- 在文章编辑器中，单击右上角的设置。
- 在对话框中，单击左侧边栏菜单中的高级选项。
- 在 "附加代码片段"部分，在 "头部 HTML "字段中输入以下代码：
<meta name="robots" content="noindex">.
- 单击X关闭设置对话框。
- 单击右上角的 "更新 " 或 "发布" ，即可将更改生效。
如果您有Google Search Console 账户 ，可以使用 Google 的 "移除工具"加快 Google 搜索结果的移除过程。
