防止内容出现在搜索结果中
上次更新时间: 二月 12, 2025
您可以在robots.txt 文件中添加 URL 标头,防止新内容出现在搜索结果中。搜索引擎使用这些文件来了解如何索引网站内容。在 robots.txt 文件中,包含hs-sites 的HubSpot 系统域上的内容总是被设置为禁止索引。
如果搜索引擎已经索引了你的内容,你可以在内容的 HTML 头部添加 "noindex "元标签。这将告知搜索引擎停止在搜索结果中显示该内容。
请注意: 只有连接到 HubSpot 的域上的内容才能在 robots.txt 文件中被阻止。了解有关在文件工具中自定义文件URL的更多信息。
使用robots.txt文件
您可以将尚未被搜索引擎收录的内容添加到 robots.txt 文件中,以防止其显示在搜索结果中。
在 HubSpot 中编辑 robots.txt 文件:
-
在 HubSpot 帐户中,单击顶部导航栏中的 settings“设置”图标。
-
在左侧边栏菜单中,导航至内容 >页面。
- 选择要编辑 robots.txt 文件的域:
- 要编辑所有连接域的 robots.txt 文件,请单击 "选择一个域以编辑其设置 "下拉菜单,然后选择 "所有域的默认设置"。
- 要编辑特定域的 robots.txt 文件,请单击 "选择一个域以编辑其设置 "下拉菜单并选择该域。如有必要,单击覆盖默认设置。这将覆盖该域的 robots.txt 默认设置。
- 单击搜索引擎优化和爬虫选项卡。
- 在Robots.txt部分,编辑文件内容。robots.txt 文件有两个部分:.
- User-agent:定义规则适用的搜索引擎或网络机器人。默认情况下,这将被设置为包括所有搜索引擎,显示为星号 (*),但你也可以在此指定特定的搜索引擎。如果使用 HubSpot 的网站搜索模块,则需要将HubSpotContentSearchBot作为单独的用户代理。这将允许搜索功能抓取你的页面。
-
- 禁止: 告诉搜索引擎不要抓取和索引任何使用特定 URL 标头的文件或页面。对于要添加到 robots.txt 文件的每个页面,输入 Disallow:/url-slug (例如, www.hubspot.com/welcome 将显示为Disallow: /welcome)。
- 在左下角单击保存。
在Google 开发人员文档中了解有关 robots.txt 文件格式的更多信息。
使用 "noindex "元标签
如果内容已经被搜索引擎收录,可以添加 "noindex "元标签,指示搜索引擎今后停止收录该内容。
请注意: 此方法不应与 robots.txt 方法结合使用,因为这会阻止搜索引擎看到 "noindex "标签。
在页面和文章中添加 "noindex "元标签
-
导航至您的内容:
- 网站页面:在 HubSpot 帐户中,导航到内容 > 网站页面。
- 登陆页面:在 HubSpot 帐户中,导航到内容 > 登陆页面。
- 博客:在 HubSpot 帐户中,导航到内容 > 博客。
- 单击内容名称。
- 在内容编辑器中,单击 "设置 "菜单并选择 "高级"。
- 在对话框的 "附加代码片段"部分,在 "头部 HTML "字段中添加以下代码:
<meta name="robots" content="noindex">
.
- 单击右上角的 "更新" ,即可启用此更改。
在知识库文章中添加 "noindex "元标签
-
在 HubSpot 帐户中,导航到内容 > 知识库。
- 单击内容名称。
- 在文章编辑器中,单击 "设置"选项卡,然后单击 "高级选项"。
- 在 "附加代码片段"部分,在 "头部 HTML "字段中添加以下代码:
<meta name="robots" content="noindex">
.
- 在右上角单击 "更新 " 将此更改生效。
如果您有Google Search Console 账户 ,可以使用 Google 的 "移除工具"加快 Google 搜索结果的移除过程。