防止内容出现在搜索结果中

通过将 URL 短链接添加到robots.txt 文件中，可防止新内容出现在搜索结果中。搜索引擎会利用这些文件来了解如何对网站内容进行索引。HubSpot 系统域名中包含“hs-sites” 的内容，在 robots.txt 文件中始终被 设置为“no-index”。

如果搜索引擎已经对您的内容进行了索引，您可以在内容的 HTML 头部添加一个“noindex”元标签。这将指示搜索引擎停止在搜索结果中显示该内容。

请注意：只有 托管在与 HubSpot 关联的域名上的内容才能在 robots.txt 文件中被屏蔽。了解有关在“文件”工具中自定义文件 URL 的更多信息。

使用 robots.txt 文件

将尚未被搜索引擎收录的内容添加到 robots.txt 文件中，以防止其在搜索结果中显示。

要在 HubSpot 中编辑 robots.txt 文件：

1. 在 HubSpot 帐户中，单击顶部导航栏中的 “设置”图标。

2. 在左侧边栏菜单中，导航至“内容” > “页面”。

3. 选择您要编辑其 robots.txt 文件的域名：
   • 若要编辑所有关联域名的 robots.txt 文件，请点击“选择要编辑其设置的域名”下拉 菜单，并选择“所有域名的默认设置”（默认已选中）。
   • 若要编辑特定域名的 robots.txt 文件，请点击“选择要编辑其设置的域名”下拉菜单 并选择该域名。如有必要，请点击“覆盖默认设置”。这将覆盖该域名的任何 robots.txt 默认设置。
4. 点击“SEO 与爬虫”选项卡。
5. 在“Robots.txt”部分，编辑文件内容。robots.txt 文件包含两个部分：
   • User-agent：定义规则适用的搜索引擎或网络爬虫。默认情况下，此项将设置为包含所有搜索引擎（用星号 (*) 表示），但您可以在此处指定特定的搜索引擎。 如果您正在使用 HubSpot 的网站搜索模块，则需要将 HubSpotContentSearchBot 作为单独的用户代理添加进来。这样才能允许搜索功能抓取您的页面。
   • Disallow：指示搜索引擎不要抓取和索引任何使用特定 URL 路径的文件或页面。对于您想要添加到 robots.txt 文件中的每个页面，请输入 Disallow: /url-slug（例如，www.hubspot.com/welcome 将显示为 Disallow: /welcome）。
6. 完成后，点击左下角的“保存”。

有关 robots.txt 文件格式的更多信息，请参阅Google 开发者文档。

使用“noindex”元标签

如果内容已被搜索引擎收录，您可以添加“noindex”元标签，以指示搜索引擎今后停止对其进行收录。

请注意：此 方法不应与 robots.txt 方法结合使用，否则会阻止搜索引擎识别“noindex”标签。

在页面和文章中添加“noindex”元标签

1. 导航至您的内容：

   • 网站页面：在你的 HubSpot 帐户中，单击更多，然后导航到内容 > 网站页面。如果你的帐户中未显示更多，请直接导航到内容 > 网站页面。
   • 着陆页：在你的 HubSpot 帐户中，单击更多，然后导航到内容 > 登陆页面。如果你的帐户中未显示更多，请直接导航到内容 > 登陆页面。
   • 博客：在您的 HubSpot 账户中，点击更多，然后导航至内容 > 博客。如果您的账户中未显示更多，请直接导航至内容 > 博客。
2. 点击内容名称。
3. 在内容编辑器中，点击右上角的“设置” 。
4. 在对话框中，点击左侧边栏菜单中的“高级”。
5. 在“其他代码片段”部分，将以下代码输入到“HTML 头部”字段中 ：<meta name="robots" content="noindex"> 。

6. 点击“X”关闭设置对话框。
7. 要使更改生效，请点击右上角 的 “更新”或 “发布” 。

在知识库文章中添加“noindex”元标签

1. 在你的 HubSpot 帐户中，单击更多，然后导航到服务 > 知识库。如果你的帐户中未显示更多，请直接导航到服务 > 知识库。
2. 点击您的内容名称。
3. 在文章编辑器中，点击右上角的“设置”。
4. 在对话框中，点击左侧边栏菜单中的“高级选项”。
5. 在“其他代码片段”部分，将以下代码输入到“HTML 头部”字段中 ： <meta name="robots" content="noindex"> 。

6. 点击“X”关闭设置对话框。
7. 要使更改生效，请点击右上角 的 “更新”或 “发布” 。

内容仍会出现在搜索结果中

添加 noindex 标签或更新 robots.txt 文件后，搜索引擎需要时间重新抓取并从索引中移除您的内容。如果您的内容仍出现在搜索结果中，请确认以下事项：

• 页面访问权限：页面必须对公众开放，搜索引擎才能对其进行抓取。私有或受密码保护的页面不会被抓取，这将导致 noindex 标签无法被读取。
• HTML 头部：检查页面设置中的“HTML 头部”字段以及页面源代码，确认 noindex 标签已保存且在页面上正确显示。
• robots.txt 冲突：检查您的 robots.txt 文件，确认没有“Disallow”规则阻止搜索引擎访问该页面。如果搜索引擎被阻止抓取该页面，它们将无法读取 noindex 标签。

若要加快 Google 搜索结果的移除速度，请使用Google 搜索控制台的“移除工具”。