您网站上的某些内容对于搜索引擎索引来说不是必需的。为了防止某些页面被索
引，您可以使用 robots 元标记或 xrobots-tag。
Robots 和 robotstxt 元标
记被错误使用的情况并不少见。这会导致混乱、冲突的指令，无法实现预期的结果：阻止页面被索引。
在本指南中，我们希望帮助您了解如何使用 robots 和 x-robots-tag 元标记来控制您网站内容的索引并识别最常见的错误。
具体来说，我们将看到：
- 什么是 robots 元标记？
- 了解 Robots Meta 标签属性和指令
- Robots Meta 标签代码示例
- 使用 Robots Meta 标签来控制代码片段
- 什么是X‑Robots-Tag？
- 如何设置 robots 元标签和 X-Robots-Tag
- Meta Robots 的常见错误
什么是 robots 元标记？
robots 元标记（也称为 robots 标签）是一段 HTML 代码，放置在网页的 <head> </head> 部分，用于控制搜索引擎如何抓取和索引 URL。
以下是页面源代码中的 robots 元标记：
<meta name="robots" content="noindex" />这些标签是特定于页面的，允许您指示搜索引擎如何处理该页面以及是否将其包含在索引中。
robots 元标记有何用途？
Robots 元标记用于控制 Google 如何索引您的网页内容。这包括以下决定：
- 是否在搜索结果中包含页面
- 是否跟踪页面上的链接（即使 购买批量短信服务 该页面已被阻止编入索引）
- 请求不在页面上索引图像
- 请求不在 SERP 中显示网页的缓存结果
- 请求不在 SERP 中显示页面的摘要（元描述）
要了解如何使用 robots 元标记，我们需要查看不同的属性和指令。我们还将分享一些代码示例，您可以将其插入到页眉中，以提示搜索引擎以某种方式为您的页面编制索引。
对您的网站进行技术审核
使用 Semrush 网站审核工具
了解 Robots Meta 标签属性和指令
一旦您理解了如何设置两个属性：名称和内容，使用 robots 元标记就非常简单了。这两个属性都是必需的，因此您 渠道：将电子邮件与社交相结合 需要为每个属性设置一个值。
让我们更详细地了解这些属性。
姓名
name 属性控制哪些爬虫和机器人（用户代理，也称为 UA）应遵循 robots 元标记中的说明。
要指示所有爬虫遵循说明，请使用：
名称=“机器人”
在大多数情况下，我们建议将其用作默认值，但您可以根据需要使用任意数量的不同 robots 元标记来为不同的爬虫指定指令。
当你想要训练多个爬虫时，只需使用多个标签：
- Google：Googlebot（您可以在此处查看完整的 Google 爬虫列表）
- Bing：Bingbot（你可以在这里看到完整的 Bing 爬虫列表）
- DuckDuckGo：DuckDuckBot
- 百度：Baiduspider
- Yandex：YandexBot
内容
内容属性用于向指定的用户代理提供指令。
重要的是要知道，如果您没有在网页上指定 robots 元标记，则默认为索引该页面并跟踪所有链接（除非它们具有内联指定的 rel=”nofollow” 属性）。
您可以使用的不同指令包括：
- index（包含索引中的页面）[注意：如果没有指定noindex，则不需要包含此项，否则假定为索引]
- noindex（不将该页面纳入索引或在 SERP 中显示）
- 关注（关注页面上的链接来发现其他页面）
- nofollow（不跟随页面上的链接）
- none（指定 noindex、nofollow 的简写）
- 全部（指定索引的快捷 博目录 方式，请关注）
- noimageindex（不索引页面上的图像）
- noarchive（不在 SERP 中显示页面的缓存版本）
- nocache（与 noarchive 相同，但仅适用于 MSN）
- nositelinkssearchbox（不在 SERP 中显示您网站的站点链接搜索框）
- nopagereadaloud（不允许语音服务大声朗读您的页面）
- notranslate（不在 SERP 中显示页面翻译）
- unavailable_after（指定页面不应被索引的时间）
您可以在此处查看 Google 支持的指令完整列表，并在此处查看Bing 支持的指令完整列表。