尽管 Google 从未正式支持它，但可以向您网站的 robots.txt 文件添加 noindex 指令并获得所需的效果。
但如今情况已不再如此，谷歌已确认，施不再有效。
从站点地图中删除带有 Noindex 指令的页面
如果您尝试使用 noindex 指令从索引中删除 c级执行名单 某个页面，请将该页面保留在您网站的站点地图中，直至该操作完成。
在页面取消索引之前删除该页面可能会导致操作延迟。
意外阻止搜索引擎抓取整个网站
不幸的是，当网站转移到实时服务器时，测试环境中使用的 robots 指令被意外保留的情况并不少见。其结果可能是灾难性的。
在将任何站点从测试平台移动到实时环境之前，请仔细检查所有机器人指令是否正确。
根据 8 $ 允许美元搜索 根据 9 € 允许
欧元搜索 根据 10 在 允许按单位换算（货币、单位或度量）进行搜索 根据 11 ~ 前缀 – 包含同义词（可能已过时） 根据 是的 12 + 前缀 – 电子邮件服务提供商 电子邮件服务 强制对单个短语进行完全匹配 基本版，Gmail 是的 十三 日期范围： 返回指定范围内的结果（需要儒略日期） 先进的 是的 14 关联： 查找链接到目标域的页面 先进的 是的 15 锚： 查找与指定锚文本/短语链接的页面。数据大多是样本数据。 先进的 是的 16 allinachor： 查找包含传入锚文本中“inanchor:”后列出的所有单独术语的页面。
在迁移到实时平台之前，您可以使用 Semrush 的站点审核工具来查找被 robots 元标记或 x-robots-tag 阻止的页面。
花时间了解不同的指令及其使用方
法可以帮助您避免技术 SEO 错误。控制网页的抓取和索引方式可以帮助将不需要的网页排除在 SERP 之外，防止搜索引擎跟 博目录 踪不必要的链接，并让您控制网站片段的显示方式等等。开始设置您的 robots 元标签和 x-robots-tags 以确保您的网站顺利运行。