10月30日，OpenAI、谷歌、微软、Anthropic四家公司先后表态，支持同一个robots.txt退出信号`__usage_ai-training`：网站主只需在robots.txt里加写一个User-Agent组，就能一次性向四家AI公司声明“别拿我的内容训练模型”，不必再给GPTBot、Google-Extended、ClaudeBot逐个写规则，这是各大厂商第一次在内容退出机制上统一到同一个格式。IT之家
但在动手添加之前，先弄清这个热点里最大的误会：这项标准退出的是“AI训练”，不是“AI抓取”。它不阻止爬虫抓取页面，也不影响搜索收录，声明的只是：今后抓走的内容，不要拿去调整生成式模型的参数。草案把自己的性质写得很清楚：a usage preference, not an access control——一份使用偏好，不是访问控制。知乎
写法：通配组不算数
两行就是一个退出声明：
```
User-Agent: __usage_ai-training
Disallow: /
```
也可以用`Allow:`留出例外目录，草案自带的例子就是整站拒绝、仅放行新闻资料包；路径规则沿用robots.txt既有的RFC 9309标准，没有新增指令。两个容易做错的点：只有显式写出这个token的组才表达训练偏好，`User-Agent: *`式的通用屏蔽不算数。不认识该token的老解析器会整组忽略，不影响其他规则；各家专属爬虫规则继续有效，新旧声明冲突时，按草案以更具体者优先。知乎
没有一家今天生效：四家时间表差得很远
Anthropic已开始落地，微软的执行日期定于2027年2月1日，谷歌与OpenAI则承诺在2027年内跟进。微软同时给出了迁移安排：沿用多年的NoArchive/NoCache旧标记，2027年3月1日之后不再被当作训练或引用偏好来读。Meta没有出现在承诺名单里——它在社交平台上表态支持统一信号的方向，但没有承诺落实这一个标识。微博
还要看清这个“标准”目前的地位：它是一份提交给IETF的个人草案，由Anthropic的Kevin Kelley在10月30日提交，未经IETF正式背书，2027年5月到期前语法仍可能修订。把它说成“已通过的正式标准”，是目前传播中最常见的一处夸大。知乎
真正的坑：退出训练和退出引用，是两个决定
AI使用网站内容的方式其实有两种：训练是把内容学进模型参数；引用是AI回答问题时实时检索并引你的页面。这个开关只管前者，微软为此单独提供了页面级的引用（grounding）开关，写在meta标签或响应头里，可分三档设置。微软同时提醒：拒绝引用会显著降低内容在AI生成体验中的可见度，但不改变它在必应搜索结果里的位置。知乎
谷歌那边的规则联动更微妙：网站若只用新信号退出、没有单独处理Google-Extended，谷歌会把它当作屏蔽Google-Extended处理——收录照旧，但内容基本退出Gemini回答的引用。也就是说，动手加那行之前，得先想清楚：你是只想拒绝训练，还是连带要不要AI引用带来的流量。知乎
管住什么、管不住什么：一份不追溯的自愿协定
三条边界值得记住。不追溯：偏好以抓取当时生效的robots.txt为准，已经抓走、已经训进模型的内容，这行字追不回来。不约束旁观者：遵守完全靠自愿，没有验证和惩罚机制，网站与厂商的私下协议还可以覆盖它；微软也已明确，新偏好不确立授权或付费关系。知乎知乎
即便如此，这一步仍然有实际分量。对中小网站，退出的成本从“先认全各家爬虫的名字、逐家写规则”降为“写对一个标识”；对四家公司，这是一次合规姿态——谷歌就把这一信号与欧盟AI法案下的GPAI行为准则直接挂钩，该准则把robots.txt视为发布者表达机器可读偏好的主要方式。微软必应方面的表态更直白：出版者不该在“被发现”和“决定AI如何用自己的作品”之间二选一。知乎
国内网站还需要一条单独的背景：这份承诺覆盖的是四家境外厂商，国内大模型厂商不在其中；国内生成式AI的训练合规走的是《生成式人工智能服务管理暂行办法》规定的义务，一行robots.txt声明替代不了那套要求。
一个token不会让AI公司停止学习，它只是让“不让你学”第一次有了统一的写法。这个开关能不能真正改变内容生态，要看2027年各家落地时，愿不愿意把“自愿遵守”变成可审计的承诺。
