10 月 30 日，OpenAI、谷歌、微软和 Anthropic 一起表态，支持 robots.txt 里的一个共用标签。新闻标题很容易读成：网站终于能一键拒绝 AI 抓取了。
但这份由 Anthropic 标准负责人 Kevin Kelley 提交给 IETF 的草案，自己在第 4.4 节写了一句相反的话：“This policy token is not a directive for crawling behavior.” 它不是抓取指令。IETF
写法很简单：
```
User-Agent: __usage_ai-training
Disallow: /
```
意思不是“别来”，而是“抓走之后，别拿去训练生成式模型”。草案沿用 robots.txt 原有的语法，只加了一个按用途命名的标签；而且必须单独写这个组，`User-Agent: *` 不算，不写就等于没表态，不是默认禁止。以前网站要分别写 GPTBot、Google-Extended、ClaudeBot，现在四家参与方认同一个标签，省掉了逐家查名字的麻烦。
省事，不等于管用。robots.txt 一直管的是爬虫能不能来，新标签管的是内容被拿走之后能做什么。草案说得很清楚：它不是访问控制；如果一家公司只做训练抓取，它可以自己选择不来，但那是它的执行决定，不是协议替所有爬虫关门。谷歌补了一句：用新标签退出训练、又没单独点名 Google-Extended 的网站，会被当作屏蔽 Google-Extended 处理，但这不影响它进谷歌搜索。微软也说，这些设置管的是内容怎么用，不是爬虫能不能来。就算写了 Allow，也覆盖不了禁止 Bingbot 抓取的规则。微软
第一道分界在这里：拒绝训练，不等于拒绝被抓，也不等于拒绝被搜到。
就算你分清了访问和训练，还有一层：新标签管的是把内容拿去改模型参数；AI 在回答里实时检索、引用你的文章，是另一回事（微软叫 grounding，意思是给回答找依据）。微软单独做了一个页面级开关，分 Allow、DisallowExtended、Disallow 三档，只能写在页面的 meta 标签或 HTTP 响应头里；谷歌那边则是，明确允许 Google-Extended 的网站，才有资格出现在 Gemini 的回答和点击里。只想关训练、还想被引用的人，得分别配置；以为写一行就全关了，反而可能把引用一起关掉。
再往前一步，是时间。草案说，偏好按内容被抓取时生效的那份 robots.txt 判断；它管的是此后被抓取的内容，不翻旧账。已经抓走、已经训进模型的内容，不会因为今天补写一行就被删掉。它也不建立授权，不规定付费，不提供违约后果；草案甚至写明，私下协议可以覆盖这个机器可读的偏好。
它现在还不是“标准”。这是 Kevin Kelley 的个人草案，编号 draft-kelley-aipref-training-preference-signal-00，2026 年 10 月 30 日提交，2027 年 5 月 3 日到期，没经过 IETF 工作组正式采纳，措辞和语法都可能变。
四家的时间表也不一样：Anthropic 说已开始实施；OpenAI 说未来几个月；微软定在 2027 年 2 月 1 日，旧的 NoArchive 和 NoCache 到 2027 年 3 月 1 日就不再被当作训练或引用偏好；谷歌的目标是 2027 年。Meta 表示支持这个方向，但没有承诺落实这个标签。今天写下这行字，不会立刻发生什么。谷歌The Verge
那它到底改变了什么？过去，一个网站想拒绝训练，得先认得每一家公司的爬虫名，再逐家写规则；现在至少有了一个共同的说法。它把“逐家谈判”往“标准化表达”推了一步，让中小网站也能用较低成本说“不”。但它给的是一句可说的“不”，不是一份可执行的合同。它没有回答“用了要不要付钱”，也没有回答“不遵守会怎样”。四家说，遇到这个标签会限制自己的 AI 爬虫访问；可这只是参与方的自愿执行，不是所有爬虫都认，也不是法律义务。
回到最初的问题：设了拒绝抓取，AI 就不会抄走内容了吗？如果你说的“抄”是训练，参与的四家可能会停；如果你说的“抄”是搜索收录、回答引用，或者已经被训进模型的那部分，这行字管不到。它划出的边界不是“能进”和“不能进”，而是“抓走之后能拿来做什么”。这条边界很重要，因为它第一次把“训练”从“访问”里拆了出来；但它也很窄，窄到只覆盖一种用途、一段未来、四家公司，以及愿意遵守的人。
真要保护内容，robots.txt 只是其中一层。合同、授权、诉讼、访问控制，该用还得用。新标签能帮你把话说清楚，但听不听，仍然在对方。
