你明天打开 ChatGPT 或 Copilot，问一条昨天刚发生的新闻，它大概率还是会正常回答、正常给链接。哪怕那条链接来自一个刚宣布“禁止 AI 训练”的网站。
10 月 30 日，OpenAI、谷歌、微软和 Anthropic 表态支持同一个 robots.txt 共享信号。网站写一个组，就能同时告诉这几家：别拿我的内容训练模型。
```text
User-Agent: __usage_ai-training
Disallow: /
```
过去要挨个点名 GPTBot、Google-Extended、ClaudeBot，漏一个就等于没拒绝；现在四家都表态认它。等落地后，一个标记就能管四家，对站长是实打实的省事。IT时代网
但对用 AI 的人，它几乎不算一次产品更新。
因为这个标记退出的不是访问，是训练。草案原文说得很直接：“This policy token is not a directive for crawling behavior.” 这不是爬虫指令。 网站写了这行，AI 公司的爬虫照样能来抓页面，照样能在回答你问题时引用它。它只表达一个偏好：这些内容别拿去调整未来模型的参数。
还有一个更实际的细节：默认值。草案规定，robots.txt 里没有这个组，就算“没有表达偏好”。微软的博客写得更清楚：训练和引用两种设置，在没有声明时都默认为 Allow。 网站不主动写，AI 公司照常训练。所谓“统一退出门槛”，是一道选择题，不是自动门。微软必应博客
普通人有没有可能看到变化？有，但开关不在这里。
微软把“训练”和“grounding（引用回答）”拆成了两个独立设置。网站可以选“训练：Disallow，引用：Allow”——内容不进训练集，但仍然可以出现在 Copilot 的回答和引用里。微软自己给的示例就是这种组合。反过来，如果网站把引用也关掉，微软的警告是：内容在 AI 生成体验中的可见度会显著下降，但不影响它在必应搜索结果里的收录资格。
所以，在这套设置里，你在 AI 答案里看到某家网站消失、引用变少，通常只会发生在它主动关掉“引用”的时候。 关掉引用等于让出曝光，靠流量吃饭的网站得先算一笔账。更可能出现的组合是：拒绝训练，保留引用。结果是，网站一边说“别拿我训练”，AI 一边继续在回答里引它。你看到的那条答案，可能和今天一模一样。微软必应博客
时间表也说明，这件事不会在明天发生。Anthropic 已经实施，OpenAI 说未来几个月，微软和谷歌都把时间表放到了 2027 年；Meta 尚未确认是否参与。 微软给的日期最具体：2027 年 2 月 1 日。IT时代网微软必应博客
这份草案还是 Internet-Draft，不是正式 RFC；信号本身是自愿的，而且只管基础训练，不管检索和引用。 没有验证机制，也没有罚则。已经抓走、已经训进模型的内容，更不会因为这一行字被删掉。AGI Pulse
那长期有没有影响？如果足够多的高质量网站都拒绝训练，未来的模型可能更依赖主动授权的数据库、平台内容和愿意开放的站点。冷门话题、地方信息、独立作者的内容，可能会在模型的知识里变薄。真要对日常有感知，可能不是某天某个网站突然消失，而是冷门问题上的回答变得更笼统，或者翻来覆去只引那几个大站。
还有一层常被忽略：这个开关属于网站运营者，不属于普通创作者。你在公众号这类平台发的内容，robots.txt 通常由平台管，个人改不了；只有自己的独立站点，才能自己写这一行。 标准再统一，也不等于每个作者都拿到了开关。知乎
这项进展真正改变的，是内容供给端的管道：网站表达训练偏好的成本，从“逐家维护名单”降到“写对一个标记”；AI 公司也多了一种公开说“我们尊重网站选择”的方式。对普通用户，它不是一个能看见的开关。真正能看见的那个开关——要不要让 AI 引用你——至少在微软这套设置里，是另一个选项，而且关掉它要付出可见度代价。
在那之前，AI 答案提到关键结论时，点回原文看一眼，仍然是最直接的办法。这个标准管的是模型以后学什么，不管它今天说得对不对。
