当地时间10月31日，OpenAI、谷歌、微软等主要人工智能公司宣布将支持一项通用标准，让网站运营方可以一步阻止AI训练数据采集。 这套部署在网站robots.txt里的方案被称为“策略令牌信号”，但目前仍处于互联网工程任务组（IETF）的草案阶段。 在此之前，网站若想拒绝AI训练抓取，需要逐家设置规则。微博网易微博
这个信号解决什么：不再追着“新爬虫”跑，搜索也不必陪绑
统一标准首先是省事。 其次，它把搜索收录和训练抓取分开：网站可以继续出现在搜索引擎里，只把AI训练爬虫挡在门外。新信号也不推翻存量规则，原有的逐爬虫控制继续适用。微博微博
谁签了字、什么时候生效：节奏差得很远
四家公司均称，自家AI爬虫遇到这个令牌后会停止访问对应站点。 但兑现时间线差别明显：Anthropic已经实施，谷歌与微软计划明年跟进，OpenAI称将在数月内支持，Meta尚未确认是否参与。 OpenAI还在推动同行加入，呼吁其他AI提供商一同遵守。网易微博微博
为什么企业愿意把“关”按钮交出去
直接的推动力是持续的诉讼压力，多家媒体与出版机构就未经授权采集训练数据起诉AI企业。 官司已经打上真金白银的价签：Anthropic提交的法庭文件显示，该公司将支付至少15亿美元和解作家们的集体版权诉讼。微博36氪
和解桌的另一边是授权生意：新闻集团与OpenAI签署了为期5年、价值约2.5亿美元的授权协议。36氪
国内内容方同样在划线：2026年4月，《证券时报》《上海证券报》等7家财经媒体集中发布版权声明，禁止未经授权的AI抓取和大模型训练。 拒绝之外其实早有收费选项：业界已有RSL授权许可标准允许出版商向爬虫收费，Cloudflare也已默认拦截AI爬虫。36氪网易
对企业来说，统一退出信号未必是退让：它把“谁授权、谁拒绝”变成白纸黑字的显性规则，模糊的抓取争议转化为可公开核验的立场。有报道引述机构评价，称这是朝着开放互联网迈出的一步，让网站所有者能更清晰地表达内容如何被使用。 微软则强调，网站运营方不应被迫在“让内容出现在必应搜索结果中”和“决定生成模型如何使用其作品”之间做选择。微博微博
三道关：最难的是执行
即便承诺全部兑现，这套标准的效力仍要过三道关。第一关已经写明：它还是IETF草案，不是定稿；第二关是各公司节奏不一，Meta至今没有给出执行承诺——报道显示Meta表态支持建立统一信号，但未承诺实际执行。 第三关最硬：robots.txt靠爬虫自律，出版界的判断或许可以类比——对有组织的数据采集团队而言，警示文字更接近一份“君子约定”。 同类机制早有先例：2024年，百度百科修改robots.txt屏蔽谷歌、必应等大多数搜索引擎，外界解读正是为了防止内容被抓取用于训练AI。网易36氪微博
更现实的问题是违规难被抓现行：最大的难点在于举证，普通人很难拿到AI企业内部的训练数据集来证明你的内容进了模型。 也要把信号边界看清：它申明的是内容是否用于模型训练的偏好，不等于全面禁止AI访问。 有知乎评论点得更直白：这说的是训练，不是不给AI访问，日常访问和搜索式使用仍按老规则运行。36氪微博知乎
对内容发布方而言，眼下能做的并不依赖这个新标准：现行robots.txt规则依然有效，拒绝哪些爬虫现在就能声明。真正值得盯住的是三个后续节点——IETF何时定稿、Meta会不会把“支持”换成“执行”、先行公司的实施会不会公开可查。信号已经把“退出”的选择权写进规则，但“执行”两个字，还要靠此后的动作填上。
