你打开 Claude Code,感觉它这个月又强了一点。这种“感觉”一直没法量化——直到 11 月 5 日,一家第三方机构把它算成了数字,答案让人后背发凉。
机构叫 METR,非营利,专门研究前沿 AI 会不会失控。从 8 月中到 10 月底的约 11 周里,他们进入 Anthropic 内部翻模型成绩、训练算力和研发效率,还访谈了一批研究员。这趟评估相当于 2.5 个全职人力,没收钱。36氪微博
第一条结论关于速度。METR 用 AECI(Anthropic 版综合能力指数)测算,2025 年 10 月之后 Anthropic 模型的能力增速是此前的 1.9 倍,95% 置信区间为 1.5—2.8 倍。翻译成人话:过去一年走完了此前两年的路,相当于从 Claude 2.1 到 Sonnet 4.5 那么远。团队主观判断是“约 2 倍”,区间宽到 1.3 至 3 倍,内部有分歧。还有个对照很关键:把其他公司模型一起算进来,全行业只有约 1.4 倍。这不是“AI 都在起飞”,是 Anthropic 一家在加速。36氪

第二条结论关于原因,也是最扎人的那条。METR 能确定的是,这轮加速跟训练算力涨得更快无关,他们的猜测是大约八成来自“用 AI 研发 AI”。微博36氪

研究员的描述很具体。以前一个实验要花一两天才能实现,很多想法没验证就被搁置;现在可以把一堆想法直接丢给 Agent,看哪个值得追。有人说自己“仿佛有了博士后和研究生一起推进项目”,代码不再是瓶颈,卡住自己的变成了想法和算力。36氪
报告还抖出三个没发布的内部模型,代号 Model 2、3、4,分别在 7 月、8—9 月、9—10 月训练完成,最强的 Model 4 已超过 Opus 5.5。Model 4 的得分是 178.6,比 7 月训练完成的 Model 2 高出约 4.5 分。Anthropic 内部还在 Slack 上用表情投票,让员工估最新模型让自己快了几倍,10 月平均自评约 12 倍。量子位微博36氪

这里 METR 特意泼了盆冷水,值得每个喊“AI 让我效率翻十倍”的人抄下来:这只是很粗的证据,个人干活快几倍,不能直接换算成公司整体进步快几倍。微博
还有一句更该记住——最新内部模型在测过的每一项测试上得分都超过 50%,METR 说“难题快不够用了”,以后很难再这样测下去。跑分的区分度正在塌,下次挑工具别只信榜单。微博

然后是这份报告最别扭的地方:最有说服力的证据,被涂黑了。
METR 交了约 100 页完整版。按约定,公开版里的非公开信息 Anthropic 可单方面要求删除,被删掉的正好是最硬的几块——训练各环节的加速估算、算法进步估算、算力和数据各占多少功劳、对未来模型的预测。Anthropic 的理由是,公开这些等于给对手一张加速路线图。METR 认同这些属于机密,但拒绝评价删得合不合理,原话是自己“不适合在公司商业利益和公众知情之间做权衡”。微博量子位

结果就是:公众没法自己核对证据,只能更多地相信 METR。10 月底 Anthropic 还收紧过一次删减标准,公开版因此推迟约 5 天。合同里原本还有一项核查算力分配——多少用于提升能力、多少用于安全,做到一半被取消。METR 也提醒,这次评估不等于 10 月 15 日宣布的“类员工权限”,要数据得主动申请,对方可批可拒,可能漏掉了自己都不知道存在的信息。微博
Anthropic 联合创始人 Sam McCandlish 当天回应,承认删得多、外界更难核查,但认为这个取舍是对的。未来几周 Anthropic 会发自己的报告,而 METR 这次并没专门对照 RSP(负责任扩展政策)的门槛,现在处在哪一级,只能等它自己说。量子位微博
对你有什么实际影响?三件事。一,别拿三个月前的评测结论选工具,斜率变了;METR 说未来 12 个月没看到明显瓶颈,甚至可能更快,虽然它也承认自己可能漏看。二,榜单在失效,拿你自己的真实项目去试。三,所有“AI 加速”的数字都该打折看,包括 Anthropic 几周后要发的那份。36氪
AI 造 AI,第一次有了具体数字,也第一次有了涂黑。