研发快到基准快不够用:METR 量出的 1.9 倍,和一把快被刷穿的尺

源自41位全网作者

11-06 18:40

2026 年 11 月 5 日,非营利评估机构 METR 发布了对 Anthropic 的独立调查报告:这家公司过去一年取得的基准能力进步,大致相当于此前两年。 具体幅度是:自 2025 年 10 月以后,其综合能力指标的进步速度约为此前的 1.9 倍,95% 置信区间 1.5—2.8 倍。更值得注意的在同一页报告里:最新内部模型已经在 METR 所测的全部高难基准上越过 50% 成功率线,而约 9 个月前,前一代旗舰在其中许多尺子上还不及格。 所以「研发快到基准快不够用」不是一句修辞,而是同一份报告的两面:造模型的曲线在变陡,量模型的尺子在变少——测量开始跟不上制造。微博知乎

1.9 倍量的是增速,不是能力

这个指数叫 AECI,是 Anthropic 版的 Epoch Capabilities Index,把一组基准分数合成同一条时间轴上的能力曲线。报告给了一个直观换算:从 2023 年 10 月到 2025 年 10 月大致相当于 Claude 2.1 到 Sonnet 4.5 的进步,按 1.9 倍走同样的距离只需约一年出头。 但要注意,它比较的是两个时期的增长速度,不是模型能力变成了 1.9 倍;这轮「翻倍」目前也只是可见范围内的结论。知乎

另一个必须一起读的边界是统计设定:换连接函数,区间变成 1.1 至 2.9 倍;换模型快照、换基准、换正则化,范围分别维持在 1.9 至 2.2 倍、1.9 至 2.2 倍、1.9 至 2.1 倍。 引用 1.9 倍时,得同时说清用的是哪个模型集合、哪个日期、哪个连接函数。知乎

对这条曲线还得留个心眼:近期趋势主要由 Anthropic 自己的模型画出,把其他厂商的公开模型也纳入后,加速估计约回落到 1.4 倍——其他开发者的内部模型,METR 根本看不见。知乎

80% 来自 AI:归因判断,不是测量结果

对为什么变快,METR 给出一项相对扎实的排除和一项很不确定的归因:评估明确排除算力扩张是主因,并认为目前加速中约 80% 可能来自 AI 自身参与研发,同时承认这个估计存在很大不确定性。 访谈细节支持「在加速」,不支持「有共识」:11 位受访研究者的立场是 2 人支持、3 人倾向支持、4 人模糊、2 人反对。 另一项抓眼球的「内部最强模型自报生产力约 12 倍」来自 2026 年 10 月的内部投票,被 METR 自己列为很弱的证据。更现实的限制在证据治理上:原合同的算力分配核验中途被 Anthropic 移出范围,而 METR 的部分数据整理与分析就在被评估方的设备上用 Claude 完成。一句话:1.9 倍是别人可以重算的,80% 目前只能引用。微博知乎

尺子为什么会缺货

缺货先从「分数压缩」开始:长期固定的评测题目可能被纳入预训练数据,提前学习过的高分未必还能反映模型真实能力,而随着模型跑分逐渐接近上限,评测基准的挑战空间也在收缩。 阿里达摩院团队把 158 个主流基准做了一次系统体检,被 NeurIPS 2026 评测赛道接收为 Oral:「已知饱和」组与「活跃前沿」组的平均健康分是 0.227 对 0.600,相差两倍多;论文同时坦承,一次训练方法或工具能力的突破就可能让原本很难的任务迅速变得容易——保质期只能预警,算不准。机器之心

尺子市场有具体缺口。据科技自媒体引用的 BenchLM 统计,截至 10 月 26 日,在具备实际覆盖度的 295 个百分制基准中,约 36%(105 个)已被头部模型彻底刷穿,榜首得分全在 90 分以上。 光把题出难也救不了:所有模型都答不出,分数照样拉不开。知乎

新尺子正在造,而且一造出来就把旗舰模型拉回及格线以下:在 60 道真实生产代码库任务构成的 sudo L7 上,并列第一的两款 Claude 模型通过率仅 41.7%,GPT-6 Astra 为 33.9%。 旧尺子上的失败方式也变了:旧题考的是「给定明确指令会不会做」,新题考的是「面对烂摊子该不该这么做、有没有漏掉什么」。知乎

尺子不够用的根因,是模型能力跑在了题库前面。OpenAI 一侧,在 BenchCAD 2.0 工程测试里,其一款更新的内部模型平均得分 0.875,而 GPT-6 Astra 在最高推理设置下只有 0.594——最强的模型总是比可购买的版本先几步。 奥特曼的说法更有画面:某个新模型内部上线的周末,大家把各种最棘手的难题抛给这个模型,而它竟然都能一一解决。 当能力开始用未解难题来证明,静态考题的角色就自然从「裁判」降级为「参照」。智东西机器之心

评测也因此成了一门稀缺生意:最早靠网友匿名投票给模型排名的 LMArena,在 2026 年 1 月以 17 亿美元估值完成了 1.5 亿美元融资;10 月 28 日,微软 CEO 纳德拉在播客里判断,五年后企业的核心资产将是「专有评测基准」。 公开尺子会被刷穿、会被污染,不给竞争对手看的高难题,才把测量权留在自己手里。36氪

该拿这条曲线做什么

对普通用户,1.9 倍最可靠的用法是调整预期范围,而不是直接换算成时间表。METR 对未来 12 个月没有找到算法、训练与实验算力、数据方面的明显瓶颈,但报告明确说这项判断置信度低,评估过程中曾多次反转。 想把倍率写进自己的预算,得先回答传导问题:基准上的分数进步,能不能变成你工作流里的产出。边界同样清楚:目前 AI 主要还是辅助研究人员,尚不能完全自主完成模型训练中最重要的工作。 奥特曼对递归自我改进的自述留住了最后那个缺口:现在模型能完成「找 5% 计算效率提升」这类任务,但还没有人知道如何让 AI 发现像 transformer 那样级别的新架构。 所以「基准快不够用」最终意味着两件事:公开榜单的信息含量会持续贬值,对模型能力的判断要逐步转移到更难、更新、更少被刷穿的尺子上——盯住谁还在出新考卷,以及新考卷里旗舰模型还通不过的那部分任务。1.9 倍请放进情景准备,别放进官宣日程;把预算和计划留出能退回原方案的弹性,才是眼下最稳的姿势。知乎知乎机器之心

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章