小模型数学涨6倍,普通人手里的0.8B会变强吗

源自28位全网作者

14:23

如果你在手机或电脑上跑过 0.8B 这类小模型(大约 8 亿个参数),指望它因为这条新闻明天就变聪明,答案很直接:不会。至少不会自动发生。

MIT CSAIL 的这项实验里,GPT-6 Astra 直接读取并修改 Qwen3.5-0.8B 的权重,只动了约 0.016%。在相同采样设置下,MATH-500 从 7.9% 升到 48.1%,全程没有梯度下降。 数字很炸,但同一张表里还有一列更容易被忽略:修改前,93% 的 MATH-500 回答撞上 32,768 个 token 的长度上限;修改后,这个比例降到 33.1%,仍有约三分之一没写完。研究博客知乎

在最初的 96 条练习回答里,有 85 条一路写到上限。 模型很多时候不是不会算,而是算到一半开始复读,最后没交卷。量子位

补丁做的事,也不是往模型脑子里塞数学教材。Astra 把循环追到第 15、19 层 MLP 写出的一个方向,再从两层各 64 个输出列里把它减掉,一共 131,072 个权重。 这更像一次精确的“去复读”手术:它让模型把原本可能做对的题写完,而不是让它突然会做新题。研究博客

“不用梯度”也不等于“不花力气”。公开日志里,Astra 有 50 次前向调用预算、14,744 道练习题,还得自己写 Python 读写权重。 任务提示甚至提前把“重复不终止”写成了可修故障的例子。 所以,与其说它自己发现了病根,不如说它带着线索完成了定位、写补丁和验证。GitHubGitHub

更能说明问题的是对照组。Gemma 3 270M 很少循环,只有 8.5% 的回答撞上长度上限;Astra 同样用了 50 次前向调用,MATH-500 只从 6.8% 挪到 7.0%。作者自己的结论很克制:改权重可以移开挡住能力的障碍,但不能给模型加一种它原本没有的能力。研究博客

回到普通人的问题。这还只是一次早期实验,不是已经产品化的功能。短期内,你正在用的云端聊天产品不会因为这项研究改变——权重在服务商手里,改不改、什么时候改,是另一套决策。你自己在电脑或手机上跑 Qwen3.5-0.8B,倒是有一件具体的事:改好的权重已经放到了 Hugging Face,还有从日志重建、重跑评测和在线 demo。 如果正好用这个模型、并且打开思考模式,这套评测的采样设置是温度 0.6、top-p 0.95、top-k 20。 可以试着对比,但它只针对这一版模型和这套配置,不是给所有小模型发的一张“升级券”。研究博客GitHub

把答案说直白一点:今天,普通用户几乎不受影响;能马上碰到的,只有那版已经放出的 Qwen3.5-0.8B 补丁权重;中期会不会受益,要看模型厂商是否把这种“定点修补”用进下一次更新。

这项研究真正的新东西,不是“小模型马上变天才”,而是证明了一类小模型故障可以被定位到具体权重,然后修掉。 它给开发者提供了一条新思路:先判断模型是不会,还是说不完;如果是后者,也许不用重训,先做一次针对性的权重修补。对普通用户,这意味着以后拿到的小模型可能少一点复读、少一点卡死;但“6 倍”不是明天就能兑的券。研究博客

一个能交卷的 0.8B,比一个看起来更聪明却永远在复读的 0.8B 有用。下次小模型答得离谱,先看它是不会做,还是根本没写完——这个区分,比“6 倍”更接近普通人真正能感受到的变化。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章