11月2日,MIT CSAIL 四位研究者公布了一项实验:让 GPT-6 Astra 直接检查并修改 Qwen3.5-0.8B 的内部权重,找到导致模型反复陷入推理循环的关键问题。 它没有重新训练,也没算梯度,最终只编辑了131,072个权重,约占这个8亿参数模型的0.016%,就让 MATH-500 数学得分从7.9%升到48.1%,约6倍。 团队给这套打法起名 Weight-Space Programming(权重空间编程),核心是让大模型直接分析神经网络权重,判断它在做什么、哪里出了问题,再按要求修改,甚至从零写出一个网络。 但「六倍」很容易被读成「AI 给另一个 AI 注入了六倍数学能力」,研究者自己的结论更克制:编辑权重可以移除一个障碍,让被遮住的能力显现出来,却不能凭空增加模型原本没有的能力。机器之心知乎量子位
六倍从哪来:拆掉那堵让模型「把话说不完」的墙
Qwen3.5-0.8B 的官方模型卡本就写明它在推理模式下容易陷入循环。实验里这个毛病被放到最大:最初96条练习回答,85条一直跑到32768个token的长度上限,题目全被「截」在了作答路上。量子位
Astra 拿到的条件很苛刻:一个 CPU 上的 Python 会话、原始权重、练习题和有限次前向测试,并被明确禁止写训练循环。它沿着失败表现一路追查,把循环定位到第15层和第19层的前馈网络,并从两层的各64个输出列中修改相应权重影响。知乎
改动之后,MATH-500 回答触及长度上限的比例从93.0%降到33.1%——模型只是终于能把话说完。 同一套采样设置下,GSM8K 从13.8%升到67.1%,连没人要求优化的指令遵循测试 IFEval 也从21.0%升到62.3%。量子位知乎
对照组实验是这项研究最诚实的部分。他们另选很少陷入循环的 Gemma 3 270M(仅8.5%的回答撞长度上限),那里没有可以一关就灵的「死循环开关」,Astra 做了一些很小的修改,但没有一个改动让 MATH-500 提高超过约1个百分点。知乎
48.1%是一次运行的结果,还不是一项稳定能力
涨幅强依赖测试预算:给 10、25、50 次前向调用预算,修改后的 MATH-500 得分依次是12.3%、14.1%和48.1%,三次运行找到的修改各不相同——前两次都没摸到那一刀。 成本也谈不上轻:公开日志显示,最强的一次运行花了20.3小时,包括158个对话轮次、80次 Python 执行,以及4.7小时的服务中断等待。量子位知乎
更要紧的是复现程度:48.1% 来自单次50预算的运行,且研究目前只是博客、公开日志和实验报告,没有经过同行评审,测试规模也普遍很小。 它是很强的概念验证,还不是能部署上线的「模型维修服务」。知乎
比涨分更有信息量的,是读权重和写权重
读的一头,只给四个游戏策略的原始权重、不告诉模型游戏名称,Astra 正确识别出了 Breakout、Pong、Pac-Man 和 Freeway。 更难的测试里,三个用 Python 代码、罗马字日语和英语训练的720万参数小语言模型被移除了输入输出层,Astra 在两次尝试中都正确识别出三个网络各自使用的语言。知乎机器之心
写的一头同样有对照。小车爬坡实验里,Astra 看了权重、场景和一次失败轨迹后,只改3.5%的权重,就把成功率做到100%。 从零生成 MinAtar 网络权重的测试中,它一次回复交卷,得分超过训练了5亿步的PPO基线20倍,平均得分517.4。知乎量子位
它打开了什么,还缺什么
这项实验发布当天就在大模型圈快速扩散,被转述最多的口径是:不训练、不算梯度,GPT-6Astra直接改了另一个模型的权重。 它确实和模型合并、激活引导这些既有权重操作不同:过去那些方法大多离不开训练、梯度或额外数据,权重空间编程让通用前沿模型围绕自然语言目标直接读写参数,也因此被放进递归自我改进(RSI)的叙事里。但要打个折看:Astra本身积累的知识与能力,仍然来自它此前的训练,诊断和验证照样消耗算力。微博量子位
同一能力也有影子面:能从权重里读出隐藏偏好或异常触发结构,部署前的安全审计会多一件工具;但反过来,一个能精准修补权重的系统,也可能被用来植入更难发现的行为,越精准的编辑越需要严格评测。知乎
对小模型开发者来说,眼下真正可用的是多出一个选项:遇到短板先诊断结构问题、再做定向修复,而不是直接回炉重训。下一步值得盯住的信号有两个——48.1% 能否在更大模型上稳定复现,以及能否出现真正「增加新能力」而非「解除障碍」的编辑实验。在那之前,0.016% 改变的是看待权重的方式,还不是模型能力本身。