2026年11月2日，MIT CSAIL 团队发布研究博客，展示了一次特别的修复：让 OpenAI 的 GPT-6 Astra 直接分析并修改 Qwen3.5-0.8B 的内部权重。 整个过程没有重新训练模型，也没有使用梯度下降。 只改动约 0.016% 的权重，MATH-500 数学基准的得分就从 7.9% 提升到 48.1%，在作者设定的同一套采样参数下，运算能力约为原来的 6 倍。 但涨分本身不是最值得读的部分：真正被修掉的不是“知识”，而是一道让模型答不完题的推理死循环。知乎机器之心量子位
切掉的是“死循环”，不是新知识
修复前，这个小模型并非不会做题，而是写不完——最初 96 条练习回答里，有 85 条一直跑到了 32,768 个 token 的长度上限，相近的句子翻来覆去地说。 Astra 顺着失败表现一路追查，把问题定位到第 15 层与第 19 层 MLP 写入的一个共同方向：它从每层 64 个输出列中减去该方向，合计修改 131,072 个权重，相对于约 8 亿个权重，占比约 0.016%。 动刀的对象是权重矩阵本身，不是在提示词里加一句“别重复”。量子位知乎
手术的收益先体现在“答完率”上：在 50 次前向反馈预算的设置中，MATH-500 回答触及长度上限的比例，从 93.0% 降到了 33.1%。 同一组实验里，未被点名优化的指令遵循评估 IFEval 也从 21.0% 升到 62.3%，GSM8K 从 13.8% 到 67.1%。知乎
跃升只出现在 50 次调用之后：省掉训练，没省掉诊断
Astra 也不是看一眼参数就交出修复。研究者给了它一个能访问权重的 Python 会话，以及预算受限的前向反馈：10 次、25 次、50 次调用预算下，编辑后的 MATH-500 得分依次是 12.3%、14.1% 和 48.1%——省掉的是梯度训练，模型诊断和验证都还在。 评估用的是作者未交给 Astra 的测试题。 分数不是随预算均匀爬升的，明显跃升出现在循环问题被更有效缓解之后。量子位知乎
对照组比分数更有信息量
同样的手法用在很少循环、但算术和代数步骤常出错的 Gemma 3 270M 上：原文给出的基座得分是 6.8%，在 5、10、25、50 次前向反馈设置下，编辑后分别为 7.0%、7.6%、7.7% 和 7.0%，没有建立起明确的能力提升。 这组反差划出了方法的能力边界：Qwen 是“会做但被卡住”，Gemma 是“真的不会”——移除阻碍已有能力发挥的障碍，和让模型学会原本不会的数学，是两件不同的事。知乎
读权重、修权重、从零写权重
改 Qwen 只是博客实验的一部分。此前，研究者把不同任务训练出的小网络的原始权重直接交给 Astra：它能凭数字判断四个 PPO 网络分别玩过哪款游戏，能从权重里认出扩散模型会生成的图形；在三个 720 万参数的字符级语言模型被拆掉输入层和输出层、且不允许运行网络的情况下，Astra 两次尝试都正确识别出了各网络所用的训练语言，还找出了全部复制头。 汽车爬坡实验里，研究者给出权重、场景描述和一段失败记录，Astra 不用工具，一次回复写出补丁，只改了 3.5% 的权重，就让小车在 1024 次测试中全部成功。 它甚至能凭空写权重：在拿不到训练数据、梯度和试跑机会的条件下，Astra 为三款 MinAtar 小游戏直接生成网络，平均得分 517.4，作为对照，PPO 训练 1 亿步得 15.8、训练 5 亿步得 25.3。不过这些网络体量很小——汽车控制网络只有约 17 万个权重，整篇博客里最大的语言模型编辑也只到 0.8B 量级。机器之心量子位
训练还没下岗
研究团队给这条路线起了名字：权重空间编程（Weight-Space Programming）——从 AI 帮助人类训练模型，到 AI 开始直接参与模型权重的优化，可能为模型研发和递归自我改进打开新的空间。 博客本身写得很克制：这目前只是从参数关系推断功能的一项实例，而不是读懂了任意规模模型的全部内部机制。 另外要留意，结果出自自发布研究博客、非同行评审，样本也是小模型；Astra 自身的知识与能力仍来自它此前的训练，分析权重、生成代码、批量推理和评测都要花计算资源，梯度训练没有被取代，只是多了一个入口。 对开发者和用户来说，这件事的实际意义可以落到一个具体的排查动作上：下次小模型表现不好，先分清它是缺能力，还是被什么东西卡住——前者要靠训练，后者也许改权重就够了。让模型学会一道题，和让模型把本来会做的题做完，终究是两件事。机器之心知乎量子位
