数学提分不等于学会了新能力

一道数学题没有得到正确答案，可能是模型不会解，也可能是它反复推演，始终没有提交答案。这两种失败在成绩单上都可能表现为失分，修复它们的含义却不同。理解 Qwen3.5-0.8B 的这次提分，关键在于区分：模型获得了新的解题能力，还是原有能力终于能够发挥出来。

爱范儿列出的实验细节提供了一个重要线索：在最初检查的 96 个练习答案中，有 85 个一直生成到 32768 个 token 的上限，仍未给出最终答案。这说明，研究面对的不只是答错问题，还包括大量无法完成回答的情况。仅看数学得分，很容易忽略这种失败方式。

研究人员让 GPT-6 Astra 在可以读取和修改权重的 Python 环境中处理这个问题，并提供 GSM8K、MATH 训练集中的练习题和答案。它可以测试模型、查看隐藏状态、神经元激活和注意力信息，但不能使用梯度信息或开展训练。因此，这并非通常意义上的微调，也不是完全不借助题目和运行反馈、仅凭权重完成的修改。

按材料中的实验描述，Astra 将重复推理定位到部分 MLP 层写出的一个特定方向，并通过删除这一方向抑制循环。修改涉及 131072 个参数，约占模型参数的 0.016%。在允许 50 次前向测试的设置下，MATH-500 成绩从 7.9% 提高到 48.1%；同一评测中，触及生成上限的回答比例从 93.0% 降至 33.1%。

把这两组变化放在一起，比单独强调提分幅度更有解释力：数学得分上升的同时，未能在生成上限内结束的回答明显减少。这支持一种较为审慎的理解——局部修改缓解了妨碍回答完成的问题。不过，现有结果并未逐项分离提分的来源，不能据此断言每一道新增答对的题都只与减少循环有关，也不能反过来把分数上涨直接当成新增数学能力的证明。

爱范儿还列出了一项有意义的补充实验：很少出现推理循环的 Gemma 3 270M，其 MATH-500 基线成绩为 6.8%，经过 50 次前向测试后的版本为 7.0%，没有明确提升。研究博客也明确说明，Astra 主要移除了妨碍模型完成回答的障碍，而不是注入新的数学知识。这些证据使“解除能力发挥障碍”的解释，比“教会模型新的数学知识”更有依据。

这种区别并不否认修复的价值。模型即使具备部分解题能力，若无法完成输出，这些能力也难以体现在最终答案中。但修复有价值，与这种修复方式具有多少额外价值，是两个需要分别回答的问题。

因此，关闭思考模式和常规梯度训练等对照十分关键。前者可以检验：仅调整推理设置，是否也能减少循环并改善成绩；后者则关系到直接编辑权重相较常规训练究竟有何优势。材料尚未给出这些比较的结果，不能预设更简单的设置调整已经足够，也不能认定权重编辑必然更优。

就这次实验而言，更稳妥的结论是：直接修改少量权重，在特定模型上缓解了重复推理，并伴随明显提分。它展示了一种修复模型行为的方法，但从“更能完成回答”走到“获得原本没有的能力”，仍需要不同于成绩上涨本身的证据。