大型语言模型的性能为何会随规模增大而提升？MIT团队从几何视角给出新解。研究发现，Scaling Law的本质是模型在有限维度内压缩海量特征时产生的几何干涉效应。这为我们理解模型扩容的动力提供了全新的、更底层的视角。
智能速览
Scaling Law本质是模型特征在有限维度内产生的几何干涉效应。
弱叠加下，模型只学习高频特征，Loss下降依赖于数据特征的幂律分布。
强叠加下，模型塞入所有特征，Loss与模型维度成反比（1/m）。
开源LLM被证实运行在强叠加区间，扩容是为了稀释几何干涉。
研究通过修改Anthropic玩具模型，用权重衰减控制叠加程度。
精华内容
为何模型越大表现越好？传统解释多围绕数据拟合，但一项新研究将目光投向了模型内部的表示空间，揭示了其几何运作原理。
叠加与几何干涉
MIT团队的研究提出，神经缩放法则的根源并非复杂的逻辑学习，而是一种更基础的几何现象。当模型试图在一个维度为m的有限空间里，表示数量远超m的n个特征时，特征向量之间不可避免地会发生重叠。
这种重叠，在几何上体现为向量间不再正交，产生了所谓的“干涉损失”。模型规模扩张的核心动力，就是为了降低这种因空间拥挤而产生的几何干涉，而非单纯学习更多“技能”。这为理解模型为何需要越来越大提供了直观的物理解释。
强弱叠加机制
研究发现存在两种截然不同的叠加机制。在弱叠加下，通过正权重衰减，模型倾向于只学习最重要的特征，直接忽略不重要的长尾特征。此时，模型的Loss下降严格遵循数据特征本身的频率分布，只有当特征频率呈幂律分布时，Loss才会呈幂律下降，即“Power law in, power law out”。
而在强叠加下，模型通过负权重衰减等方式，被迫将所有特征都塞进有限空间。此时，Loss缩放不再依赖数据分布，而是呈现出稳定的与模型维度m成反比（1/m）的特性。这意味着，只要模型维度增加，干涉损失就会按比例减少。
LLM的真实运作
理论模型之外，研究者通过对一系列开源大型语言模型LM Head权重的分析，证实了它们都运行在强叠加区间。这解释了为何我们观察到的LLM Scaling Law如此普遍且稳健。
其性能提升的本质，并非模型突然“领悟”了更复杂的知识，而是因为模型维度的增加，有效稀释了隐藏空间中成千上万个特征向量之间的“挤兑”效应。论文还推测，巨大的词表和语言特征的稀疏性，使得LLM在常规的正权重衰减训练下，也自然地滑入了强叠加状态。
这项研究将Scaling Law的讨论从现象层面拉回了原理层面，揭示了几何表示在模型性能中的核心作用。它不仅解释了当前模型为何能持续变好，也为思考如何更高效地“扩容”——比如通过优化特征表示而非盲目堆叠维度——提供了新的理论方向。
