针对DeepSeek最新提出的mHC架构，一项独立复现实验得出了惊人结果。该实验不仅在1.7B小模型上复现了论文核心发现，还观测到远超原始报告的信号放大现象，并深入揭示了传统模型架构深层训练中隐藏的不稳定性根源及其解决方案。
智能速览
复现实验在1.7B参数模型下，HC架构信号放大高达10,924倍。
带约束的mHC架构能将信号放大稳定控制在1.0倍，性能无损。
信号不稳定的根源在于模型首层（Layer 0）缺少归一化处理。
即使在超高信号放大下，梯度裁剪也能维持训练不崩溃，但存在隐患。
实验证明，Sinkhorn投影的计算开销几乎可以忽略不计。
精华内容
一次对DeepSeek最新论文的独立复现，不仅验证了其核心发现，更揭示了一个惊人的现象：在特定条件下，模型内部信号的放大程度远超预期。
复现结果惊人
博主租用8张H100显卡，在1.7B参数规模下对标准残差连接、无约束HC及mHC架构进行了对比测试。结果显示，无约束HC在32层深度时，信号放大倍数惊人地达到10,924倍，远超DeepSeek论文在27B模型上报告的3000倍。在进行3倍学习率的压力测试时，该数值甚至飙升至14,765倍。
性能与开销
尽管数据表现差异巨大，但三种架构的训练Loss曲线却几乎完全重叠，最终收敛于5.4-6.0的相似水平。这表明mHC所施加的约束并未带来性能损失。同时，引入的Sinkhorn投影计算开销极小，几乎可以忽略不计，证明了该方案在实用性上的优势。
不稳定之源
实验深入探究了信号爆炸的根源，发现问题出在模型的首层（Layer 0）。该层直接处理未经LayerNorm归一化的原始嵌入，当尺度不匹配时，它会学习通过“放大”信号来进行补偿。而mHC的Sinkhorn投影机制，不仅能限制信号最大值，还能有效防止各层参数的漂移。
隐藏的危机
最引人深思的是，即使信号放大高达14,765倍，训练过程也并未崩溃，这得益于梯度裁剪的保障。然而，复现者警告这是一种“定时炸弹”，在更长周期的训练或更大规模的模型中，这种极度不稳定状态极有可能导致灾难性失败。他预测在10B参数模型上，放大倍数或达5万。
这次复现不仅证实了mHC架构的有效性，更深刻揭示了深度神经网络扩展过程中的一个核心瓶颈。它为未来训练更深、更稳定的大模型提供了一个极具价值的技术路径。这一发现将如何重塑下一代大模型的训练范式？
关键评论
这意思就是又可以再来一轮新的大模型奇迹吗？谁家context管理的好，谁能上啊
Deepseek又要逆天？期待更多大佬们的测试
每天都能看到显存占用缩小10倍，速度提高20倍之类的新闻，然而实际并没有什么变化
