大模型训练中潜藏的梯度不稳定难题，可能导致整个训练过程功亏一篑。DeepSeek提出一种名为流形约束超连接（mHC）的新方案，通过精妙的数学约束，在几乎不增加训练成本的前提下，从根本上解决了深层网络的梯度爆炸问题，让超大规模模型的训练变得前所未有的稳定。
智能速览
mHC方案专门解决大模型训练中的梯度爆炸问题。
其核心是使用双随机矩阵，严格约束信号的混合与传递。
该方案能将最坏情况下的梯度放大倍数压制在1.6左右。
模型训练成本仅增加约6.7%，最终训练损失反而下降。
此方法为训练超深层网络提供了高性价比且可靠的工程思路。
精华内容
面对深层网络训练中几乎无法避免的梯度爆炸难题，DeepSeek提出的mHC方案并非依赖额外技巧，而是从架构本身入手，施加了一道严谨的数学纪律。
训练的致命炸弹
在传统Transformer架构中，随着网络层数加深，梯度在反向传播过程中可能会被指数级放大，这就像一颗埋藏在训练流程中的炸弹。当这个放大倍数失控时，模型参数将无法收敛，导致训练彻底失败。传统方案的梯度放大倍数在最坏情况下可能高达3000，而mHC方案则将其牢牢控制在1.6左右，实现了质的飞跃。
双随机矩阵约束
mHC方案的精髓在于引入了“流形约束超连接”，其规则核心是使用“双随机矩阵”来混合不同通道的信号。这个矩阵有两个关键特性：所有权重值必须非负，并且每一行与每一列的总和都等于1。这意味着，信号可以在不同通道间重新分配，但其总强度不会被放大，也不会被压缩，从而保证了信息流在任何深度都保持稳定。
容量与稳定并行
新架构将传统模型中单一的残差连接通路，扩展为n条并行的通道。这种设计增加了模型的容量和表现力。关键在于，这n条并行通道之间的信号混合，严格受到前述双随机矩阵的约束。这种设计巧妙地在提升模型潜能（增加通道）和维持系统稳定（矩阵约束）之间取得了平衡。
低成本高效验证
DeepSeek在3B、9B和27B等不同规模的Transformer模型上验证了mHC的有效性。实验采用4条并行通道（n=4）。结果显示，引入mHC仅使训练成本增加约6.7%，但最终的训练损失下降了约0.02。最关键的是，梯度放大倍数被稳定压制在1.6左右，证明了其出色的稳定性和普适性。
DeepSeek的mHC方案是一次教科书级别的工程优化，它没有追求表面的创新，而是直击深层网络训练的核心痛点。通过在数学上施加简单而有效的约束，以极小的成本换取了确定性的训练稳定性。这项技术是否会成为未来超大规模模型训练的标准配置，值得整个行业关注。
