当大模型迈向千亿参数，传统的残差连接已成为信息传递的瓶颈。DeepSeek提出的MHC（Manifold-Constrained Hyper-Connections）通过创新性地构建多通道信息流，并引入严格的数学约束，成功解决了信号爆炸问题，为训练更深层、更强大的网络开辟了一条稳定高效的新路径。
智能速览
传统残差连接在千亿参数模型中成为信息瓶颈。
Hyper-Connections将单信息流扩展为多车道并行。
无约束的Hyper-Connections会导致信号增益激增数千倍。
MHC通过流形约束将信号增益稳定控制在1.6倍。
DeepSeek通过工程优化，使MHC训练时间仅增加6.7%。
精华内容
大模型的训练之路并非坦途，当网络深度和参数量达到新的量级，经典的残差连接也开始显露疲态。如何为信息流拓宽道路，同时确保训练的绝对稳定？DeepSeek的MHC给出了答案。
单行道瓶颈
自2015年ResNet提出以来，残差连接（x+F(x)）成为解决深层网络训练难题的标配。其核心是构建一条信息“主干道”，让输入信号x得以无损传递，各网络层只需学习残差F(x)。但在千亿参数的大模型中，这种单通道模式如同拥堵的单行道，限制了层与层之间信息交互的复杂性和丰富性，信息传递效率成为新的瓶颈。
多车道探索
字节跳动提出的Hyper-Connections（HC）试图打破这一瓶颈，它将单条主干道升级为四车道并行的高速公路。通过引入H_pre、H_post和H_res三个矩阵管理信息流，让数据在不同通道间灵活路由。然而，这个看似完美的设计在实际应用中遭遇了严重问题：由于缺乏约束，负责跨通道调度的H_res矩阵会逐层放大信号，实验显示在27B模型上信号增益高达3000倍，直接导致梯度爆炸和训练崩溃。
流形约束方案
DeepSeek的MHC（Manifold-Constrained Hyper-Connections）为狂飙的HC踩下了刹车。其核心创新是为H_res矩阵施加了“流形约束”，强制其成为一个双随机矩阵。这就像一个物理定律：每一行和每一列的元素之和都必须为1。这种约束确保了信号在跨层传递时总能量守恒，不会凭空放大或消失。通过一个鸡尾酒混合的类比就能理解：只能在四个杯子间倒酒，总量恒定。实验证明，MHC成功将3000倍的信号增益压制到1.6倍左右，并使用Sinkhorn-Knopp算法高效实现了这一数学约束。
工程实现与优化
将信息通道拓宽四倍意味着显存读写量（I/O）也同步激增，若不优化，训练速度将慢如蜗牛。DeepSeek的工程师通过两项关键技术解决了这一工程难题。首先是算子融合，将归一化、线性投影等操作打包成定制算子，减少了数据搬运次数。其次是重计算与通信掩盖，通过在通信等待时重新计算部分数据，巧妙地隐藏了通信延迟。最终，这些优化使得应用MHC的27B模型训练时间相比标准模型仅增加6.7%，将理论优势转化为了实践效能。
DeepSeek与字节跳动的探索证明，大模型的进化路径不止于堆叠参数。通过重新设计信息流动的“交通网络”，并用优雅的数学规则确保其稳定性，我们可以在不牺牲训练可控性的前提下，为模型赋予更宽阔的“思维通路”。这或许是通往下一代人工智能的一条关键路径。
