大模型训练中，如何超越标准残差连接？DeepSeek提出的mHC技术，通过精巧的数学约束，有效解决了更复杂连接方式导致的训练不稳定难题，为提升模型性能提供了新思路。
智能速览
标准残差连接性能受限，Hyper-Connections虽能提升性能但破坏恒等映射。
无约束连接会导致梯度爆炸、训练崩溃及内存访问开销剧增。
DeepSeek mHC的核心是将连接矩阵约束在双随机矩阵流形上。
采用Sinkhorn-Knopp算法实现矩阵投影，从底层保障训练稳定性。
mHC在保证性能提升的同时，有效控制了前向与反向传播的信号增益。
精华内容
深入技术核心，看看mHC如何用数学魔法，驯服复杂连接中的不稳定性。
残差连接的困境
大模型发展至今，标准残差连接已成为标配，但其性能提升已遇到瓶颈。字节跳动曾探索Hyper-Connections（HC），试图通过引入可学习的连接权重来突破极限。然而，这种无约束的连接方式破坏了残差网络赖以稳定的恒等映射属性，导致梯度在传播过程中急剧放大或消失。实测数据显示，复合映射的最大绝对增益幅度在HC中可飙升至3000，这证实了其极易引发信号爆炸，最终导致训练过程崩溃。
内存与计算的代价
除了训练不稳定，Hyper-Connections还带来了沉重的工程负担。连接方式的复杂化直接导致残差流加宽，每个token的内存访问成本大幅增加。根据分析，超连接的I/O总开销约为(5n+1)C+n²+2n，远高于标准残差连接的(3n+1)C+n²+2n。更关键的是，新增的可学习参数，使得反向传播必须存储中间激活值，进一步挤占了本就紧张的显存资源，严重降低了训练吞吐量。
流形约束的巧思
面对上述难题，DeepSeek提出的mHC提供了一个精妙的解法。其核心思想是化繁为简：与其让连接矩阵在无限空间中自由探索，不如将其约束在一个特定的、性质优良的数学“流形”上。这个流形就是Birkhoff多面体，它包含了所有的双随机矩阵。将连接约束在这个“河道”内，就能从根本上保证信息流动的稳定性，避免了梯度灾难的发生。
Sinkhorn-Knopp投影
将抽象的数学思想落地，需要具体的算法工具。mHC采用Sinkhorn-Knopp迭代算法来实现从任意矩阵到双随机矩阵流形的投影。该算法通过交替进行行归一化和列归一化，能够高效地将矩阵收敛至一个满足行和与列和均为1的双随机矩阵。这个过程不仅数学上优雅，而且在工程上可行，确保了mHC方法在实际大模型训练中的稳定性和高效性。
DeepSeek mHC不仅是一个技术修复，更是一种系统性的设计哲学，它展示了如何通过严谨的数学约束，在探索更强大模型架构的同时，牢牢把握训练的稳定性。这或许会成为未来大模型架构演进的一个重要方向。
