DeepSeek在元旦前夕发布了一篇由创始人梁文锋署名的论文，提出了mHC技术，解决了大模型训练中的不稳定问题。这不仅是一项技术突破，更展示了中国AI的创新实力，为训练更大规模的模型提供了稳定路径。
智能速览
mHC技术解决了大模型训练中的Loss Spike问题。
梁文锋署名强调了中国AI从跟随到创新的转变。
mHC将信号放大倍数从3000降至1.6，提升模型性能。
技术演进从残差连接到超连接，再到mHC的限速器。
DeepSeek的工程优化使训练时间仅增加6.7%。
mHC的开源策略推动全球AI发展。
精华内容
理解mHC的核心价值，它不仅是一个技术创新，更标志着中国AI在基础架构上的自信。
解决训练难题
大模型训练中常见的问题是Loss Spike，即训练损失突然飙升，导致训练崩溃。DeepSeek在训练270亿参数模型时，用超连接技术遭遇此问题，损失曲线暴涨。
mHC通过流形约束超连接，添加限速器，控制信号放大倍数从3000降到1.6，使训练平滑稳定。性能提升包括BBH推理测试从43.8到51.0，DROP阅读理解从47.0到53.9，GSM8K数学推理从46.7到53.8。
模型越大，mHC优势越明显，为更大规模训练铺路。
署名的意义
梁文锋亲自署名此论文，意义重大。2025年DeepSeek-R1发布后，引发全球震动，但也伴随质疑：中国AI是否只会省钱，不会创新？
mHC是对这些质疑的回应，展示了从问题发现到工程实践的完整创新链条。梁文锋强调，中国AI不能永远做跟随者，mHC是创新的体现，可能成为下一代模型基础架构。
技术演进
mHC的技术演进始于2015年何恺明的残差连接，解决了信息衰减问题。2024年字节豆包提出超连接，开四条通道，提升收敛速度。
但超连接在超大规模模型中导致信号累积放大。DeepSeek的mHC引入限速器，基于双随机矩阵和Sinkhorn-Knopp算法，确保信号不放大，类似能量守恒。
工程实践
mHC不仅理论创新，更注重工程优化。理论上超连接增加4倍内存访问成本，但DeepSeek通过极致优化，仅增加6.7%训练时间。
这体现了中国AI的工程化优势，与OpenAI的大资源路线形成对比。优化涉及多次迭代，确保技术实用化。
架构自信
mHC代表中国AI从跟随到创新的转折。过去基础架构多由美国提出，现在DeepSeek的MoE、NSA、mHC都是基础创新。
开源策略让全球开发者受益，与OpenAI的闭源相反。英伟达科学家评价DeepSeek延续开放使命，梁文锋倡导普惠AI。
mHC技术不仅是DeepSeek的突破，更是中国AI的宣言。它证明资源有限时，算法创新和工程优化能引领未来。开源将加速全球AI进步，中国AI正从跟随者变为引领者。mHC会如何影响下一代模型？时间会揭晓。
