面对硬件限制，中国AI企业正走出一条独特的创新之路。DeepSeek的新架构研究，不仅解决了字节跳动“超连接”技术在大规模训练中的瓶颈，更揭示了一种从数学根源突破算力封锁的核心思路，为大模型发展提供了兼顾性能与效率的新范式。
智能速览
字节跳动的“超连接”技术虽提升表达力，却引发了训练崩溃的致命短板。
DeepSeek提出流形约束超连接，通过数学约束解决了信号发散问题。
新架构将信号放大峰值从3000倍压降至1.6倍，额外训练成本仅6.7%。
结合算子融合等系统级优化，成功破解了硬件带宽瓶颈。
这一路径证明，硬件限制并非创新的终点，而是催生根本性突破的催化剂。
精华内容
从“超连接”的探索到“流形约束”的补位，这不仅是两家公司的技术接力，更揭示了在硬件受限条件下，AI底层架构如何通过数学与工程的双重创新实现突破。
超连接的阿喀琉斯之踵
字节跳动的超连接技术通过拓宽残差流，显著提升了模型的表达能力，被视为对传统残差连接的重大突破。然而，这项技术在规模化训练中暴露了致命缺陷：信号发散。
测试显示，在270亿参数模型训练中，约12000步后梯度范数剧烈波动，最终导致训练崩溃。核心问题在于，超连接为追求表达力放弃了残差连接原有的恒等映射约束，导致信号强度在第60层时膨胀至输入值的3000倍，这一缺陷在大规模训练中被急剧放大。
流形约束的稳定魔法
针对上述问题，DeepSeek提出了流形约束超连接架构。其核心创新是将可学习的变换矩阵约束在双重随机矩阵构成的流形上，相当于为信号传播设立了“刚性预算”。
这种约束确保了输出信号强度严格介于输入信号的最大最小值之间，从根本上杜绝了信号爆炸。实验证明，在超连接出现3000倍信号放大的同一场景下，mHC的信号放大峰值仅为1.6倍。为控制计算开销，通过Sinkhorn-Knopp迭代进行投影，额外训练成本被成功压制在6.7%。
系统优化破局硬件墙
硬件约束倒逼的不只是算法创新，更是全链路的系统级优化。超连接拓宽残差流后，每层数据读写量倍增，在A800/A100等GPU的有限互联带宽下，芯片极易陷入效率陷阱。
DeepSeek通过三项关键技术破局：算子融合减少数据搬运；反向传播重计算以计算换内存；流水线并行优化重叠通信与计算。这些优化将原本随层数线性增长的内存开销，转化为可控的有界开销，配合混合精度内核，实现了全参数规模下的稳定性能提升。
可量化的性能与策略
搭载mHC架构后，从30亿到270亿参数的模型均表现出色。在BIG-Bench Hard复杂推理任务上提升2.1%，在DROP阅读理解任务上提升2.3%，性能增益明确且可复现。
这种“论文先行”的策略，通过arXiv等开放平台发布，既建立了技术公信力，又向全球传递了明确信息：中国AI企业的核心竞争力并非依赖尖端算力芯片。这种开放模式加速了知识扩散，并对西方同行构成直接竞争压力。
DeepSeek与字节跳动的探索，为中国AI产业提供了一条“在约束中创新”的清晰路径。它证明，真正的核心竞争力并非源自无限的算力，而是面对瓶颈时的根本性突破。即将到来的R2模型，将是这条新路径成色的最佳检验。
