DeepSeek 连发的两篇论文，揭示了其与字节 Seed 团队在大模型架构研究上的接力。梳理这条从 ResNet 到 HC 再到 mHC，以及从 OverEncoding 到 Conditional Memory 的脉络，不仅能理解技术演进的深层逻辑，更能看清大模型创新的核心方向与开放研究的价值。
智能速览
DeepSeek 的 mHC 论文改进了字节 Seed 的 HC 架构，解决了其大规模训练不稳定的瓶颈。
DeepSeek 的 Conditional Memory 提出了“条件存储”新轴线，是字节 Seed OverEncoding 研究的深化。
研究发现，在固定参数下，将约 20%-25% 参数分配给 Engram（条件存储）效果最优。
从残差连接到超连接，再到多路超连接，大模型底层架构正在经历范式革新。
公开研究成果并互相启发，是推动 AI 技术持续进步的关键力量。
精华内容
技术突破并非一蹴而就，而是一场跨越机构与时间的学术接力。从 ResNet 的恒等映射到字节 Seed 的多路连接，再到 DeepSeek 的流形约束，我们正见证大模型底层架构的持续演进。
信息流动革新
2015 年，ResNet 提出的残差连接成为深度学习基石，但十年间其基本形式未变。直到 2024 年 9 月，字节 Seed 团队提出 HC（Hyper-Connections），通过扩展残差流宽度和引入可学习连接矩阵，打破了传统单路径叠加范式，显著提升了网络拓扑复杂度。
然而，HC 在大规模训练中遭遇了稳定性和可扩展性瓶颈。DeepSeek 的 mHC 正是针对此问题的改进方案。它通过引入 Sinkhorn-Knopp 算法施加流形约束，在保留 HC 性能优势的同时，恢复了训练稳定性。
这一改进，使得 HC 提出的新架构范式从理论实验走向了万亿参数规模的工业级应用，解决了其核心的工程落地难题。
知识检索优化
大模型常需耗费算力计算本可查表解决的事实问题，如“法国首都是哪里”。字节 Seed 的 OverEncoding 研究发现，为模型配备一个巨大的 N-gram 词典能带来几乎“白捡”的性能提升，因为其稀疏激活特性不显著增加计算负担。
DeepSeek 在此基础上更进一步，提出了 Conditional Memory，将 N-gram 词典作为外挂存储（Engram），将其与 MoE 并列为模型扩展的新轴线。通过机制分析，DeepSeek 发现 Engram 能将模型从局部模式重建中解放，增加有效推理深度。
其研究还揭示了一条 U 型缩放规律：在固定参数预算下，将约 20%-25% 的参数分配给 Engram，性能反而优于全押 MoE 的方案。
开放研究价值
DeepSeek 与字节 Seed 的研究接力，生动展示了公开学术成果的巨大价值。当研究成果被社区共享，后续研究者便能站在巨人的肩膀上，针对性地解决前人遗留的瓶颈，从而加速技术迭代。
除了已被接力优化的工作，字节 Seed 在基础研究上还有诸多探索，如验证离散扩散技术路线的 Seed Diffusion Preview、舍弃文本编码器的 SuperClass，以及引入傅里叶原理的 FAN 架构。
这些大胆的尝试，即便短期内无法直接商用，也为整个行业提供了宝贵的思想火种。正是这种持续的积累与相互启发，而非单一的突破，真正推动着科技边界的拓展。
从 DeepSeek 和字节 Seed 的研究中可以看到，大模型的未来不止于堆算力，更在于底层架构的精巧创新。这种跨越机构的学术接力，比任何单一公司的封闭突破都更能激发活力。当顶尖团队愿意公开分享、互相启发时，整个行业的发展速度都将被加快。未来，我们期待看到更多这样的协作，共同探索 AI 技术的下一个奇点。
