DeepSeek最新发布的两篇论文不仅在技术层面实现了突破，更展现了一幅精彩的学术接力画卷。从2015年ResNet的残差连接，到2024年字节Seed的Hyper-Connections，再到2026年DeepSeek的改进方案，这种跨越机构和时间的协作模式，为大模型架构创新提供了新的思考路径。
智能速览
DeepSeek的mHC论文解决了字节Seed HC在大规模训练中的稳定性问题
Conditional Memory提出了与MoE并列的条件存储新轴线
字节Seed和DeepSeek的研究形成学术接力，共同推动技术进步
N-gram查表机制能显著提升模型性能且成本极低
将20%-25%参数分配给Engram效果最优
公开研究成果的价值正在被重新认识
精华内容
大模型架构的演进并非孤立突破，而是不同研究者持续接力的结果。这种跨越时间和机构的协作，正在塑造AI技术的未来。
残差连接的十年演进
2015年，何恺明提出的ResNet用残差连接解决了深度神经网络训练中的信息失真问题。这个设计成为十年间深度学习的基石，几乎被所有主流架构采用。期间研究者们在注意力机制等方面做了大量改进，但残差连接的基本形式未发生根本变化。
直到2024年9月，字节Seed提出了Hyper-Connections（HC），打破了这一传统。HC通过扩展残差流宽度和引入可学习连接矩阵，在不增加FLOPs的前提下显著提升了网络拓扑复杂度。
HC在走向大规模训练时遇到了瓶颈，出现了训练不稳定和可扩展性受限的问题。尽管如此，它为后续研究指明了方向。
mHC的突破性改进
DeepSeek的mHC论文针对HC在大规模训练中的问题进行了针对性改进。通过引入Sinkhorn-Knopp技术施加流形约束，将HC的广义空间投影回特定流形，在保留性能优势的同时恢复了残差网络的恒等映射特性。
在工程层面，mHC提出了更高效的内核优化，使该范式从理论实验走向万亿级参数规模的工业级应用。基于这些改进，mHC在27B模型的大规模训练中表现出卓越的可扩展性。
从ResNet到HC再到mHC，我们清楚地看到了残差连接算法的演进脉络，这是不同机构研究者持续接力的结果。
条件存储的新轴线
DeepSeek的另一篇Conditional Memory论文解决了一个实际问题：大模型处理简单问题时仍需复杂计算。论文提出的解决方案是给模型配备一个’小抄本’（Engram），将常见词组做成外挂存储，让模型直接查表。
这种N-gram哈希查表的做法，字节Seed在OverEncoding论文中已经验证过其有效性。研究发现，巨大的N-gram词典几乎是’白捡’的性能提升，因为嵌入参数稀疏激活，既不占显存也不费算力，且词典越大性能越好。
DeepSeek更进一步，将N-gram升华为’条件存储’（Conditional Memory），提出了一条与条件计算（MoE）并列的scaling law新轴线。
参数分配的最优解
DeepSeek通过LogitLens等工具进行机制分析，发现lookup机制能将模型从繁重的局部静态模式重建中解放出来，使早期层直接获得高阶语义，增加了模型的有效推理深度。
基于此，DeepSeek提出了’稀疏分配’问题：在固定参数预算下，如何在MoE专家与静态存储模块之间分配参数？实验揭示了一条U型缩放规律。
结果显示，全押MoE并非最优解，将约20%-25%的参数分配给Engram效果最好。在工程实现上，DeepSeek改进了前作仅在输入层注入信息的局限，将Engram注入到中间层，并通过上下文感知门控等优化，使该技术具备了大规模工业落地的能力。
学术接力的价值
DeepSeek和字节Seed在研究上的接力展现了公开研究成果的价值。DeepSeek对于社区优秀成果的挖掘也给了我们启发，类似字节Seed这样的国内团队有很多想法值得探索。
除了提到的OverEncoding，DeepSeek论文中还引用了字节Seed的多项研究，包括稀疏模型架构UltraMem、Seed Diffusion Preview、SuperClass和FAN等。这些底层技术研究虽然在短期内无法商用，但正是无数研究者对未知领域的探索推动着科技行业进步。
真正推动技术进步的，从来不是单一的突破，而是持续的积累与相互启发。
DeepSeek的两篇论文不仅是技术创新的体现，更揭示了学术研究的本质——在接力和启发中共同进步。当越来越多的团队愿意公开分享研究成果，整个行业都将受益。未来的AI技术突破，或许就藏在更多这样的学术接力之中。
