在各大厂商竞相发布新模型的当下，DeepSeek却未见其产品踪影。然而，通过解读其近期连续发布的三篇核心论文，可以窥见其正在酝酿一场AI底层架构的深刻变革。这篇分析将揭示DeepSeek如何从记忆、结构稳定性与输入顺序三个维度，挑战Transformer的传统范式，为下一代模型的演进提供关键线索。
智能速览
MHC论文通过引入流形约束，解决了高密度连接带来的训练不稳定问题。
Ingram论文为模型引入了内置的记忆系统，将记忆调用与推理计算分离。
OCR2论文改变了视觉token的输入顺序，从空间顺序转变为语义因果顺序。
DeepSeek的研究正在挑战Transformer的两个核心假设：信息混合与线性输入。
下一代模型结构或将更加分层，拥有更复杂的拓扑和更强的结构理解能力。
精华内容
DeepSeek并未发布新产品，但其近期三篇论文揭示了AI架构演进的全新方向，从根本挑战现有范式。
MHC：稳定深层网络
深度神经网络训练面临信息消失的挑战，类似北京发信息到广州，修改意见难传回。2015年出现的残差网络（ResNet）通过“高架桥”式直连解决了这个问题，但后续的高密度连接（HC）试图增加多条道路，却引发了参数膨胀和训练不稳定的新问题。
DeepSeek的MHC（Manifold Hyper-Connection）为此提供了解决方案，它并非简单增加道路，而是为每条路设定“交通规则”——即流形约束。这种约束使得在多条信息回传路径上，数据传输更稳定，从而允许模型构建更复杂的结构而不会导致训练崩溃。
Ingram：内置记忆系统
当前大模型的记忆与推理都依赖于注意力机制，所有信息混合计算，缺乏明确分工。这就像每次找资料都要在大脑里全局搜索，效率不高。
Ingram模块的提出旨在改变这一现状，它在模型内部新增了一块专门的神经网络区域，扮演内置记忆系统的角色。这与外部检索增强生成（RAG）不同，Ingram是将知识训练在模型内部，实现更快速的内部知识调用。其核心优势在于将记忆调用与推理计算分离，大幅提升了计算效率，尤其适合处理大规模参数模型。
OCR2：重塑输入顺序
传统Transformer将图像、文档等二维结构强制转换为一维token序列，丢失了原有的结构信息。模型需要耗费大量计算资源来恢复这些结构，这是一种资源浪费。
OCR2的贡献在于改变了视觉token的默认输入前提，认为顺序不应是固定的空间顺序（如从左到右），而应是可学习的语义因果顺序。它尝试为二维结构建立一种可推理的生成顺序，让模型直接理解结构，而非费力恢复。这相当于在模型前端加入了“结构归纳偏置”，使模型能将更多算力用于语义理解本身。
架构的整合与未来
将MHC、Ingram和OCR2三篇论文串联起来，一条清晰的技术路线浮现出来：DeepSeek正在从底层拆解Transformer的通用范式。MHC保证了复杂结构的训练稳定性，Ingram实现了记忆与计算的功能分化，OCR2则重构了输入的结构化理解。
这三者共同指向了下一代模型的特征：结构上更分层、拓扑上更复杂、对二维等非结构化数据的理解能力更强。这标志着AI发展已超越单纯追求规模扩张的阶段，进入了通过结构化创新提升效率与智能水平的新范式。
DeepSeek的研究揭示了AI发展从规模扩张进入结构优化的新阶段。通过拆解记忆、结构与顺序等基础模块，其下一代模型或将展现出更高效的计算能力和更强的逻辑推理能力。这不仅是对Transformer范式的挑战，也为整个AI领域提供了新的演进思路。今年的春节，DeepSeek会带来怎样的架构惊喜？
