当前大模型发展面临单纯扩大参数量带来的边际效益递减困境。此文超越算法层面，深入剖析DeepSeek为下一代模型布局的底层架构创新mHC与Engram，揭示它们如何共同解决信号衰减与计算效率瓶颈，为构建更强大的智能系统提供物理基础。
智能速览
大模型单纯Scaling的边际效益递减，需架构层面革新。
mHC通过流形约束解决超长思维链的信号衰减问题。
Engram实现计算与记忆解耦，显著提升参数利用效率。
实验发现记忆与计算参数存在最优的“U型缩放”比例。
Engram的推理卸载能力让超大规模知识库部署成本大降。
未来或将转向架构感知型强化学习，以精准管控异构资源。
精华内容
要理解下一代大模型的演进，必须超越算法层面，深入其物理架构。DeepSeek提出的mHC与Engram，正是为解决当前架构瓶颈而生的两大基石。
稳定深度推理
随着模型参数规模和思维链长度的增加，传统残差连接在超深层网络中面临信号衰减和训练不稳定的物理极限。普通超连接（HC）虽能拓宽通路，但破坏了恒等映射属性，导致训练震荡。DeepSeek提出的mHC（流形约束超连接）通过将混合矩阵约束为双随机矩阵，实现了能量守恒，确保了在多流并行传输中信号范数不变，从根本上解决了“带宽扩容”与“信号稳定”的矛盾。实验显示，mHC不仅训练稳定，最终损失比HC降低0.021，且仅带来6.7%的额外训练开销，为超长思维链推理提供了稳定的物理通路。
解耦记忆与计算
Transformer架构将静态知识编码于FFN权重中，导致高昂的“计算”资源被用于简单的“记忆”任务，效率低下。Engram（条件记忆模块）引入了一个与计算解耦的外挂式静态嵌入表，通过Multi-Head Hashing实现N-gram特征的确定性极速查找，复杂度仅为O(1)。为过滤哈希冲突噪声，它采用上下文感知门控机制，动态调节记忆流入。研究发现，模型性能与计算、存储参数的分配比例呈“U型缩放定律”，当约20%的稀疏参数预算分配给Engram时，模型综合性能最优。
推理卸载能力
Engram的工程突破在于其卓越的推理卸载能力，解决了超大模型部署时的显存瓶颈。由于查表操作仅依赖Token ID，具有确定性，系统可在GPU执行第L层计算时，由CPU并行将第L+1层所需的Engram数据预取到显存中。这种Prefetch-and-Overlap机制将通信延迟完全掩盖，即使将1000亿参数的Engram表完全置于廉价的CPU内存，推理吞吐量损耗也控制在3%以内。这使得在有限显存下部署超大规模知识库模型成为可能，实现了“让内存记忆，让显存思考”的经济模式。
意外提升推理力
Engram的价值远不止于知识问答。在MMLU知识基准上提升3.0分虽在预期之中，但其在BBH（+5.0分）和ARC-Challenge（+3.7分）等硬核推理任务上的显著提升，揭示了其深层机理。LogitLens分析表明，Engram模型在极浅层就完成了对实体概念的确认，从而解放了更多网络层数用于深层的逻辑推导。这证明了为模型“减负”，即剥离其记忆负担，是提升其“智商”的有效路径，让神经网络能更专注于其擅长的逻辑推理。
架构感知型RL
DeepSeek-R1的成功验证了纯强化学习的潜力，但其训练范式仍是“架构不可知”的。随着mHC和Engram构成的异构硬件基础成型，下一阶段必然走向“架构感知型强化学习”。未来的训练目标将是让模型主动学会如何管控其并行计算通路（mHC）与外挂存储资源（Engram）。可能的探索方向包括：训练模型在多流并行中进行多路径假设探索；学习在“计算”与“检索”之间做出显式的元认知选择；以及实现Engram知识库的局部化、低成本在线更新，以应对不断变化的世界。
DeepSeek正通过mHC和Engram，从单纯追求参数规模的“炼丹”范式，转向软硬件高度耦合的“精密架构设计”。这套异构系统结合未来的架构感知型强化学习，或许正是人工智能跨越现有瓶颈、迈向更高阶自主认知的必经之路。这种从底层重构的思路，将如何重新定义智能的边界？
