最近DeepSeek发布的两篇论文引发了广泛关注，其技术路线被发现与字节跳动的工作有诸多关联。这并非简单的借鉴，而是学术研究的正常迭代。本文将深入剖析DeepSeek在模型“骨架”与“记忆”上的两大创新——mHC与Engram，梳理其从何恺明、字节到自身的演进路径，揭示AI技术螺旋上升的发展规律。
智能速览
DeepSeek最新论文mHC与Engram，其技术基础可追溯至字节跳动团队的研究。
模型骨架从何恺明的残差连接，演进为字节的超连接，最终由DeepSeek的mHC稳定化。
DeepSeek通过双随机矩阵约束，解决了超连接架构中的信号不稳定问题。
模型记忆从静态N-gram，发展为字节的Over-Encoding，最终由DeepSeek的Engram实现动态激活。
Engram通过门控机制，让模型能根据上下文智能调用相关的静态知识记忆。
研究发现，将约25%的参数预算从计算分配给记忆模块，模型性能最优。
精华内容
技术演进如同一场接力赛，从经典架构到前沿探索，每一步创新都为后人铺路。DeepSeek近期的工作，正是在前人智慧之上的精准突破，值得深入探究。
信息骨架演进
深度学习的“信息骨架”始于何恺明提出的残差连接。面对网络加深导致的性能退化，残差连接通过y=F(x)+x的设计，让网络层学习“残差”而非完整映射，为梯度流提供了一条跨层“高速公路”，使得训练超深网络成为可能，成为现代AI模型的基石。
然而，残差连接的单向量信息传递通道，随着模型规模扩大，逐渐成为瓶颈。字节豆包团队提出的超连接架构，将这条“单行道”扩建为拥有n条并行车道（扩展率）的“立交桥”，即一个超隐藏矩阵H。HC通过可学习的连接矩阵，让网络自主决定层内信息混合和层间信息传递的方式，打破了传统固定的串行模式，显著提升了性能。
但HC的灵活性牺牲了稳定性，其无约束的连接矩阵可能导致信号在多层传递后爆炸或消失。DeepSeek提出的mHC（Manifold-Constrained Hyper-Connections）则为这座立交桥加装了“智能交通系统”。核心是强制连接矩阵为双随机矩阵，确保信号在传递中能量守恒（凸组合）且组合封闭，从根本上保证了训练稳定性。通过底层的CUDA算子优化，mHC带来的额外训练开销被压缩至6.7%，使其具备了大规模实用价值。
记忆范式优化
与骨架并行的是模型“记忆”范式的优化。早期的N-gram模型通过统计词共现进行“统计式记忆”，但存在数据稀疏性等问题。深度学习时代，字节Seed团队的Over-Encoding工作将N-gram思想融入Transformer。
Over-Encoding的核心是输入输出不对称：极大扩展输入端的N-gram词表至千万级别，而输出端仍预测单词。这种稀疏查找几乎不增加计算量，却实现了“记忆换算力”，让一个4亿参数模型达到10亿参数模型的性能。但此记忆是静态的，缺乏上下文动态选择。
DeepSeek的Engram则将“静态记忆”升级为“动态条件记忆”。它构建一个巨大的N-gram哈希嵌入表，但关键在于引入门控机制：利用当前层的隐藏状态作为查询，动态筛选并激活与上下文相关的记忆。这使得记忆可以被卸载到CPU内存或SSD，绕开GPU显存限制。实验发现，“计算”与“记忆”的资源分配存在U型定律，将20%-25%的稀疏参数预算从计算专家（如MoE）转移给记忆模块（Engram），能达到最佳性能。
科研螺旋演进
mHC和Engram的演进路线，都体现了相互学习、相互启发的螺旋式迭代过程。这背后是计算机领域开放友好的研究氛围。团队们敢于挑战经典范式，愿意投入资源进行大规模实验验证，并且乐于分享思考过程与实践结果，让思想得以流动、碰撞。
学术研究并非零和博弈，而是一个不断累积、持续攀登的过程。前人的探索成为后人的阶梯，这种合作共赢的精神，是中国AI研究和生态日趋成熟的缩影，其价值远超任何一个单一的模型或论文。
DeepSeek的探索展现了AI研究“站在巨人肩膀上”的真实图景。从理论突破到工程落地，每一步迭代都充满智慧。这种开放协作、持续优化的精神，正推动着整个生态向前迈进，未来或许还有更多范式级别的变革等待着我们。
