面对智驾系统中算力与内存的瓶颈,DeepSeek Engram 提供了一种全新的解决思路。它通过一种创新的参数稀疏化机制,不仅能在不增加计算成本的前提下扩展模型容量,还为车端硬件的存储分级和访存效率优化带来了革命性的可能。
智能速览
Engram 引入了条件式访问 Embedding 的新稀疏化维度。
智驾模型可兼顾权重稀疏化与内存稀疏化,最优配比约 80:20。
其确定性访存模式对 NPU 极其友好,能有效提升解码效率。
理论上可将部分模型参数卸载至低速存储,降低硬件成本。
精华内容
DeepSeek Engram 的价值远不止于模型结构创新,它更像一把钥匙,从模型、系统到硬件成本,层层解锁了智驾系统演进的新路径。
模型架构革新
Engram 核心在于引入了“条件式访问 embedding / memory”的稀疏化维度,这与智驾系统早期的硬切换模型、以及当前主流的 MoE(混合专家模型)权重稀疏化方案都不同。MoE 通过路由激活部分权重,而 Engram 则是条件性地访问庞大的非激活参数。它量化了模型扩增的维度配比,研究表明“权重稀疏化”与“内存稀疏化”之间存在一个约 80:20 的最优比例。这种新增的自由度,为算力与存储资源都极为受限的车端系统提供了在不显著增加计算成本的前提下,大幅扩充模型知识容量的有效途径。
系统性能优化
Engram 的一大特性是其高度确定性的参数访问模式,这对于 NPU(神经网络处理器)而言极为友好。NPU 擅长处理静态、规则的计算负载,而对动态、细粒度的访存模式支持较弱。Engram 的确定性访存,使得 NPU 编译器可以进行深度优化,避免了为动态模式反复调整的困境。特别是在需要进行自回归解码的场景下,Engram embedding 的高稀疏度和确定性,能显著提升访存效率,缓解智驾系统中本就紧张的 LPDDR 带宽压力。
硬件成本重构
最激进的设想在于 Engram 可能重构智驾系统的硬件成本。由于其推理时大部分参数无需常驻在高带宽内存(DDR)中,这为将约五分之一的模型参数卸载到车端大容量、低成本的 UFS 或 NVMe 持久化存储中提供了理论可能。如果工程上得以实现,其意义将是系统性的:它将不再局限于模型效果提升,而是直接降低了平台的物料成本,为“用确定性访存换取存储分级空间”提供了全新的工程工具,甚至可能推动车辆平台向“少配昂贵 DDR”的方向演进。
DeepSeek Engram 为智驾系统的演进提供了一个极具想象力的技术抓手,它贯穿了模型、系统与硬件三个层面。面对行业中存在的概念泡沫与技术停滞,这种深入底层、协同优化的创新思路,或许是推动下一代智能驾驶真正落地的关键力量。