DeepSeek在其代码库中悄然更新，一个代号为Model1的新模型引发了社区广泛关注。通过对代码变更的深入分析，可以发现这不仅是简单的版本迭代，更可能预示着下一代旗舰模型DeepSeek-V4在架构设计与推理效率上的重大革新，尤其是在硬件适配与长上下文处理方面。
智能速览
新模型代号Model1现身，被广泛猜测为DeepSeek-V4的预览版本。
核心架构从576维回归到标准的512维，或为匹配新一代硬件。
为NVIDIA Blackwell架构进行了专门优化，性能表现亮眼。
引入Token-level Sparse MLA，旨在提升长上下文场景的推理效率。
新增VVPA与Engram机制，可能解决位置信息衰减与分布式存储难题。
精华内容
深入代码库的蛛丝马迹，可以发现Model1不仅仅是简单的版本迭代，其背后可能预示着DeepSeek在模型架构与推理效率上的重大革新方向。这些技术细节的调整，为下一代模型的能力勾勒出了清晰轮廓。
架构回归512维
Model1在核心架构上做出了关键调整，从DeepSeek-V3.2系列的非对称576维MLA设计，回归到了更为标准的512维配置。这种变化被认为是为了更好地适配NVIDIA下一代Blackwell架构的算力特性，实现更优的计算对齐。同时，这也可能意味着DeepSeek对Latent压缩比例进行了重新优化，旨在平衡模型性能与推理成本，为更广泛的部署铺平道路。
这种回归标准的决策，体现了在技术探索后的一种务实选择，有助于提升模型与现有硬件生态的兼容性。
全面拥抱Blackwell
代码库中出现了大量针对NVIDIA Blackwell（SM100）架构的专门优化，显示了DeepSeek对前沿硬件的快速跟进能力。在B200显卡上运行该模型，需要CUDA 12.9版本，并新增了`FMHACutlassSM100FwdRun`等核心接口调用。
性能数据显示，在B200上尚未完全优化的Sparse MLA算子已能达到350 TFlops的计算吞吐量。而在H800（SM90a）上，Dense MLA的吞吐量更是高达660 TFlops。这些数据初步展示了Model1在新一代硬件上的巨大潜力。
引入稀疏推理机制
Model1相比V3系列最显著的演进是引入了Token-level Sparse MLA机制。通过在测试脚本中同时出现稀疏与密集解码的测试文件，可以看出新模型将采用一种混合推理策略。
具体而言，Sparse算子将使用FP8格式存储KV Cache，以大幅降低长上下文场景下的显存占用，而在关键的矩阵乘法计算环节则切换回bfloat16精度以保证计算准确性。这种设计有效解决了长文本推理时的显存瓶颈与速度问题。
VVPA与Engram机制
除了算子层面的演进，代码还暗示了两种新机制：Value Vector Position Awareness（VVPA）和Engram。VVPA可能用于解决传统MLA架构在超长文本中位置信息衰减的问题，增强模型对远距离依赖的捕捉能力。
Engram机制则被认为是DeepSeek在分布式存储或KV压缩技术上的新突破，旨在配合Model1的高吞吐需求，实现更高效的分布式推理。这两项技术的引入，将进一步提升模型在复杂场景下的表现。
综合来看，Model1所代表的技术演进方向清晰而务实，它通过架构标准化、前沿硬件适配和稀疏推理机制，为下一代开源大模型在性能和效率上设立了新的标杆。这些革新预示着开源社区将迎来能力更强、更易用的旗舰模型。这些改变最终会如何体现在实际应用中，值得期待。
