在DeepSeek-R1开源一周年之际，一个代号为Model1的神秘模型悄然现身于代码库。结合其技术细节分析，这不仅可能预示着下一代旗舰模型DeepSeek-V4的到来，更揭示了其在架构与性能上的重大革新，为长文本处理与下一代计算平台的适配提供了新思路。
智能速览
Model1被推测为DeepSeek下一代旗舰模型V4的内部代号。
核心架构从非对称的576维回归至标准的512维。
代码全面适配NVIDIA下一代Blackwell架构，性能大幅提升。
引入Token-level稀疏推理机制，优化长上下文场景下的显存与速度。
新增VVPA和Engram机制，分别用于位置信息衰减和分布式存储。
精华内容
DeepSeek-R1开源一周年之际，一个名为Model1的神秘模型悄然现身于代码库。其背后的技术细节，或许正预示着下一代模型DeepSeek-V4的架构走向。
架构标准化回归
代码分析显示，Model1的核心注意力头维度从此前V3系列的576维回归到512维标准。这预示着DeepSeek-V4可能在架构上进行了“标准化”调整。这一改变或是为了更好地适配NVIDIA Blackwell架构的算力特性，也可能是对Latent压缩比例的进一步优化，以寻求性能与效率的新平衡。
全面拥抱Blackwell
Model1的代码库中出现大量针对NVIDIA Blackwell架构的专门优化。在B200显卡上，运行需要CUDA 12.9版本支持。性能层面，即便未经完全优化的稀疏MLA算子，在B200上也能达到350 TFlops的计算吞吐。而在H800上，其密集MLA算子更是实现了660 TFlops的高吞吐，展现了强大的算力潜力。
稀疏推理革新
Model1最显著的演进是引入了“Token-level Sparse MLA”机制。该机制通过稀疏与密集解码并行，在长上下文场景下能有效降低显存占用并提升推理速度。其KV缓存采用FP8混合精度存储，在计算时则使用bfloat16保证精度，实现了存储与计算的效率平衡。
引入全新机制
代码还暗示了Model1将引入两项新特性。VVPA（数值向量位置感知）机制，可能用于解决传统MLA在超长文本中的位置信息衰减问题。而Engram机制则被视为DeepSeek在分布式存储或KV压缩技术上的新突破，旨在配合Model1实现更高的数据吞吐需求。
综合来看，Model1的出现不仅是DeepSeek技术迭代的一个缩影，更是一次清晰的信号，预示着DeepSeek-V4将在标准化架构、新硬件适配与稀疏计算上迈出关键一步。这些革新能否在最终模型中兑现，并引领新一轮的LLM技术竞赛？
