DeepSeek在其代码库中意外泄露了新模型代号’MODEL1’,引发了对其是下一代旗舰V4还是推理模型R2的广泛猜测。该发现预示着DeepSeek的下一代模型在架构上有重大革新,尤其是在效率和适配性方面,可能带来又一次行业震动。
智能速览
新代号’MODEL1’在DeepSeek的FlashMLA代码库中被发现,暗示全新模型架构。
模型从特殊576维设计回归512维标准,更好适配下一代GPU。
引入稀疏化技术和FP8支持,旨在大幅降低内存占用和提升效率。
行业猜测’MODEL1’可能是即将发布的DeepSeek V4或R2模型。
新模型或已接近完成,预示着发布日期临近。
精华内容
这个’MODEL1’究竟是什么来头?它的技术细节又揭示了哪些未来方向?
代码泄露
这次泄露的源头,来自DeepSeek在GitHub上的一个核心推理优化库项目——FlashMLA。这是一个专门为英伟达GPU进行深度优化的自研工具,是实现DeepSeek模型’低成本高性能’的关键。在最近的代码更新中,开发者们在多达28个文件里发现了此前从未公开的神秘代号:‘MODEL1’。值得注意的是,在代码逻辑中,‘MODEL1’是与’V32’(即DeepSeek-V3.2)并列存在的,这表明它并非V3版本的修补,而是一个采用了全新架构的独立模型,其重要性不言而喻。
核心变革
技术分析显示,‘MODEL1’的核心变化体现在’回归标准’和’极致效率’。此前的V3模型为追求性能,采用了特殊的576维设计,而’MODEL1’则切换回了更为主流和通用的512维标准配置。这一改变能够使其更好地适配英伟达下一代Blackwell(SM100)芯片。此外,'MODEL1’还引入了更高级的稀疏化技术,并在代码中增加了大量对FP8(8位浮点数)数据格式的解码支持,以及针对键值(KV)缓存的优化。这些改进旨在处理长文本时,智能跳过非必要计算,并高效压缩记忆,从而大幅降低内存占用,提升计算效率。
身份猜测
关于’MODEL1’的真实身份,目前主要有两种看法。一种观点认为它是DeepSeek V4。按照命名惯例,V3.2之后的旗舰级架构跨越应为V4,且有外媒报道称DeepSeek计划在2月发布编程能力超越现有顶级的V4模型。另一种观点则认为它是推理模型R2。DeepSeek近期连续发布了关于’优化残差连接’和’AI记忆模块’的重磅论文,如果’MODEL1’整合了这些技术,让AI拥有类似人类的记忆机制,那它极有可能就是备受期待的’R2’。