DeepSeek 多模态模型技术报告公开了
DeepSeek近期发布多模态模型技术报告《Thinking with Visual Primitives》,针对多模态模型中语言指代模糊的核心痛点提出了解决方案。该工作未单纯依赖算力堆叠,而是通过引入视觉原语,试图解决纯文字思维链在处理空间关系时难以精确描述位置的问题,旨在将语言推理与视觉位置进行更精确的绑定。
01核心痛点与解决方案
在传统多模态推理中,仅依靠文字描述空间关系(如数人头、走迷宫)往往导致逻辑混乱。DeepSeek提出的方案是将点坐标和边界框定义为思考的最小单位——即“视觉原语”。模型在推理过程中直接输出标记点位置或框选物体,类似人类用手指着物体进行思考,从而将抽象思维锚定在具体的坐标上。
02技术亮点:极致的视觉压缩效率
该模型采用了CSA(Context Shifting Attention)机制,实现了极高的KV缓存压缩率。在处理800x800分辨率的图像时,KV缓存中最终仅保留约90个视觉条目。在极低的视觉Token预算下,模型在计数、空间推理、迷宫等专项任务上的表现,追平甚至超过了GPT-4.4o、Gemini-1.5-Flash等前沿模型。
| 模型/特性 | DeepSeek新模型 | 传统前沿模型(如GPT-4.4o、Gemini-1.5-Flash) |
|---|---|---|
| KV缓存视觉条目(800x800图) | 约90个 | 通常较多,未公开具体极致压缩数据 |
| 空间推理方式 | 输出坐标/边界框(视觉原语) | 主要依赖纯文字思维链描述 |
| 专项任务表现(计数/迷宫) | 追平或超越 | 基准水平 |
DeepSeek多模态模型与传统模型在关键指标上的对比
03训练与局限
- 预训练阶段
使用海量清洗后的网络数据,仅保留高质量边界框,并通过两阶段流水线过滤机器码、私有人称及严重裁切等脏数据。 - 后训练阶段
采用“专家分支”策略,分别训练“用框思考”和“用点思考”的专家模型,最后通过合并蒸馏得到统一模型。 - 验证阶段
在迷宫导航、路径追踪等高逻辑性任务中设计了密集的奖励函数,对探索过程中的行为(如撞墙)进行严格管控。
尽管技术路径务实,该模型目前仍存在一定局限性。在细粒度场景下,视觉原语的输出精准度不足,高分辨率场景处理依然面临压力;同时,这种思考模式目前仍依赖显式触发词激活;在复杂拓扑推理中,跨场景泛化能力尚待打磨。
当前文章无评论,是时候发表评论了