DeepSeek 2026年4 月30 日发布几小时后删除的视觉模型技术报告,透露出哪些信息?
DeepSeek近期发布了一份关于多模态大模型的技术报告,该报告虽在发布后不久被删除,但其披露的全新推理框架引起了广泛关注。报告的核心在于提出一种将空间标记内嵌进思维链的方法,旨在解决复杂视觉推理中的指代鸿沟问题,通过引入精确指针提升模型在空间定位与逻辑推理上的表现。
01模型背景与核心架构
该研究致力于解决视觉推理中常见的对象混淆、漏检及空间关系绕晕等问题,其核心思路模仿人类在处理复杂空间任务(如走迷宫、清点密集物体)时的手指指引行为,将这种降低认知负荷的机制抽象为模型的空间定位能力。DeepSeek-VL采用了经典的三段式架构,包含视觉编码器和语言模型。
- 视觉编码器:采用零训练的内部 DeepSeek-ViT,支持任意分辨率输入,并通过 CSA 机制对 KV cache 中的视觉 token 进行 4 倍压缩,整体实现 7056 倍的压缩率。
- 语言模型:基于 DeepSeek-V4-Flash,总参数量为 284B,激活参数为 13B。
02核心创新:空间标记内嵌思维链
为了实现语言与图像之间的精确指代,模型创新性地将空间坐标直接作为思维链的一部分。具体实现方式包括以下两种标记形式:
空间标记类型
框选标记
格式:<|ref|>TARGET<|/ref|><|box|>[[x1,y1,x2,y2],...]<|/box|>
TARGET 为对象的占位符,通过坐标框精确定位目标区域。


指点标记
格式:<|point|>[[x1,y1],[x2,y2]...]<|/point|>
直接使用坐标点替换 TARGET,将具体点位信息嵌入思维链。
03数据构建与训练策略
高质量的数据构造是支撑该框架的关键。预训练阶段消耗了数T Tokens,主要来源于开源数据集和网络采集。针对网络财经数据,研究团队通过两层流水线过滤,并基于类别采样策略,最终筛选出超过 4000 万条高质量数据。在后训练阶段,设计了四种特定任务来强化模型的视觉单元思考能力。
| 任务类型 | 样本量 | 核心目的 | 数据生成特点 |
|---|---|---|---|
| 计数 | 1万条 | 粗/细粒度对象统计 | 包含负样本以对抗幻觉,过滤高密度与模糊对象。 |
| 空间推理与通用VQA | 9000条 | 缓解指称歧义 | 结合自然场景与合成场景,构建拒绝回答的负样本。 |
| 迷宫导航 | 46万条 | 拓扑推理能力 | 使用 DFS 等算法合成,基于 DFS 模板描述探索回溯过程。 |
| 路径追踪 | 12.5万条 | 曲率连续性追踪 | 引入 uniform-style 模式,迫使模型依赖曲率而非颜色。 |
后训练阶段任务设计与数据分布
训练流程采取先专家后合并的策略,分为 Specialized SFT、Specialized RL、统一强化微调和策略蒸馏四个阶段。通过分别训练 FTwG(thinking with grounding)和 FTwP(thinking with pointing)专家模型,再利用 GRPO 强化学习和全词表 logit 蒸馏,最终将两者的推理能力压缩进统一的模型中。
04总结与用户反馈
DeepSeek 提出的在视觉思维链中增加 box 和 point 的思路,为解决视觉推理过程中的目标混淆与丢失问题提供了新的技术路径。报告显示实验结果效果显著,标志着模型能力从“看得更多”向“看得更准”迈进。
值得注意的是,尽管技术报告展示了积极的理论成果,但部分用户在实际测试中发现模型在复杂的空间逻辑推理方面表现仍有波动,认为其空间能力和逻辑推理能力尚有提升空间。这种理论预期与实测体验之间的差异,也成为了业界关注的焦点。
当前文章无评论,是时候发表评论了