DeepSeek连夜删掉的新论文,到底说了什么
DeepSeek 近日短暂公开后又迅速撤回的论文《Thinking with Visual Primitives》,揭示了多模态大模型在视觉推理领域的一项核心瓶颈:引用鸿沟。尽管主流模型如 GPT、Claude 和 Gemini 在图像感知能力上不断提升,但在处理复杂的空间计数或路径追踪时,往往因缺乏精确指向机制而失效。该论文提出了一种朴素却有效的解决方案——引入“视觉原语”,让 AI 模拟人类“边指边想”的协同机制,通过直接输出坐标点或边界框来锚定推理对象。
01技术背景:感知鸿沟与引用鸿沟
多模态推理瓶颈分析
传统路线:优化感知
主流厂商致力于提升视觉清晰度,解决“看得清”的问题。
- 通过高分辨率裁切、动态分块等技术增加图像细节
- 将图像转化为大量 Token(如 Gemini 耗费 1100+ 个)
- 推理过程完全依赖语言空间,容易在复杂场景中丢失上下文
DeepSeek 路线:锚定引用
DeepSeek 提出“引用鸿沟”概念,解决“指得准”的问题。
- 引入点和框作为“认知锚点”,将坐标嵌入思维链
- 大幅压缩图像信息(仅用 90 个单元),腾出算力进行“指认”
- 模拟人类行为,通过“圈一个、数一个”避免逻辑混乱
02核心方案:视觉原语与模型架构
DeepSeek 的核心创新在于定义了两种“视觉原语”作为最小思维单元:一是“框”,用于圈定物体位置;二是“点”,用于追踪路径。这些坐标不再是最终答案,而是嵌入推理过程中的草稿标记。模型底座采用 284B 参数的 MoE 架构,推理时仅激活 13B 参数,配合视觉编码器的三级压缩策略,实现了极高的信息效率。
| 模型名称 | 图像表征消耗 | 信息压缩策略 |
|---|---|---|
| Gemini-3-Flash | 约 1100 token | 高分辨率,多 Token 覆盖 |
| Claude-Sonnet-4.6 | 约 870 token | 高分辨率,多 Token 覆盖 |
| GPT-5.4 | 约 740 token | 高分辨率,多 Token 覆盖 |
| DeepSeek-V4-Flash | 90 个信息单元 | 压缩 7056 倍,算力用于“指认” |
不同模型图像信息处理效率对比
03训练策略:从数据清洗到过程奖励
为了保证训练质量,DeepSeek 从近 10 万个数据源中筛选出 3 万多个高质量数据集,剔除了无意义标签和定位不准确的样本。训练采用“先分后合”策略,先训练专门的画框和标点专家模型,再合并至统一模型。特别设计了过程奖励机制,不仅判断答案对错,更对每一步探索进行打分,迫使模型在走迷宫等任务中认真搜索而非投机猜测。
04实测表现:空间推理能力的代际差异
在迷宫导航和路径追踪等高难度空间推理任务中,DeepSeek 展现出了与传统模型截然不同的行为模式。传统模型倾向于盲目猜测,准确率接近随机(50%);而 DeepSeek 能够像人类一样,一步步输出坐标点进行试探和回溯,证明了其真正具备了逻辑搜索能力。
迷宫任务准确率对决
DeepSeek
准确率:66.9%
策略:利用坐标点逐步探索路径
能力:具备死胡同回溯逻辑


主流模型均值
准确率:约 49.6%
策略:依赖语言描述进行推理
表现:结果接近随机掷硬币
05局限与前景
- 分辨率限制
受限于视觉信息单元数量,在数手指等极精细场景下精度不足。 - 主动触发缺失
目前无法自主判断何时需要启用视觉原语,依赖特定指令触发。 - 泛化能力有限
在训练过的拓扑结构(如圆形迷宫)上表现良好,但面对全新空间结构时可能失效。
尽管存在局限,但 DeepSeek 的这项研究指明了多模态推理进化的新方向:与其在分辨率军备竞赛中堆砌算力,不如教会模型“伸出手指”。通过建立视觉锚点机制,AI 能够在复杂的视觉任务中保持逻辑连贯性,这或许是通向更高级人工智能的关键一步。
当前文章无评论,是时候发表评论了