多模态推理也要带坐标
现有的多模态大模型(MLLM)虽然在图像识别(Perception)方面已取得显著进展,但在涉及空间推理、计数或迷宫解谜等复杂任务时,往往表现不佳。DeepSeek 的最新研究指出,问题的核心不在于模型“看不清”,而在于语言描述无法精准对应密集的空间布局。这种“Reference Gap”导致模型在进行链式思考(Chain-of-Thought)时容易产生逻辑崩溃。为此,研究团队提出了名为“Thinking with Visual Primitives”的新框架,主张将空间标记作为思维的最小单元,让模型在推理过程中能够直接输出坐标和边界框,从而实现更稳健的视觉问答。
01技术瓶颈:从感知到指代的鸿沟
MLLM 能力瓶颈分析
Perception Gap(感知差距)
指模型无法看清图像中的细粒度细节。
- 目前已通过高分辨率裁剪和动态分块等技术基本解决。
- 主流前沿模型已具备强大的视觉识别能力。
Reference Gap(指代差距)
指语言难以精准描述密集的空间布局。
- 纯语言描述具有模糊性,如“左边偏上”容易产生歧义。
- 导致空间任务中的逻辑链断裂,引发幻觉。
02核心方法:视觉原语推理
为了弥合指代差距,该框架将点(Point)和边界框(Bounding Box)定义为“Visual Primitives”(视觉原语)。在推理过程中,模型不再单纯依赖语言文本,而是将这些空间标记直接交错嵌入思维轨迹中。这种机制使得模型能够“边想边指”,将抽象的语言概念锚定在具体的物理坐标上,确保每一步推理都有明确的视觉依据。
推理模式对比
基于文本的 Chain-of-Thought
完全依赖自然语言描述位置。
在复杂空间布局中容易产生歧义。
难以进行精确的计数或空间定位。


基于坐标的 Visual Primitives
直接输出点和边界框坐标。
将空间标记作为思维单元进行交错推理。
提供无歧义的指针,逻辑更稳健。
03工程优化:极致的 Token 效率
- Spatial Tokenization
支持将空间标记转换为模型可处理的 Token。 - Compressed Sparse Attention
实现了 7056 倍的视觉压缩,大幅降低计算开销。 - Multi-Block Token Fusion
进一步融合空间 Token,再减少 25% 的视觉 Token 数量。 - 统一 Tokenizer (EvoTok)
统一处理文本与视觉原语的输入输出。
04实验结论:小模型战胜大模型
| 模型/指标 | 规模/成本 | 性能表现 | 适用场景 |
|---|---|---|---|
| DeepSeek 新方案 | 小模型规模 / 低视觉 Token 预算 | 追平 GPT-5.4、Claude-Sonnet-4.6 等前沿闭源模型 | 计数、空间推理、迷宫、图表解析 |
| 传统 MLLM | 通常依赖大规模参数与高分辨率 | 在复杂空间任务上逻辑易崩溃 | 通用场景描述 |
DeepSeek 方案与主流模型在视觉推理任务上的对比
实验结果表明,在计数、空间推理、迷宫和图表解析等任务上,该方案在保持较小模型规模和极低视觉 Token 预算的前提下,依然能够达到与 GPT-5.4、Claude-Sonnet-4.6 和 Gemini-3-Flash 相当的性能水平。这不仅证明了“边推理边画框”机制的有效性,也为实现更高效、可扩展的多模态智能提供了新的技术路径。
当前文章无评论,是时候发表评论了