什么值得买App下载 App ›
连续签到专享现金活动

多模态推理也要带坐标

现有的多模态大模型(MLLM)虽然在图像识别(Perception)方面已取得显著进展,但在涉及空间推理、计数或迷宫解谜等复杂任务时,往往表现不佳。DeepSeek 的最新研究指出,问题的核心不在于模型“看不清”,而在于语言描述无法精准对应密集的空间布局。这种“Reference Gap”导致模型在进行链式思考(Chain-of-Thought)时容易产生逻辑崩溃。为此,研究团队提出了名为“Thinking with Visual Primitives”的新框架,主张将空间标记作为思维的最小单元,让模型在推理过程中能够直接输出坐标和边界框,从而实现更稳健的视觉问答。
01技术瓶颈:从感知到指代的鸿沟

MLLM 能力瓶颈分析

Perception Gap(感知差距)

指模型无法看清图像中的细粒度细节。

  • 目前已通过高分辨率裁剪和动态分块等技术基本解决。
  • 主流前沿模型已具备强大的视觉识别能力。
Reference Gap(指代差距)

指语言难以精准描述密集的空间布局。

  • 纯语言描述具有模糊性,如“左边偏上”容易产生歧义。
  • 导致空间任务中的逻辑链断裂,引发幻觉。
02核心方法:视觉原语推理
为了弥合指代差距,该框架将点(Point)和边界框(Bounding Box)定义为“Visual Primitives”(视觉原语)。在推理过程中,模型不再单纯依赖语言文本,而是将这些空间标记直接交错嵌入思维轨迹中。这种机制使得模型能够“边想边指”,将抽象的语言概念锚定在具体的物理坐标上,确保每一步推理都有明确的视觉依据。

推理模式对比

基于文本的 Chain-of-Thought
  • 完全依赖自然语言描述位置。

  • 在复杂空间布局中容易产生歧义。

  • 难以进行精确的计数或空间定位。

基于坐标的 Visual Primitives
  • 直接输出点和边界框坐标。

  • 将空间标记作为思维单元进行交错推理。

  • 提供无歧义的指针,逻辑更稳健。

03工程优化:极致的 Token 效率
  • Spatial Tokenization
    支持将空间标记转换为模型可处理的 Token。
  • Compressed Sparse Attention
    实现了 7056 倍的视觉压缩,大幅降低计算开销。
  • Multi-Block Token Fusion
    进一步融合空间 Token,再减少 25% 的视觉 Token 数量。
  • 统一 Tokenizer (EvoTok)
    统一处理文本与视觉原语的输入输出。
04实验结论:小模型战胜大模型
模型/指标规模/成本性能表现适用场景
DeepSeek 新方案小模型规模 / 低视觉 Token 预算追平 GPT-5.4、Claude-Sonnet-4.6 等前沿闭源模型计数、空间推理、迷宫、图表解析
传统 MLLM通常依赖大规模参数与高分辨率在复杂空间任务上逻辑易崩溃通用场景描述

DeepSeek 方案与主流模型在视觉推理任务上的对比

实验结果表明,在计数、空间推理、迷宫和图表解析等任务上,该方案在保持较小模型规模和极低视觉 Token 预算的前提下,依然能够达到与 GPT-5.4、Claude-Sonnet-4.6 和 Gemini-3-Flash 相当的性能水平。这不仅证明了“边推理边画框”机制的有效性,也为实现更高效、可扩展的多模态智能提供了新的技术路径。

评论

评论区空态插画

当前文章无评论,是时候发表评论了