什么值得买App下载 App ›
连续签到专享现金活动

DeepSeek连夜删掉的新论文,到底说了什么

DeepSeek 近日短暂公开后又迅速撤回的论文《Thinking with Visual Primitives》,揭示了多模态大模型在视觉推理领域的一项核心瓶颈:引用鸿沟。尽管主流模型如 GPT、Claude 和 Gemini 在图像感知能力上不断提升,但在处理复杂的空间计数或路径追踪时,往往因缺乏精确指向机制而失效。该论文提出了一种朴素却有效的解决方案——引入“视觉原语”,让 AI 模拟人类“边指边想”的协同机制,通过直接输出坐标点或边界框来锚定推理对象。
01技术背景:感知鸿沟与引用鸿沟

多模态推理瓶颈分析

传统路线:优化感知

主流厂商致力于提升视觉清晰度,解决“看得清”的问题。

  • 通过高分辨率裁切、动态分块等技术增加图像细节
  • 将图像转化为大量 Token(如 Gemini 耗费 1100+ 个)
  • 推理过程完全依赖语言空间,容易在复杂场景中丢失上下文
DeepSeek 路线:锚定引用

DeepSeek 提出“引用鸿沟”概念,解决“指得准”的问题。

  • 引入点和框作为“认知锚点”,将坐标嵌入思维链
  • 大幅压缩图像信息(仅用 90 个单元),腾出算力进行“指认”
  • 模拟人类行为,通过“圈一个、数一个”避免逻辑混乱
02核心方案:视觉原语与模型架构
DeepSeek 的核心创新在于定义了两种“视觉原语”作为最小思维单元:一是“框”,用于圈定物体位置;二是“点”,用于追踪路径。这些坐标不再是最终答案,而是嵌入推理过程中的草稿标记。模型底座采用 284B 参数的 MoE 架构,推理时仅激活 13B 参数,配合视觉编码器的三级压缩策略,实现了极高的信息效率。
模型名称图像表征消耗信息压缩策略
Gemini-3-Flash约 1100 token高分辨率,多 Token 覆盖
Claude-Sonnet-4.6约 870 token高分辨率,多 Token 覆盖
GPT-5.4约 740 token高分辨率,多 Token 覆盖
DeepSeek-V4-Flash90 个信息单元压缩 7056 倍,算力用于“指认”

不同模型图像信息处理效率对比

03训练策略:从数据清洗到过程奖励
为了保证训练质量,DeepSeek 从近 10 万个数据源中筛选出 3 万多个高质量数据集,剔除了无意义标签和定位不准确的样本。训练采用“先分后合”策略,先训练专门的画框和标点专家模型,再合并至统一模型。特别设计了过程奖励机制,不仅判断答案对错,更对每一步探索进行打分,迫使模型在走迷宫等任务中认真搜索而非投机猜测。
04实测表现:空间推理能力的代际差异
在迷宫导航和路径追踪等高难度空间推理任务中,DeepSeek 展现出了与传统模型截然不同的行为模式。传统模型倾向于盲目猜测,准确率接近随机(50%);而 DeepSeek 能够像人类一样,一步步输出坐标点进行试探和回溯,证明了其真正具备了逻辑搜索能力。

迷宫任务准确率对决

DeepSeek
  • 准确率:66.9%

  • 策略:利用坐标点逐步探索路径

  • 能力:具备死胡同回溯逻辑

主流模型均值
  • 准确率:约 49.6%

  • 策略:依赖语言描述进行推理

  • 表现:结果接近随机掷硬币

05局限与前景
  • 分辨率限制
    受限于视觉信息单元数量,在数手指等极精细场景下精度不足。
  • 主动触发缺失
    目前无法自主判断何时需要启用视觉原语,依赖特定指令触发。
  • 泛化能力有限
    在训练过的拓扑结构(如圆形迷宫)上表现良好,但面对全新空间结构时可能失效。
尽管存在局限,但 DeepSeek 的这项研究指明了多模态推理进化的新方向:与其在分辨率军备竞赛中堆砌算力,不如教会模型“伸出手指”。通过建立视觉锚点机制,AI 能够在复杂的视觉任务中保持逻辑连贯性,这或许是通向更高级人工智能的关键一步。

评论

评论区空态插画

当前文章无评论,是时候发表评论了