什么值得买App下载 App ›
连续签到专享现金活动

DeepSeek论文解析:DeepSeek 这次不是给 AI 装眼睛,而是装了一根手指

DeepSeek发布的论文《Thinking with Visual Primitives》展示了多模态技术的一种新取向。不同于单纯追求图像识别清晰度的传统路线,该研究主张在视觉推理中引入坐标、边界框等“视觉原语”,旨在解决模型在复杂交互场景下“指代不准”的问题。这一尝试将视觉能力从单纯的感知输入提升为可执行的交互接口,对浏览器Agent、UI自动化等具身智能应用具有潜在价值。
01核心概念:视觉原语与思考过程
论文提出的核心概念是“视觉原语”,即模型在推理过程中直接使用空间坐标作为思考单元,而非仅仅依赖自然语言描述。这主要通过两种形式实现:一是边界框,用于锁定特定的对象区域;二是点,用于标记路径、轨迹或具体位置。通过将坐标系统嵌入思维链,模型在执行计数、迷宫导航或UI定位等任务时,能够维持空间状态的稳定性,避免因语言描述的模糊性导致的逻辑漂移。
02解决痛点:从“看不清”到“指不准”

技术演进路线对比

传统多模态路线

侧重于提升感知精度,解决“看不清”的问题。

  • 通过高分辨率切片提升图像细节捕捉能力
  • 重点优化物体识别与基础VQA任务表现
  • 依赖自然语言进行空间描述,如“左边那个”
DeepSeek视觉原语路线

侧重于建立指代接口,解决“指不准”的问题。

  • 引入坐标与边界框作为推理的最小单元
  • 强化拓扑推理与空间状态的连续维持
  • 将视觉信息转化为可操作的坐标指令
03关键效能:拓扑推理与数据对比
任务类型DeepSeek模型表现Frontier模型平均水平
DS_Maze_Navigation (迷宫导航)66.9%约50% (Gemini/GPT/Claude)
DS_Path_Tracing (路径追踪)56.7%30% - 46% (GPT/Gemini/Claude)

特定拓扑推理任务准确率对比

在涉及空间状态维持的拓扑推理任务中,引入视觉原语的模型展现出显著优势。此外,该方法在处理图像时的KV Cache条目数显著少于主流大模型,显示出其在长程视觉任务中具备更高的计算效率和潜在成本优势。
04应用前景与局限
  • 浏览器与UI Agent
    能够基于坐标精确执行点击、滚动等操作,减少对不稳定DOM选择器的依赖。
  • 自动化测试与设计还原
    通过定位具体坐标进行Bug归因和组件间距调整,实现更精准的视觉调试。
  • 具身智能与机器人
    为机械臂抓取、路径规划等物理动作提供稳定的空间指引。
尽管该方法在指代精度上有所突破,但目前仍存在一定局限。例如,模型尚不能完全自主判断何时启用视觉原语,且归一化坐标的精度在处理像素级极细任务时仍有不足。此外,在多层遮挡或动态视频等更复杂的真实场景中,其泛化能力仍需进一步验证。
DeepSeek的这项研究实质上是将视觉能力从“感知”向“交互”推进的一步。通过给模型装上一根“手指”,使其能够像人类一样“指哪打哪”,这或许是提升下一代Agent在数字世界中操作可靠性的关键路径。

评论

评论区空态插画

当前文章无评论,是时候发表评论了