什么值得买App下载 App ›
连续签到专享现金活动

Artemis:结构化视觉推理框架

当前主流的多模态大语言模型(MLLM)在处理视觉推理任务时,往往面临“看不清”关键细节的困境。例如在“找出图中最矮球员”的任务中,模型常因推理过程中的定位偏差而给出错误答案。这种现象的本质原因在于,现有模型普遍采用“语言主导”的推理方式,依赖纯文本的链式思维(CoT)。由于语言推理缺乏明确的空间约束,模型难以稳定对齐视觉目标,导致最终输出的定位不准或框选偏移。
01核心技术:结构化视觉推理(SVR)
为了解决传统语言推理在视觉空间中的失配问题,Artemis 提出了结构化视觉推理(Structured Visual Reasoning,SVR)。该方法要求模型在推理过程中显式产出带有空间位置的阶段标签(label, bounding-box)。与纯文本的CoT不同,SVR将中间推理步骤转化为可验证的视觉证据,使推理过程首次具备可监督性与可审计性。

推理策略对比

传统链式思维 (CoT)
  • 依赖纯文本进行解释与推理

  • 缺乏视觉空间约束

  • 难以保证与视觉目标对齐

  • 推理过程不可直接监督

Artemis 结构化推理
  • 显式生成对象与空间位置(bbox)

  • 推理在视觉空间中直接展开

  • 中间态可与标注精确对齐(IoU)

  • 具备可追踪、可复用的中间过程

02优化机制:统一RL框架与多维奖励
为了使模型真正实现“看清楚再思考”,Artemis 在统一的强化学习(RL)框架下进行优化。在视觉推理过程中,模型必须显式生成一系列 bounding boxes,将推理链转化为“可控的中间过程”。该系统的奖励机制由三部分组成,旨在精准引导模型的视觉关注点与决策逻辑。
  • 基础奖励:确保任务完成的基本正确性。
  • 空间验证奖励:基于生成的 bbox 与真实标注的 IoU(交并比),这是体现“看得准”能力的关键指标。
  • 逻辑连贯奖励:保证推理步骤在视觉逻辑上的合理性。
03实验效果:关键场景的质变提升
Artemis 在关键困难场景中表现出了显著的性能提升,这种提升并非微小的数值优化,而是质的飞跃。实验显示,模型在高 IoU 任务中的表现尤为突出,说明其整体场景理解能力显著增强。即使在完全不在训练分布中的任务上,Artemis 依然保持稳定,验证了其结构化视觉推理的泛化能力。
评估维度传统语言推理Artemis (SVR)
空间对齐能力依赖飘忽不定的语言链条显式产出空间位置,精确对齐
推理过程不可监督、不可审计可监督、可追踪、可复用
泛化能力受语言先验误导,易偏差在未见任务中表现稳定
定位精度框选易偏移高 IoU,定位准确

Artemis 与传统推理方式效果对比

综上所述,Artemis 的核心价值在于确立了“视觉任务应在视觉空间中展开推理”的原则。通过将推理过程从语言空间拉回视觉空间,并引入结构化的 bounding boxes 作为中间证据,该框架有效解决了语言先验误导和过程不可监督的问题。这一突破为提升多模态模型的场景理解与决策能力提供了新的技术路径。

评论

评论区空态插画

当前文章无评论,是时候发表评论了