张大妈

无需训练,AI学会主动找视角提升空间推理

源自小红薯:代码熊大模型论文分享

01-15 19:39

在复杂的3D环境中,传统视觉语言模型因视角受限,难以完成“镜子在哪”这类具身问答任务。一项名为Chain-of-View的新研究提出了一种巧妙的解决方案,无需额外训练,就能让模型主动探索、寻找最佳视角,从而显著提升其空间推理能力。

无需训练,AI学会主动找视角提升空间推理

无需训练,AI学会主动找视角提升空间推理智能速览

  • 传统视觉语言模型受限于固定视角,无法主动探索环境。

  • Chain-of-View提示框架让模型学会像人一样多步推理。

  • 该方法通过粗粒度选择和细粒度调整两阶段寻找最佳视角。

  • 整个框架无需修改模型参数,不增加训练成本。

  • 在主流基准测试中平均将空间推理分数提升11.56%。

无需训练,AI学会主动找视角提升空间推理精华内容

这项技术的核心,是赋予AI主动观察的权利。它不再是被动接收信息,而是像侦探一样,通过一系列动作推理,一步步拼凑出完整答案。

视角的困境

在3D环境中回答问题,AI常因视角问题“看不全”。比如问“镜子在哪?”,答案可能在不同角度或被遮挡。现有视觉语言模型只能处理预设的固定视角,如同被绑在椅子上看世界,无法像人一样转身、走近观察。这种被动接收信息的方式,导致模型在处理复杂空间推理时,因缺乏关键上下文而表现不佳。

两阶段探索法

Chain-of-View(CoV)框架通过模仿人类行为来解决这个问题。第一阶段是粗粒度视角选择,模型会快速扫描所有候选视角,找出与问题最相关的“锚点视角”,确定大致方向。第二阶段是细粒度视角调整,模型会进入“动作-推理”循环:根据当前观察和问题生成动作指令(如“右转10度”),获取新视角后继续推理,直到找到最终答案。

无需训练,AI学会主动找视角提升空间推理

亮眼的数据

实验数据证明了CoV的有效性。在OpenEQA基准测试中,该框架在四个主流视觉语言模型上平均提升了11.56%的LLM-Match分数,其中在Qwen3-VL-Flash模型上提升最高,达到13.62%。更有趣的是,它展现出“测试时缩放”特性,即允许更多动作步数,还能再带来2.51%的平均提升。在ScanQA和SQA3D数据集上也取得了SOTA级别的分数。

未来的应用

CoV框架最大的优势在于其模型无关性和零训练成本。它是一种可以应用到多种现有视觉语言模型上的“即插即用”策略。这种通过巧妙提示来激发模型潜能的思路,为AI在机器人导航、智能家居控制、虚拟现实交互等领域的应用开辟了新的可能,让AI向更自主的智能体迈进了一步。

Chain-of-View框架巧妙地绕开了模型训练的壁垒,通过“授人以渔”的方式,让现有AI获得了探索未知空间的能力。这不仅是对空间推理的一次显著增强,也预示着未来AI交互将更加智能和主动。当AI学会自己“找角度”,它还能解锁哪些我们未曾想象的潜能?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章