什么值得买App下载 App ›
连续签到专享现金活动

视觉推理新突破!Omni-R1:定义多模态推理的「统一生成式思考」

在人工智能领域,多模态大模型正从简单的感知能力向复杂的推理能力迈进。传统的多模态推理主要依赖纯文本的思维链,而最新研究开始探索将视觉信息直接融入推理过程。Omni-R1作为这一方向的突破性成果,通过在推理过程中动态生成中间图像作为依据,定义了生成式多模态推理的统一范式,实现了真正的「统一生成式思考」。
01技术背景与核心逻辑
现有的多模态推理方法往往局限于单一任务特定的模式,如专注于图像特定区域的放大或在图像中标记物体,难以应对现实中需要多样化推理技能的复杂任务。Omni-R1的核心思想是将多种多模态推理技能统一到一个生成式框架中。研究团队指出,实现这一目标需要解决生成图像的质量与推理逻辑的连贯性两大问题。

生成式多模态推理核心技能

核心技能维度
  • 空间关系理解
  • 物体属性识别
  • 视觉定位与标注
  • 逻辑推理与预测
02解决方案:Omni-R1与PeRPO
针对生成图像质量与推理连贯性的挑战,研究团队提出了Omni-R1,采用两阶段优化框架:感知对齐的监督微调(PeSFT)和感知校准的相对策略优化(PeRPO)。通过在训练过程中加入感知优化目标,模型能够生成高质量的功能性图像,并将其作为推理依据,从而在解决空间关系等问题时,通过放大关键区域等视觉操作辅助思考。
03零样本探索:Omni-R1-Zero

训练策略对比

监督微调路径
  • 依赖多模态推理过程标注数据

  • 采用PeSFT与PeRPO两阶段优化

  • 强视觉先验训练,生成质量稳定

零样本自主合成路径
  • 完全无需多模态推理标注数据

  • 利用纯文本CoT数据自主合成

  • 视觉结构更发散,探索空间更大

Omni-R1-Zero探索了在零视觉交错推理标注数据情况下的实现路径。该模型通过从纯文本思维链数据中利用模型自身对思维过程进行可视化,自主合成交错式多模态推理数据。实验结果显示,Zero版本在许多指标上甚至超越了基础监督版本。分析表明,其视觉过程呈现更发散的结构,帮助模型在更广泛的推理空间中寻找正确解答。
04实验表现与应用前景
评估维度Omni-Bench基准通用多模态基准
自然场景感知显著超越基线模型性能提升明显
图表数学准确率大幅提高表现出色
结构化图像具备更强解析力稳定领先
视觉可操控场景预测精准度优异泛化能力强

Omni-R1系列模型实验表现概览

Omni-R1在真实场景中展现了灵活的视觉推理技能,包括放大定位、边界框标注及机器人操作序列的视觉预测。这一技术代表了多模态推理向生成式范式转变的重要一步,未来团队计划探索更高效的无监督信号,进一步释放其在零样本设置下的潜力,为通用人工智能的发展奠定基础。

评论

评论区空态插画

当前文章无评论,是时候发表评论了