张大妈

英伟达:物理感知的多模态评判模型

源自小红薯:大模型任我行

03-05 15:17

当前物理AI面临一个核心挑战:如何判断模型行为是否符合物理规律?英伟达提出的PhyCritic模型为此提供了创新解法。它通过一个“先求解、再评判”的自参照机制,让模型在评判前先进行独立物理推理,从而显著提升了评判的稳定性和物理正确性,为构建更可靠的物理AI系统铺平了道路。

英伟达:物理感知的多模态评判模型智能速览

  • PhyCritic是首个专为物理AI设计的自参照多模态评判模型。

  • 创新提出“先求解、再评判”的自参照范式,提升判断一致性。

  • 采用两阶段RLVR训练框架,根植模型自身的物理理解。

  • 在专用评测基准PhyCritic-Bench上超越所有开源7B/8B基线。

  • 评判能力能泛化至新领域,并反向增强模型物理推理能力。

英伟达:物理感知的多模态评判模型精华内容

PhyCritic的核心创新在于其自参照机制,它模仿人类的批判性思维,让模型在评判前先形成自己的判断依据,从而避免了“用不可靠系统监督不可靠系统”的困境。

自参照范式

PhyCritic的核心是“先求解、再评判”的自参照范式。在评判一个模型响应前,它会先生成自己对问题的物理感知与推理预测,并将此作为内部参考标准。这种做法将评判能力根植于模型自身的物理理解,而非单纯依赖外部数据。消融实验明确指出,去除自参照机制会导致性能下降3.6个百分点,证明“自我求解”是提升判断一致性的关键。

两阶段训练

为实现有效的自参照评判,研究设计了名为RLVR的两阶段强化学习训练流程。第一阶段,模型通过物理问答数据进行技能热身,重点增强基础物理感知与推理能力。第二阶段则进行自参照评判微调,联合优化自我预测的准确率与偏好判断的准确率。这种分阶段的训练方式,确保了模型既具备扎实的物理基础,又能精准地应用这些基础进行评判。

性能与泛化

在团队构建的物理AI专用评测基准PhyCritic-Bench上,PhyCritic超越了所有开源的7B和8B基线模型。不仅如此,其物理评判能力还表现出强大的泛化性,在通用的多模态奖励基准上,即便面对未见过的领域,依然能稳定提升判断性能。更有趣的是,当PhyCritic作为策略模型使用时,在CosmosReason1-Bench等物理推理任务上同样表现优异,这证明评判训练能够反向增强模型的物理推理核心能力。

PhyCritic不仅是一个高效的评判模型,更将人类的批判性思维形式化为可训练的机器学习范式,强调了评判能力源自求解能力的深刻洞察。这为未来构建更可靠、更符合世界规律的AI系统提供了重要思路。当AI学会像专家一样先独立思考再评判,离真正的智能还有多远?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章