当前物理AI面临一个核心挑战:如何判断模型行为是否符合物理规律?英伟达提出的PhyCritic模型为此提供了创新解法。它通过一个“先求解、再评判”的自参照机制,让模型在评判前先进行独立物理推理,从而显著提升了评判的稳定性和物理正确性,为构建更可靠的物理AI系统铺平了道路。
智能速览
PhyCritic是首个专为物理AI设计的自参照多模态评判模型。
创新提出“先求解、再评判”的自参照范式,提升判断一致性。
采用两阶段RLVR训练框架,根植模型自身的物理理解。
在专用评测基准PhyCritic-Bench上超越所有开源7B/8B基线。
评判能力能泛化至新领域,并反向增强模型物理推理能力。
精华内容
PhyCritic的核心创新在于其自参照机制,它模仿人类的批判性思维,让模型在评判前先形成自己的判断依据,从而避免了“用不可靠系统监督不可靠系统”的困境。
自参照范式
PhyCritic的核心是“先求解、再评判”的自参照范式。在评判一个模型响应前,它会先生成自己对问题的物理感知与推理预测,并将此作为内部参考标准。这种做法将评判能力根植于模型自身的物理理解,而非单纯依赖外部数据。消融实验明确指出,去除自参照机制会导致性能下降3.6个百分点,证明“自我求解”是提升判断一致性的关键。
两阶段训练
为实现有效的自参照评判,研究设计了名为RLVR的两阶段强化学习训练流程。第一阶段,模型通过物理问答数据进行技能热身,重点增强基础物理感知与推理能力。第二阶段则进行自参照评判微调,联合优化自我预测的准确率与偏好判断的准确率。这种分阶段的训练方式,确保了模型既具备扎实的物理基础,又能精准地应用这些基础进行评判。
性能与泛化
在团队构建的物理AI专用评测基准PhyCritic-Bench上,PhyCritic超越了所有开源的7B和8B基线模型。不仅如此,其物理评判能力还表现出强大的泛化性,在通用的多模态奖励基准上,即便面对未见过的领域,依然能稳定提升判断性能。更有趣的是,当PhyCritic作为策略模型使用时,在CosmosReason1-Bench等物理推理任务上同样表现优异,这证明评判训练能够反向增强模型的物理推理核心能力。
PhyCritic不仅是一个高效的评判模型,更将人类的批判性思维形式化为可训练的机器学习范式,强调了评判能力源自求解能力的深刻洞察。这为未来构建更可靠、更符合世界规律的AI系统提供了重要思路。当AI学会像专家一样先独立思考再评判,离真正的智能还有多远?