张大妈

北大:多模态模型真的懂物理吗?

源自小红薯:每日ComputerScience

02-06 13:15

当前多模态大模型在视觉生成上日益逼真,但其行为是否遵循真实物理规律?北京大学推出PhysicsMind评测基准,通过真实实验与物理仿真双环境,首次系统性评估模型对基础力学定律的理解与预测能力,直击AI“看起来对”与“物理上对”的核心差异。

北大:多模态模型真的懂物理吗?智能速览

  • 北京大学推出PhysicsMind评测基准,专测AI物理理解能力。

  • 基准覆盖三大经典力学定律:质心、杠杆与惯性。

  • 首创真实实验与物理仿真双环境,评估模型泛化能力。

  • 评测包含问答与视频生成,检验AI理解与预测的物理正确性。

  • 系统性评测31个主流模型,揭示了其在物理推理上的共性短板。

北大:多模态模型真的懂物理吗?精华内容

AI生成的内容看似正确,但其背后是否遵循了物理规律?PhysicsMind基准直指这一核心,通过严谨的设计,对模型进行了一场物理知识的“大考”。

评测之困

现有的多模态大模型评测基准存在明显局限。许多基准偏向于模板化的问答,或在评估视频生成时仅关注画面的视觉相似度,即“像不像”。这种方式无法有效判断模型生成的内容是否遵守了基础的物理定律,导致对模型真实物理世界理解能力的误判。

基准新解

为解决上述问题,PhysicsMind提出了一个统一的评测框架。它在“视觉问答(VQA)”和“视频生成”两大任务上对模型进行考核。更重要的是,评测在真实桌面实验和2D物理引擎仿真两种环境中进行,同一物理设置会在两个环境中复现,以此严格评估模型从仿真到真实世界的泛化能力。

力学三定律

评测内容聚焦于物理学中最基础、最核心的三大定律:质心、杠杆平衡和牛顿第一定律(惯性)。这三者分别对应了几何、因果与动力学三种不同类型的物理认知。为此,基准提出了具体的物理感知指标,如通过质心掩码IoU与中心偏差来评估位置预测,用杠杆最终状态正确率来评估因果推理,以及用轨迹、速度和加速度的一致性来评估动力学预测。

模型共性与短板

研究团队利用PhysicsMind对24个主流VLM和7个视频生成模型进行了大规模评测。结果揭示了一个普遍存在的失败模式:模型倾向于生成在视觉上看似合理,但在物理上却不合规的运动。这表明当前模型对物理世界的理解仍停留在表面关联,并未真正掌握底层的物理规律。

PhysicsMind基准为评估AI的物理世界模型设立了新标准,推动评估体系从“感知美学”走向“物理正确性”。它揭示了当前技术的根本短板,为未来开发真正具备物理常识的AI指明了方向。随着AI与物理世界的交互愈发深入,这样的评测体系将是构建可靠智能系统的关键基石。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章