什么值得买App下载 App ›
连续签到专享现金活动

π0.7发布,VLA押出了机器人的GPT-3时刻

Physical Intelligence发布了全新的VLA模型π0.7,在机器人领域首次证明了Compositional Generalization(组合泛化)能力。该模型无需针对具体任务进行微调,即可通过组合已掌握的原子技能来解决新任务。实验数据显示,π0.7在做咖啡、叠衣服、装箱等复杂任务上的表现,追平甚至超过了经过专项训练的专家模型,标志着具身智能领域通才模型开始涌现出超越专才的能力。
01核心突破:从数据清洗到标签化利用
π0.7的核心方法论在于通过多样化的Prompt来利用多样化的数据。传统VLA训练仅使用单一指令,而π0.7将Prompt扩展为四层结构:任务指令、子任务指令、子目标图像以及Episode元数据(包含数据质量评分、错误状态和执行速度)。这种结构使模型能够区分训练数据的好坏、快慢与对错。
这一改变颠覆了具身领域对“数据清洗”的认知。实验表明,在未加入元数据的版本中,混入低质量数据会导致性能下降;而在加入元数据的版本中,即便数据平均质量下降,模型性能依然随数据量增加而提升。这意味着,只要模型知晓数据的质量标签,失败案例和低质量演示均可转化为有效的训练信号,而非必须被剔除的噪声。
02技术架构与Prompt策略
  • VLM骨干:采用4B参数的Gemma3,负责视觉与语言理解,利用Knowledge Insulation技术保护语义知识不被动作数据污染。
  • Action Expert:860M参数的Transformer,利用Flow Matching生成连续动作Chunk,实现50Hz高频控制。
  • World Model:基于14B的BAGEL图像生成模型初始化,仅负责将任务指令翻译为成功的目标帧,不参与物理演化预测或决策链路,起到消歧作用而非规划作用。
在推理阶段,模型输入包括4路摄像头画面、历史帧、机器人关节状态以及World Model生成的次目标图像。输出为50步的Action Chunk,实际执行15至25步后进行下一步推演。
03性能表现:通才与专才的较量
模型类型训练方式任务表现单位时间完成次数(叠衣/装箱)
π0.7 (通才)无专项训练追平专家模型更多
π*0.6 RL SpecialistRECAP方法单独训练基准高性能较少
π0.6 SFT Specialist针对任务单独微调基准高性能较少

π0.7与专家模型性能对比

实验结果显示,π0.7在未做任何专项训练的情况下,在咖啡制作、衣物折叠和物品装箱三个复杂任务上,全面追平了基于π0.6架构的RL专家模型和SFT专家模型。特别是在叠衣服和装箱这两个高难度任务上,π0.7的单位时间完成次数超过了RL Specialist,实现了通用模型对专用模型的反超。
04四大涌现能力

π0.7涌现能力分类

开箱即用的灵巧性

无需任务专项训练即可完成复杂操作

  • 制作咖啡
  • 叠衣服
  • 剥蔬菜与削皮
  • 更换垃圾袋
指令泛化

理解复杂语义与空间指代

  • 在未见过的厨房和卧室环境执行3-6步开放指令
  • 理解复杂空间描述(如“最大盘子里的水果”)
  • 理解语义指代(如“喝汤用的东西”)
跨本体泛化

策略迁移至不同运动学的机器人

  • 在无UR5e训练数据的情况下完成T恤折叠
  • 任务完成度达85.6%(人类操作员为90.9%)
  • 自主生成适配新运动学的垂直抓取策略
组合任务泛化

执行训练数据中完全不存在的组合任务

  • 使用空气炸锅烤红薯、贝果
  • 操作旋钮与桌面风扇
  • 使用抹布清洁耳机与尺子
值得注意的是,π0.7在跨本体泛化任务中展现出了适应性。例如在叠T恤任务中,尽管训练数据中完全没有UR5e机械臂的样本,π0.7不仅完成了任务,还根据UR5e较长的手臂运动学特点,自主摸索出了与源机器人(倾斜夹爪贴地抓取)完全不同的垂直抓取策略。
05行业意义:VLA路线的胜利
π0.7的发布验证了Physical Intelligence团队长期坚持的技术路线:VLM可以直接控制机器人,无需先建立内部的世界模拟器。与英伟达推崇的“世界模型”路线不同,π0.7证明了通过VLM接驳动作头进行端到端训练的可行性。随着数据规模的增长,VLA模型展现出了超越预设规则、重组技能的新能力,这预示着机器人控制领域正在经历类似大语言模型发展的“涌现时刻”。

评论

评论区空态插画

当前文章无评论,是时候发表评论了