什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

China 3DV 人形机器人论坛-Xue Bin Peng

在当前的具身智能与人形机器人领域,主流的控制范式普遍采用“强化学习(RL)+ 运动追踪”的组合。这一框架由 Xue Bin Peng 等人在 DeepMimic (SIGGRAPH 2018) 中确立,并被广泛应用于 Boston Dynamics、Tesla Optimus 等领先机器人的运动控制中。然而,随着系统复杂度的提升,这套范式中核心的“奖励函数设计”环节正面临严峻挑战,成为制约技术进一步发展的瓶颈。
01手工奖励函数的设计困境
  1. 参数维度爆炸
    原始 DeepMimic 系统已包含超过 20 个奖励参数。而在更现代的系统(如 Any2Track, OmniXtreme)中,奖励函数的复杂程度已上升至需要用专门的表格来进行描述,极大地增加了调参难度。
  2. 跨技能迁移困难
    针对某一特定技能精心调优的奖励函数,在迁移至新技能时往往失效。当数据多样性和技能范围扩大时,这种缺乏通用性的问题尤为突出,导致开发效率低下。
  3. 依赖启发式修补
    为弥补奖励信号的不足,主流系统不得不引入 Early Termination(早停机制)、Reference State Initialization 或 Adaptive Sampling 等启发式策略。这些技巧本质上是在掩盖奖励信号本身信息量不足的问题。
针对上述痛点,Xue Bin Peng 在 China 3DV 论坛上介绍了 Adversarial Differential Discriminators (ADD) 这一新方法。该研究旨在绕过繁琐的人工调参和启发式修补,直接改善奖励函数本身的质量,让机器从数据中自动“学习”奖励函数,而非依赖人工设计。

奖励函数获取方式对比

人工设计与调参
  • 依赖专家经验手工定义奖励权重

  • 需配合 Early Termination 等补丁机制

  • 面对新技能时需重新设计,泛化能力弱

数据驱动的对抗学习
  • 利用判别器自动从参考数据中提取奖励信号

  • 通过微分向量和梯度惩罚优化奖励质量

  • 减少人工干预,提升跨技能适应性

02关键实证发现
在演讲中,Peng 强调了一个反直觉的实证发现:在训练判别器时,仅使用单个正样本配合梯度惩罚,在实践中被证明是有效的。这一发现与 GAN(生成对抗网络)文献中“模式崩塌需要丰富数据分布进行对抗”的常识形成了鲜明对比。
  • 几何结构约束
    微分向量 Δ 的几何结构本身受到物理规律的严格约束,限制了模式崩塌的可能性。
  • 动态负样本分布
    策略生成的负样本分布会随着训练过程动态变化,为判别器提供了持续的学习信号。
  • 正则化作用
    梯度惩罚提供了足够强的正则化效果,使得判别器无法过拟合到单一的参考数据点,从而保持了判别的泛化能力。

评论

评论区空态插画

当前文章无评论,是时候发表评论了