China 3DV 人形机器人论坛-Xue Bin Peng
在当前的具身智能与人形机器人领域,主流的控制范式普遍采用“强化学习(RL)+ 运动追踪”的组合。这一框架由 Xue Bin Peng 等人在 DeepMimic (SIGGRAPH 2018) 中确立,并被广泛应用于 Boston Dynamics、Tesla Optimus 等领先机器人的运动控制中。然而,随着系统复杂度的提升,这套范式中核心的“奖励函数设计”环节正面临严峻挑战,成为制约技术进一步发展的瓶颈。
01手工奖励函数的设计困境
- 参数维度爆炸
原始 DeepMimic 系统已包含超过 20 个奖励参数。而在更现代的系统(如 Any2Track, OmniXtreme)中,奖励函数的复杂程度已上升至需要用专门的表格来进行描述,极大地增加了调参难度。 - 跨技能迁移困难
针对某一特定技能精心调优的奖励函数,在迁移至新技能时往往失效。当数据多样性和技能范围扩大时,这种缺乏通用性的问题尤为突出,导致开发效率低下。 - 依赖启发式修补
为弥补奖励信号的不足,主流系统不得不引入 Early Termination(早停机制)、Reference State Initialization 或 Adaptive Sampling 等启发式策略。这些技巧本质上是在掩盖奖励信号本身信息量不足的问题。
针对上述痛点,Xue Bin Peng 在 China 3DV 论坛上介绍了 Adversarial Differential Discriminators (ADD) 这一新方法。该研究旨在绕过繁琐的人工调参和启发式修补,直接改善奖励函数本身的质量,让机器从数据中自动“学习”奖励函数,而非依赖人工设计。
奖励函数获取方式对比
人工设计与调参
依赖专家经验手工定义奖励权重
需配合 Early Termination 等补丁机制
面对新技能时需重新设计,泛化能力弱


数据驱动的对抗学习
利用判别器自动从参考数据中提取奖励信号
通过微分向量和梯度惩罚优化奖励质量
减少人工干预,提升跨技能适应性
02关键实证发现
在演讲中,Peng 强调了一个反直觉的实证发现:在训练判别器时,仅使用单个正样本配合梯度惩罚,在实践中被证明是有效的。这一发现与 GAN(生成对抗网络)文献中“模式崩塌需要丰富数据分布进行对抗”的常识形成了鲜明对比。
- 几何结构约束
微分向量 Δ 的几何结构本身受到物理规律的严格约束,限制了模式崩塌的可能性。 - 动态负样本分布
策略生成的负样本分布会随着训练过程动态变化,为判别器提供了持续的学习信号。 - 正则化作用
梯度惩罚提供了足够强的正则化效果,使得判别器无法过拟合到单一的参考数据点,从而保持了判别的泛化能力。
当前文章无评论,是时候发表评论了