Pi的在线强化学习方案RLT来啦!速度提升3倍,专为细粒度操作打造~
视觉-语言-动作(VLA)模型虽然能够“开箱即用”地学习执行各类操作技能,但在面对现实任务所需的精准度与操作速度时,仍需进一步微调。针对这一挑战,Pi提出了一种名为RLT(Reinforcement Learning Transformer)的轻量化在线强化学习方案,旨在通过数小时的真实环境实操,高效地对预训练VLA模型进行微调。
01RLT方案的核心机制
- 提取RL Token
对VLA模型进行适配,提取出紧凑的输出表征“RL Token”。该表征既保留了预训练模型中与任务相关的知识,又为在线强化学习提供了高效的接口。 - 训练轻量级网络头
在RL Token上训练一个轻量级的演员-评论家(Actor-Critic)网络头,以优化动作输出,同时确保学习到的策略能够锚定在VLA模型的基础之上。
02实测性能验证
| 测试任务 | 性能提升指标 | 训练耗时 |
|---|---|---|
| 螺丝装配 | 执行速度最高提升3倍 | 数分钟至数小时 |
| 扎带捆扎 | 执行速度最高提升3倍 | 数分钟至数小时 |
| 充电器插拔 | 执行速度最高提升3倍 | 数分钟至数小时 |
| 网线插接 | 执行速度最高提升3倍 | 数分钟至数小时 |
RLT在四项真实机器人任务中的表现
基于RL Token的在线强化学习(RLT)能够快速、高效地完成大规模VLA模型的强化学习微调。实验数据显示,RLT不仅显著提升了任务成功率,在部分任务中,其执行速度甚至超越了人类远程遥控操作的速度。
当前文章无评论,是时候发表评论了