传统观念认为机器人数据越多样越好,但一项最新研究挑战了这一直觉。通过剖析任务、具身和专家三个维度,该研究揭示了数据规模化在机器人学习中的复杂作用,并提出了显著提升数据效率的新方法,为构建更强大的机器人基础模型提供了新视角。
智能速览
任务多样性比单个任务的演示数量更为关键。
高质量单具身数据预训练即可实现有效的跨具身迁移。
人类演示中的速度偏好差异会对策略学习造成干扰。
提出的分布去偏方法可有效缓解速度模糊性。
优化后的GO-1-Pro模型性能提升15%,数据效率相当于2.5倍。
精华内容
数据规模化推动了NLP和CV领域的成功,但其在机器人学习中的作用远比想象中复杂。一项最新研究揭示了数据多样性的三个关键维度及其对学习效果的深远影响。
任务多样性优先
研究发现,在预训练阶段,增加任务种类的多样性远比在少数任务上增加演示数量更为关键。实验对比了两种数据采样策略:保留任务多样性的episode采样和专注任务相关性的task采样。结果显示,前者在下游任务上的平均性能高出0.1,尤其在制作三明治这类高理解需求任务上提升达0.26。这证实了在机器人学习中,丰富任务的上下文多样性对泛化能力至关重要。
同时,在任务多样性足够的情况下,模型性能与预训练数据量之间呈现出清晰的幂律关系,表明系统性的数据增长能带来稳定性能提升。
具身迁移之思
研究挑战了必须使用多具身数据进行预训练才能实现跨具身迁移的传统观点。通过在单一具身数据集AgiBot World上训练的模型,与在多具身数据集OXE上训练的模型进行对比,结果出人意料。在向Franka、Arx和Piper等不同机器人平台迁移时,单具身预训练模型在微调后期表现更优,并展现出更好的规模化特性。
这意味着,在保证数据高质量的前提下,专注于单具身数据收集不仅能简化流程,还能构建出更具跨平台适应性的机器人策略。
破解专家干扰
来自不同操作者的演示偏好,尤其是执行速度的差异,并非都是有价值的多模态信息,反而可能成为干扰学习的噪声。例如,相同空间轨迹因速度不同会被模型视为不同动作,导致训练不稳定。
为此,研究提出了一种分布去偏方法,通过训练速度模型(VM)预测预期速度,并对动作序列进行时间缩放,从而统一相似状态下的动作速度。在预训练和微调中一致应用此方法,GO-1-Pro模型性能提升了15%,效果等同于将预训练数据量扩大2.5倍,尤其是在数据稀缺场景下,数据效率提升显著。
机器人数据的规模化并非简单的堆砌,而是一项需要精妙设计的系统工程。重新审视任务、具身与专家多样性带来的启示,或将指引我们走向更高效、更通用的机器人学习未来。如何将这些原则应用于更广阔的自动化场景?