机器人仅靠视觉无法完成精细操作,因许多动作“看起来可行”实则错误。TouchGuide提出了一种创新范式,通过在推理阶段引入触觉引导,有效解决了这一核心痛点,让机器人动作更符合物理现实。
智能速览
机器人精细操作失败的核心原因是缺乏触觉反馈。
TouchGuide通过两阶段机制,在推理阶段引入触觉引导。
接触物理模型(CPM)负责校正动作,使其满足物理约束。
配套的TacUMI系统以低成本采集高质量触觉数据。
在多项高难度任务上,TouchGuide性能显著优于现有方法。
精华内容
如何让机器人真正“感知”世界,而非仅仅“看见”?TouchGuide的答案在于其创新的两阶段推理机制,在关键时刻让触觉发挥作用,确保动作的物理可行性。
视觉的局限性
在擦花瓶、系鞋带这类高接触密度任务中,仅依赖视觉的机器人常常失败。这是因为视觉只能判断一个动作“看起来”是否合理,无法感知真实的物理接触状态,如力度、角度或滑动。例如,一个从视觉看完美的抓取动作,可能因用力过猛而捏碎物体,或因角度偏差而无法插入,导致任务失败。这种感官上的缺失是机器人精细操作的主要瓶颈。
两阶段引导机制
TouchGuide的核心在于其巧妙的推理时干预策略。它并不重新训练整个模型,而是作为一个引导模块,在预训练的视觉运动策略执行过程中介入。第一阶段,策略仅依靠视觉,快速生成一个初始的、视觉上合理的粗糙动作。第二阶段,TouchGuide引入触觉模型,对初始动作进行精细校正,确保其不仅“看起来对”,更“摸起来对”。
CPM的触觉校正
负责校正的是接触物理模型(CPM)。该模型通过少量专家示范,以对比学习方式训练而成,能够评估一个动作在特定任务下的“触觉可行性分数”。在推理时,CPM输出的分数会引导动作采样过程,使其逐步向满足物理接触约束的方向收敛,从而过滤掉那些视觉上可行但物理上会失败的动作。
低成本数据采集
为了支撑CPM等模型的训练,研究团队还推出了TacUMI数据采集系统。该系统在成本与精度间取得了出色平衡,其关键在于使用刚性指尖直接获取触觉反馈,避免了软体传感器带来的信号延迟与失真,能以较低成本采集到高保真度的触觉数据,为技术落地提供了有力支撑。
实验性能优势
在鞋带系缚、芯片交接、花瓶擦拭、锁具开启和黄瓜削皮等五项极具挑战性的密集接触任务中,TouchGuide展现了压倒性优势。对比实验显示,纯视觉策略(如pi05)在多数任务中遭遇失败,如抓取滑脱、插入错误等。而TouchGuide则能持续、稳定地完成任务,其成功率显著优于当前最优的视觉-触觉策略。
TouchGuide通过巧妙的推理时触觉引导,显著提升了机器人在密集接触任务中的表现,为具身智能领域带来了新的突破。它让机器人的操作从“看起来对”进化到“摸起来对”,这将是通向更高级人机交互的关键一步。