机器人如何在学习新任务时不忘掉旧技能?传统模型微调时会遭遇“灾难性遗忘”。CLARE框架提出新解法,通过动态扩展模块和自适应路由,让模型能高效、低成本地持续学习,这对需要长期运作的机器人至关重要。
智能速览
传统模型微调新任务会导致“灾难性遗忘”。
CLARE框架冻结原模型,仅训练新增的轻量级适配器。
自适应路由机制能自动识别任务类型并激活对应模块。
动态扩容机制平均每个新任务仅增加约2%的参数量。
实验显示,CLARE在LIBERO基准上实现了近乎零遗忘的学习效果。
精华内容
CLARE框架的核心在于如何智能地分配和扩展计算资源,让模型在不干扰原有知识的基础上,高效地吸收新技能。
灾难性遗忘
传统视觉-语言-动作模型(VLA)在学习新任务时,通常采用微调策略。这种方法的致命弱点是“灾难性遗忘”,即在掌握新知识的过程中,旧技能的权重会被覆盖和削弱,导致模型性能急剧下降。
对于需要在真实环境中长期运行的机器人而言,这无疑是巨大的障碍。它们无法保存所有历史数据来反复训练,因此必须找到一种既能学习新任务,又能保留旧技能的解决方案。
CLARE框架
CLARE框架提出了一种巧妙的“非侵入式”学习策略。它不直接改动原模型的任何参数,而是选择在模型的部分前馈层旁边,插入轻量级的适配器模块。
当学习新任务时,原模型的所有参数会被完全冻结,只有新增的适配器参与训练。这样从根本上避免了新旧知识的直接冲突。如果新任务与已有任务差异巨大,模型才会“按需”进行扩容,否则会优先复用已有的模块,从而实现了高效学习。
任务智能识别
为了在不知晓任务标签的情况下自动调用正确的技能,CLARE设计了一套自适应路由机制。模型的每一层都配备一组小型自编码器判别器,它们专门用来学习不同任务的特征分布。
在推理阶段,当输入数据进来后,哪个判别器的重建误差最小,就代表当前输入最符合它所对应的任务类型。系统会自动激活该判别器绑定的适配器,整个过程无需人工干预,实现了真正的任务无关推理。
高效参数扩展
当遇到一个全新类型的任务时,如何决定是新建模块还是复用旧有模块?CLARE引入了基于z-score的统计判断方法。
系统会计算新任务特征与所有旧判别器之间的匹配度。如果所有旧判别器的匹配度都很低,说明这是一个分布外的新任务,模型会新增一个适配器。如果已有模块能覆盖,则只新增一个判别器而不增加参数。平均下来,每个新任务仅增加约2%的参数量,极大地节省了内存和计算资源。
近乎零遗忘
在LIBERO连续操作基准测试中,CLARE的性能得到了充分验证。其AUC(曲线下面积)和整体任务成功率均全面超过了传统的经验回放方法,即便后者还能使用旧的训练数据。
更关键的是,CLARE的NBT(负向反向迁移)指标接近于0,这意味着模型在学习新任务时几乎没有遗忘旧技能。研究还发现,在模型的Encoder层添加适配器,比在Decoder层效果更好,这为未来模型结构设计提供了参考。
CLARE框架为机器人的持续学习难题提供了一个兼顾效率和效果的实用路径,让“边干边学”且不忘本成为可能。这种思路或许能启发更多领域,探索如何在不重蹈覆辙的前提下实现知识的无限累积。未来的通用机器人,会否都采用类似的学习机制呢?