【论文解读】SkillRL:通过递归技能增强RL,实现Agent自我进化
现有的大型语言模型Agent在处理复杂任务时面临显著的记忆瓶颈。传统的记忆方法倾向于存储原始轨迹,即保存每一步的操作细节,这种做法不仅数据冗余且包含大量噪音,导致Agent难以从过往经验中提取高层次、可复用的行为模式。为此,SkillRL框架提出了一种通过自动技能发现和递归进化来连接原始经验与策略改进的解决方案,旨在赋予Agent类似于人类的抽象与进化能力。
01核心架构:SkillBank技能库
SkillRL的核心在于构建了一个名为SkillBank的分层结构,它并非静态的数据库,而是一个会随着策略进化的知识体。该技能库将技能划分为通用技能和任务特定技能两类,以支持不同层级的决策需求。
- 通用技能(General Skills)
提供战略指导,例如如何制定计划、如何从错误中反思等,适用于跨任务场景。 - 任务特定技能(Task-Specific Skills)
针对特定环境的具体操作,例如在WebShop中如何筛选价格、点击购买按钮等。
02技术机制:经验蒸馏与递归进化
为了解决原始轨迹冗余的问题,SkillRL引入了经验蒸馏机制,并配合递归强化学习实现能力的持续迭代。
- 经验蒸馏
Agent不存储完整的操作日志,而是利用LLM将成功的轨迹转化为战略模式,将失败的教训转化为避坑指南。这一过程显著压缩了上下文,压缩率达到10%-20%,从而从噪音数据中提炼出通用技能。 - 递归进化
SkillBank与Agent的策略同步进化。在强化学习过程中,系统专门分析Agent在验证集中的失败案例,生成新的技能并注入SkillBank。这意味着Agent面临的困难越多,其技能库就越完善,实现了从失败中成长的闭环。
03实测效果:小模型逆袭大模型
在ALFWorld和WebShop等复杂基准测试中,SkillRL展示了显著的性能优势。实验数据显示,该方法在性能提升上超过15.3%,更重要的是,通过技能进化,7B参数的小模型在特定任务上能够超越庞大的GPT-4o。
| 模型/方法 | ALFWorld Score | WebShop Score | 特征描述 |
|---|---|---|---|
| GPT-4o | 75.3 | 48.0 | 闭源大模型,单跳问答 |
| Reflexion | 62.0 | 41.6 | 基于反思的方法 |
| ExpeL | 67.0 | 52.0 | 基于经验的学习 |
| SkillRL (Ours) | 87.6 | 80.3 | 递归技能增强,7B模型 |
不同方法在ALFWorld和WebShop基准测试中的表现对比
- 1SkillRL
- 2GPT-4o
- 3Reflexion
- 4ExpeL
- 5ALFWorld
- 6WebShop
当前文章无评论,是时候发表评论了