针对现有Agent依赖原始记忆导致泛化难的问题,SkillRL提出递归技能增强强化学习,让模型从“记忆”进化为“习得技能”,在多项Benchmark中取得SOTA表现,大幅提升推理效率。
智能速览
技能替代记忆,降低Prompt长度。
三阶段流水线构建分层技能库。
技能与策略协同进化,适应性强。
基于Qwen2.5-7B刷新多项SOTA纪录。
训练收敛速度提升33%,成本更低。
精华内容
告别死记硬背,探索Agent从记忆到技能进化的新路径。
核心机制
SkillRL摒弃传统的Raw Memory检索,构建了三阶段流水线:经验蒸馏将成功与失败轨迹转化为结构化技能;分层技能库自动管理通用及特定任务技能;协同进化机制确保技能库与Policy模型在RL训练中相互修正,根据验证集反馈动态演进,有效帮助Agent跳出局部最优解。
性能优势
实验证明,抽象技能调用优于冗余历史检索。相比传统Memory-based方法,SkillRL使Prompt长度平均减少10.3%,推理更稳定低延迟。同时,Agent不再是黑盒,能像人类一样调用显式技能,如“优先检查核心关键词”,显著提升了系统的可解释性。
实测战绩
仅基于Qwen2.5-7B小模型,SkillRL在ALFWorld任务上成功率达89.9%,超越GPT-4o;在WebShop上达85.2%,完胜EvolveR和Mem0。在HotpotQA等搜索增强问答任务中,平均分达到47.1%,展现出强大的多跳推理能力与模型泛化性。
效率提升
在训练效率方面,相比Vanilla GRPO,SkillRL收敛速度提升33%,且Token开销显著降低。这种高效率训练并未牺牲性能,反而在单步及多步搜索任务上均优于竞品,证明了其在资源受限环境下的实用价值。
SkillRL成功将技能融入模型训练,解决了Agent泛化与效率难题。随着技术成熟,未来Agent或将具备更强的自主进化能力,为复杂任务落地提供新可能。