Agent下一代范式: 将Skills融入模型训练
现有的LLM Agent往往面临死记硬背的困境,单纯存储原始轨迹不仅噪声大,还难以泛化。SkillRL提出了一种将Skills融入模型训练的新范式,通过递归技能增强强化学习,让Agent从单纯的“记忆”进化到“习得技能”,在复杂任务中实现了SOTA表现。
01核心机制:三阶段流水线
SkillRL摒弃了传统的Raw Memory检索,构建了一套包含经验蒸馏、分层技能库和协同进化的三阶段流水线。
- 经验蒸馏
将轨迹转化为结构化技能。成功轨迹固化为策略,失败轨迹提炼为可执行的教训。 - 分层技能库 (SkillBank)
自动构建分层技能体系,包含通用技能和特定任务技能。 - 协同进化 (Co-evolution)
在RL训练过程中,技能库与policy模型递归协同进化,不断根据验证集的反馈修正技能。
02技术优势:抽象优于记忆
技术优势对比
新范式优势
抽象优于记忆,调用抽象后的技能而非检索冗余历史记录
技能随Policy能力提升动态演进,跳出局部最优解
Prompt长度平均减少10.3%,推理更稳定且低延迟
可解释性强,能像人类一样调用显式技能


传统方法局限
单纯存储原始轨迹,噪声大且难以泛化
依赖检索冗余历史记录
上下文较长,推理延迟较高
技能调用缺乏显式逻辑
03实验战绩:多项Benchmark刷新纪录
仅使用Qwen2.5-7B小模型,SkillRL就在多个复杂的Agent Benchmark上刷新了纪录。相比传统方法,其在收敛速度、Token开销及模型泛化能力上均有显著提升。
| 任务/Benchmark | SkillRL (Qwen2.5-7B) 成功率 | 对比对象及结果 |
|---|---|---|
| ALFWorld | 89.9% | 超越 GPT-4o 和 Gemini-2.5-Pro |
| WebShop | 85.2% | 完胜 EvolveR 和 Mem0 |
| Search-Augmented QA | 平均分 47.1% | 在 HotpotQA、Bamboogle 等多跳问答任务上拿下 SOTA |
SkillRL在不同任务上的性能表现对比
当前文章无评论,是时候发表评论了