张大妈

Agent下一代范式: 将Skills融入模型训练

源自小红薯:屁屁鹏

02-12 10:18

针对现有Agent依赖原始记忆导致泛化难的问题,SkillRL提出递归技能增强强化学习,让模型从“记忆”进化为“习得技能”,在多项Benchmark中取得SOTA表现,大幅提升推理效率。

Agent下一代范式: 将Skills融入模型训练智能速览

  • 技能替代记忆,降低Prompt长度。

  • 三阶段流水线构建分层技能库。

  • 技能与策略协同进化,适应性强。

  • 基于Qwen2.5-7B刷新多项SOTA纪录。

  • 训练收敛速度提升33%,成本更低。

Agent下一代范式: 将Skills融入模型训练精华内容

告别死记硬背,探索Agent从记忆到技能进化的新路径。

核心机制

SkillRL摒弃传统的Raw Memory检索,构建了三阶段流水线:经验蒸馏将成功与失败轨迹转化为结构化技能;分层技能库自动管理通用及特定任务技能;协同进化机制确保技能库与Policy模型在RL训练中相互修正,根据验证集反馈动态演进,有效帮助Agent跳出局部最优解。

性能优势

实验证明,抽象技能调用优于冗余历史检索。相比传统Memory-based方法,SkillRL使Prompt长度平均减少10.3%,推理更稳定低延迟。同时,Agent不再是黑盒,能像人类一样调用显式技能,如“优先检查核心关键词”,显著提升了系统的可解释性。

实测战绩

仅基于Qwen2.5-7B小模型,SkillRL在ALFWorld任务上成功率达89.9%,超越GPT-4o;在WebShop上达85.2%,完胜EvolveR和Mem0。在HotpotQA等搜索增强问答任务中,平均分达到47.1%,展现出强大的多跳推理能力与模型泛化性。

效率提升

在训练效率方面,相比Vanilla GRPO,SkillRL收敛速度提升33%,且Token开销显著降低。这种高效率训练并未牺牲性能,反而在单步及多步搜索任务上均优于竞品,证明了其在资源受限环境下的实用价值。

SkillRL成功将技能融入模型训练,解决了Agent泛化与效率难题。随着技术成熟,未来Agent或将具备更强的自主进化能力,为复杂任务落地提供新可能。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章