什么值得买App下载 App ›
连续签到专享现金活动

Agent下一代范式: 将Skills融入模型训练

现有的LLM Agent往往面临死记硬背的困境,单纯存储原始轨迹不仅噪声大,还难以泛化。SkillRL提出了一种将Skills融入模型训练的新范式,通过递归技能增强强化学习,让Agent从单纯的“记忆”进化到“习得技能”,在复杂任务中实现了SOTA表现。
01核心机制:三阶段流水线
SkillRL摒弃了传统的Raw Memory检索,构建了一套包含经验蒸馏、分层技能库和协同进化的三阶段流水线。
  1. 经验蒸馏
    将轨迹转化为结构化技能。成功轨迹固化为策略,失败轨迹提炼为可执行的教训。
  2. 分层技能库 (SkillBank)
    自动构建分层技能体系,包含通用技能和特定任务技能。
  3. 协同进化 (Co-evolution)
    在RL训练过程中,技能库与policy模型递归协同进化,不断根据验证集的反馈修正技能。
02技术优势:抽象优于记忆

技术优势对比

新范式优势
  • 抽象优于记忆,调用抽象后的技能而非检索冗余历史记录

  • 技能随Policy能力提升动态演进,跳出局部最优解

  • Prompt长度平均减少10.3%,推理更稳定且低延迟

  • 可解释性强,能像人类一样调用显式技能

传统方法局限
  • 单纯存储原始轨迹,噪声大且难以泛化

  • 依赖检索冗余历史记录

  • 上下文较长,推理延迟较高

  • 技能调用缺乏显式逻辑

03实验战绩:多项Benchmark刷新纪录
仅使用Qwen2.5-7B小模型,SkillRL就在多个复杂的Agent Benchmark上刷新了纪录。相比传统方法,其在收敛速度、Token开销及模型泛化能力上均有显著提升。
任务/BenchmarkSkillRL (Qwen2.5-7B) 成功率对比对象及结果
ALFWorld89.9%超越 GPT-4o 和 Gemini-2.5-Pro
WebShop85.2%完胜 EvolveR 和 Mem0
Search-Augmented QA平均分 47.1%在 HotpotQA、Bamboogle 等多跳问答任务上拿下 SOTA

SkillRL在不同任务上的性能表现对比

评论

评论区空态插画

当前文章无评论,是时候发表评论了