大型语言模型智能体在经验泛化上存在瓶颈，难以将过往成功有效复用到新任务。Skill-RL框架为此提供了全新思路，它通过技能抽象和分层技能库，将冗余经验提炼为可重用的结构化技能，显著提升了智能体在复杂任务中的表现，为小模型完成高难度任务开辟了可能。
智能速览
Skill-RL旨在解决大型语言模型智能体经验泛化能力差的核心痛点。
通过经验蒸馏模块，将轨迹提炼为技能，实现10到20倍的令牌压缩。
分层技能库设计区分通用与任务特定技能，平衡了效率与价值。
递归进化机制确保技能库与智能体策略能够同步优化和进化。
在ALFWorld任务中成功率达89.9%，显著超越GPT-4等基线模型。
精华内容
Skill-RL框架究竟如何实现经验的抽象与复用？其背后三大核心模块——经验蒸馏、分层技能库与递归进化机制，共同构成了这套智能体自我进化的关键引擎。
经验蒸馏提炼
传统方法存储原始轨迹，导致上下文开销大且充满噪声。Skill-RL的核心第一步是经验蒸馏，它会收集智能体成功与失败的轨迹，通过教师模型将其提炼成简洁的技能。这个过程不仅有效压缩了令牌，压缩率高达10到20倍，更重要的是将冗余信息转化为可重用的策略和教训，为后续的技能应用打下了坚实基础。
分层技能构建
提炼出的技能需要一个高效的存储和检索系统。Skill-RL设计了分层技能库，将其分为通用技能和任务特定技能。在推理阶段，系统会根据任务需求，通过语义相似性计算，动态检索最相关的技能。这种分层设计巧妙地在上下文效率和指导价值之间取得了平衡，确保智能体能快速调用最有效的经验。
策略同步进化
Skill-RL的技能库并非一成不变。它采用递归进化机制，在初始阶段通过监督微调（SFT）让模型学会使用技能。随后在强化学习训练中，系统会持续分析验证失败的轨迹，并动态地向技能库中添加新技能或优化现有技能。这种设计让技能库与智能体的决策策略同步进化，形成一个持续学习、不断完善的闭环。
性能显著超越
Skill-RL的实际表现令人瞩目。在复杂的ALFWorld任务中，其成功率达到了89.9%，比之前的最佳基准高出15.3%，远超GPT-4的49.8%和Gemini 2.5 Pro的58.7%。在WebShop任务上，它也取得了72.7%的优异表现。特别是在多跳问答这类需要复杂推理的搜索增强任务中，Skill-RL同样展现出强大优势，证明了其在多场景下的泛化能力。
Skill-RL框架通过将经验结构化为技能，打破了传统智能体依赖原始记忆的局限，极大提升了学习效率和泛化能力。这不仅为构建更强大的智能体提供了新路径，也让小模型通过结构化经验挑战复杂任务成为可能。未来，这种基于技能的学习范式将如何重塑智能体的进化方向？
