LLM智能体难以从过往经验中学习，限制了其泛化能力。SkillRL框架通过构建分层技能库和递归演化机制，有效解决了这一难题，显著提升了智能体在复杂任务中的表现。
智能速览
LLM Agent普遍存在无法从过往经验中持续学习的瓶颈。
SkillRL框架通过自动技能发现与递归进化解决此问题。
核心是构建一个名为SkillBank的分层技能库用于技能复用。
该方法在多项任务中达到SOTA水平，超越强基线15.3%。
技能库与策略协同进化，确保了智能体的持续成长。
精华内容
SkillRL究竟如何实现经验的沉淀与复用？其核心机制在于技能的构建与演化。
经验固化难题
大型语言模型（LLM）驱动的智能体在执行任务时，往往像一次性的程序，无法将成功的经验或失败的教训沉淀下来。现有的记忆方法大多简单存储原始交互轨迹，但这些数据充满了冗余信息和噪声，如同未经整理的草稿。这使得智能体难以提炼出高层次、可复用的行为模式，严重制约了其在全新或更复杂环境中的泛化能力。
构建技能库
SkillRL框架的基石是构建一个分层技能库。它通过一种基于经验的蒸馏机制，自动从原始的、低质量的轨迹中识别并提炼出有价值的技能。这个过程不仅仅是简单的压缩，而是将零散的动作序列转化为高层次、目标明确的行为模块。这就像将一个个零散的音符，谱写成可以随时调用的和弦，为后续的复杂任务演奏做好准备。
递归式进化
SkillBank并非一成不变。SkillRL设计了递归演化机制，让技能库与智能体的策略同步进化。随着智能体在强化学习过程中处理更多任务，它会不断更新和优化SkillBank中的技能。这种协同进化确保了技能库始终保持活力，既包含通用的基础技能，也新增了针对特定任务的专精技能，从而持续提升智能体的整体能力。
性能与优势
实验验证了SkillRL的有效性。在ALFWorld、WebShop及七项搜索增强任务中，该方法均达到了最先进的（SOTA）水平，平均性能超过现有强基线方法15.3%。更重要的是，当任务复杂度提升时，SkillRL展现出良好的鲁棒性，并且由于复用高层次的技能而非原始轨迹，显著降低了推理过程中的token开销。
SkillRL为智能体的持续学习开辟了新路径，其技能进化思想或将成为未来Agent架构的关键一环。当智能体能真正学会总结经验，它们将能解决怎样更复杂的问题？
