Skills?Experience?Continual learning!!!
冻结参数的大模型在面对新任务或新工具时,往往难以实现自我提升。为了解决Agent工具使用效率低、编排死板的问题,XSKILL框架被提出。该框架通过引入双流知识库和视觉对齐技术,使AI能够像人类一样从过去的经验中持续学习,并在真实世界中实现能力的迭代。
01核心架构:双流知识库(Dual-Stream)
XSKILL突破性地为AI注入了两种互补的知识体系,旨在分别解决不同层级的决策问题,从而提升智能体的综合性能。
双流知识库体系
Skills(技能)
提供任务级别的规划指导
- 包含结构化的工作流和代码模板
- 专门解决AI面对复杂问题时“乱用工具”的缺陷
- 侧重于宏观的任务执行策略
Experiences(经验)
提供动作级别的战术指导
- 捕捉特定环境下的避坑指南
- 让AI的工具组合更加灵活聪明
- 侧重于微观的操作执行细节
02关键技术:视觉对齐(Visual Grounding)
传统的记忆机制主要依赖纯文本日志,但在多模态任务中,决策往往依赖于视觉信息。XSKILL通过视觉对齐技术,将提取的经验与真实的视觉观察进行绑定。例如,系统能够记录并关联“图片倒置”与“调用旋转代码”之间的因果关系。这种机制确保了AI在特定视觉场景下能够准确复用相关经验,解决了缺乏视觉上下文时经验复用难的问题。
03性能实测数据
研究团队在视觉工具使用、多模态搜索等5个基准测试上对XSKILL进行了全面评估,测试模型包括Gemini 3 Flash、o4-mini等4种主流大模型。数据显示,XSKILL的各项指标均优于纯工具基线模型,具体表现如下:
| 评估指标 | 基线模型表现 | XSKILL表现 | 提升幅度 |
|---|---|---|---|
| Average@4 (5项基准平均) | 基准分 | 提升 2.58 ~ 6.71 分 | 全面超越基线 |
| TIR-Bench (极具挑战集) | 最强基线方案 | 高出 11.13 分 | 显著领先 |
XSKILL模型性能提升对比表
除性能提升外,XSKILL提取的知识还表现出极强的零样本跨任务泛化能力(Zero-shot transferability),证明了其在处理未知任务时的潜力。
04应用价值
XSKILL通过结合宏观技能规划与微观经验指导,并辅以视觉对齐机制,赋予多模态智能体在真实世界中持续学习和适应的能力。这种架构有效解决了当前Agent在实际应用中工具使用僵化和缺乏情境感知的问题,为构建更通用的AI智能体提供了新的技术路径。
当前文章无评论,是时候发表评论了