什么值得买App下载 App ›
连续签到专享现金活动

Skills?Experience?Continual learning!!!

冻结参数的大模型在面对新任务或新工具时,往往难以实现自我提升。为了解决Agent工具使用效率低、编排死板的问题,XSKILL框架被提出。该框架通过引入双流知识库和视觉对齐技术,使AI能够像人类一样从过去的经验中持续学习,并在真实世界中实现能力的迭代。
01核心架构:双流知识库(Dual-Stream)
XSKILL突破性地为AI注入了两种互补的知识体系,旨在分别解决不同层级的决策问题,从而提升智能体的综合性能。

双流知识库体系

Skills(技能)

提供任务级别的规划指导

  • 包含结构化的工作流和代码模板
  • 专门解决AI面对复杂问题时“乱用工具”的缺陷
  • 侧重于宏观的任务执行策略
Experiences(经验)

提供动作级别的战术指导

  • 捕捉特定环境下的避坑指南
  • 让AI的工具组合更加灵活聪明
  • 侧重于微观的操作执行细节
02关键技术:视觉对齐(Visual Grounding)
传统的记忆机制主要依赖纯文本日志,但在多模态任务中,决策往往依赖于视觉信息。XSKILL通过视觉对齐技术,将提取的经验与真实的视觉观察进行绑定。例如,系统能够记录并关联“图片倒置”与“调用旋转代码”之间的因果关系。这种机制确保了AI在特定视觉场景下能够准确复用相关经验,解决了缺乏视觉上下文时经验复用难的问题。
03性能实测数据
研究团队在视觉工具使用、多模态搜索等5个基准测试上对XSKILL进行了全面评估,测试模型包括Gemini 3 Flash、o4-mini等4种主流大模型。数据显示,XSKILL的各项指标均优于纯工具基线模型,具体表现如下:
评估指标基线模型表现XSKILL表现提升幅度
Average@4 (5项基准平均)基准分提升 2.58 ~ 6.71 分全面超越基线
TIR-Bench (极具挑战集)最强基线方案高出 11.13 分显著领先

XSKILL模型性能提升对比表

除性能提升外,XSKILL提取的知识还表现出极强的零样本跨任务泛化能力(Zero-shot transferability),证明了其在处理未知任务时的潜力。
04应用价值
XSKILL通过结合宏观技能规划与微观经验指导,并辅以视觉对齐机制,赋予多模态智能体在真实世界中持续学习和适应的能力。这种架构有效解决了当前Agent在实际应用中工具使用僵化和缺乏情境感知的问题,为构建更通用的AI智能体提供了新的技术路径。

评论

评论区空态插画

当前文章无评论,是时候发表评论了