什么值得买App下载 App ›
连续签到专享现金活动

SkillsBench测试了4.7万技能,4个核心发现

SkillsBench 是首个专门评测“Agent Skills(智能体技能说明书)”效果的基准测试。该研究由斯坦福、CMU、UC Berkeley 等三十余所机构的 105 位研究者联合完成,覆盖 84 个任务、11 个领域及 7 种模型组合,共产出 7,308 条评测轨迹。研究旨在量化技能说明书对智能体表现的实际影响。
01四大核心发现
基于大规模测试数据,研究得出了四项关于智能体技能说明书使用规律的核心结论,揭示了不同来源和形式的说明书对模型性能的差异化影响。
核心发现具体数据与影响
人工编写说明书平均通过率提升 16.2 个百分点,效果显著
AI 自生成说明书几乎无价值,平均拖累表现 1.3 个百分点
说明书篇幅策略2~3 个聚焦模块优于面面俱到的长文档
模型配置对比小模型+好说明书 > 不带说明书的大模型

SkillsBench评测核心结论数据一览

02现实生态质量堪忧
尽管人工编写的技能说明书在理想条件下能带来显著提升,但附录中的分析揭示了当前生态面临的严峻挑战。研究者分析了社区中真实流通的 47,150 份技能说明书,发现其平均质量评分仅为 6.2/12。
  • 测试样本偏差:基准测试中使用的全是经过严格筛选的顶尖 25% 说明书,属于最理想条件下的结果。
  • 负面效应风险:现实中大量低质量说明书不仅无法提供帮助,反而会阻碍智能体的表现,使其表现变差。

评论

评论区空态插画

当前文章无评论,是时候发表评论了