SkillsBench测试了4.7万技能,4个核心发现
SkillsBench 是首个专门评测“Agent Skills(智能体技能说明书)”效果的基准测试。该研究由斯坦福、CMU、UC Berkeley 等三十余所机构的 105 位研究者联合完成,覆盖 84 个任务、11 个领域及 7 种模型组合,共产出 7,308 条评测轨迹。研究旨在量化技能说明书对智能体表现的实际影响。
01四大核心发现
基于大规模测试数据,研究得出了四项关于智能体技能说明书使用规律的核心结论,揭示了不同来源和形式的说明书对模型性能的差异化影响。
| 核心发现 | 具体数据与影响 |
|---|---|
| 人工编写说明书 | 平均通过率提升 16.2 个百分点,效果显著 |
| AI 自生成说明书 | 几乎无价值,平均拖累表现 1.3 个百分点 |
| 说明书篇幅策略 | 2~3 个聚焦模块优于面面俱到的长文档 |
| 模型配置对比 | 小模型+好说明书 > 不带说明书的大模型 |
SkillsBench评测核心结论数据一览
02现实生态质量堪忧
尽管人工编写的技能说明书在理想条件下能带来显著提升,但附录中的分析揭示了当前生态面临的严峻挑战。研究者分析了社区中真实流通的 47,150 份技能说明书,发现其平均质量评分仅为 6.2/12。
- 测试样本偏差:基准测试中使用的全是经过严格筛选的顶尖 25% 说明书,属于最理想条件下的结果。
- 负面效应风险:现实中大量低质量说明书不仅无法提供帮助,反而会阻碍智能体的表现,使其表现变差。
当前文章无评论,是时候发表评论了