这篇内容对AI Agent Skills的效果进行了严谨评测。通过分析84个任务、7308条执行轨迹的数据，发现了一个令人意外的结论：让模型自己生成技能再执行任务，不仅没有提升效果，反而平均降低了1.3个百分点的通过率。
智能速览
高质量人工技能包成功率提升16.2个百分点
模型自生成技能平均导致性能下降1.3个百分点
技能数量2-3个模块时效果最佳
过度详细的技能文档反而降低效果2.9个百分点
技能价值在于压缩搜索空间而非提供信息
精华内容
当所有人都期待AI能够自动生成技能提升效率时，一项严谨的实证研究给出了相反的答案：自生成技能可能正在拖垮Agent的表现。
技能效果大比拼
研究对比了三种情况下的任务完成率：无技能基线组平均通过率24.3%，使用人工精心设计的技能组提升至40.6%，效果量G值达21.5。然而，让模型先生成技能再执行任务的组别，通过率反而降至21.0%，G值为-1.8。
具体到不同模型，结果更加明显。虽然ClaudeCode Opus 4.6略有提升（+1.4个百分点），但Codex+GPT-5.2组合的性能下降达5.6个百分点。84个任务中，人工技能仍有16个任务出现负向效果，说明技能质量与匹配度至关重要。
自生成技能的失败模式
研究发现模型自生成技能存在两种典型失败模式。第一种是过于泛化，比如只说’用pandas处理数据’，却不提供具体的API模式、边界验证和回滚路径。第二种是在高专业领域任务中，模型没有意识到需要专门的流程，直接用通用解法硬上。
这些看似像指南的输出实际上无法缩小搜索空间，缺乏可执行性。这解释了为什么自生成技能不仅没有帮助，反而成为负担。
技能设计的黄金法则
通过大量实验分析，研究给出了技能设计的优化建议。在技能数量上，2-3个模块的组合效果最好，相比基线提升18.6个百分点。当增加到4个以上模块时，收益明显变小，甚至引入认知负担。
文档复杂度方面，聚焦型的Detailed和Compact格式优于Comprehensive大全型，后者平均反而导致2.9个百分点的性能下降。这说明技能设计不是越多越好，而是要让下一步动作清晰可执行。
技能的真正价值
高质量技能的核心价值在于成为搜索空间压缩器，而非百科全书。它需要明确步骤顺序、命令模板、数据约束、验证锚点和失败回滚机制。
当Agent使用技能后反而表现变差，通常是技能设计出了问题。技能的真正作用是限定决策路径、减少无效探索、显式化隐性流程。在当前阶段，人工设计的技能能显著提升Agent表现，而模型自生成技能的可靠性仍然不足。
这项研究提醒我们，在期待AI自动化的同时，也要认识到当前技术的局限性。高质量的技能设计需要人类专业知识的参与。随着2025-2026年技能应用的爆发，如何平衡自动化与人工优化，将成为提升Agent效能的关键问题。
