AI提示词自动优化:从56%到92%的AutoResearch实验解析
OpenAI联合创始人Andrej Karpathy提出了一种名为AutoResearch的方法,旨在通过AI自主循环来优化提示词,而非依赖人工手动调整。该方法的核心逻辑在于通过不断的微小尝试、结果验证与有效修改的保留,实现模型表现的自动迭代。这套逻辑不仅适用于机器学习代码的优化,同样适用于Claude技能等可量化、可改进的各类任务。
01核心机制:基于评分清单的量化标准
AutoResearch方法的关键在于建立一个明确的评分标准,而非模糊的定性描述。用户需要定义3到6个Yes/No问题作为评分清单,Agent将依据此清单对每次输出进行打分。这种机制类似于使用固定标准批改作文,确保了在大量测试中评判逻辑的一致性与客观性。
| 评估维度 | Yes/No 评分标准示例 |
|---|---|
| 标题内容 | 是否包含具体数字或结果? |
| 用词规范 | 是否避免了“革命性”“协同”等营销黑话? |
| 行动号召 | CTA是否使用了具体动词短语? |
| 痛点切入 | 开头第一句是否直击具体痛点? |
| 篇幅控制 | 总字数是否在150字以内? |
落地页文案技能评分清单示例
02运行流程与操作步骤
- 环境准备
下载技能文件并放入skills文件夹。 - 任务选定
选择一个需要优化的目标技能。 - 参数配置
回答Agent的三个问题:优化对象、测试输入内容及具体的评分清单。 - 基准测试
Agent运行技能并输出初始基准分数。 - 仪表盘监控
通过浏览器查看实时分数曲线、清单通过率及改动日志。
在配置完成后,Agent进入自动循环阶段:分析失败检查项,对提示词进行微小改动,再次测试。若分数上升则保留改动,若下降则撤销。此过程持续进行,直到连续三次达到95%以上的分数或由用户手动停止。
03实验结果与迭代逻辑
在针对落地页文案技能的实验中,经过4轮自动迭代,该技能的准确率从56%提升至92%。整个优化过程完全无需人工干预,Agent自主完成了对提示词的精细调优。
- 增加明确规则
规定标题必须包含具体数字或结果,禁止使用“改变你的业务”等空话。 - 设定禁用词列表
过滤掉revolutionary、cutting-edge、synergy等词汇。 - 引入优秀案例
标注出痛点开头和CTA示例,提供具体参照。 - 撤销无效改动
曾尝试更严格的字数限制,但因导致文案单薄且CTA受损而被自动撤销。
实验结束后,除生成改进后的技能外,系统还会输出详细的Changelog。这份日志记录了所有尝试及其有效性,被认为是极具价值的产出。当更强的模型出现时,可以直接将Changelog交由新Agent,使其基于已有的优化经验继续迭代。
04应用场景扩展
AutoResearch方法的应用范围并不局限于Claude技能。理论上,任何可以被量化评分的对象均可通过此方法进行自动优化。有案例表明,该方法曾被用于优化网页加载速度,经过67轮迭代,加载时间从1100ms显著降低至67ms。此外,冷邮件、Newsletter开头以及各类重复使用的提示词均适用此逻辑。
当前文章无评论,是时候发表评论了