什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

AI提示词自动优化:从56%到92%的AutoResearch实验解析

OpenAI联合创始人Andrej Karpathy提出了一种名为AutoResearch的方法,旨在通过AI自主循环来优化提示词,而非依赖人工手动调整。该方法的核心逻辑在于通过不断的微小尝试、结果验证与有效修改的保留,实现模型表现的自动迭代。这套逻辑不仅适用于机器学习代码的优化,同样适用于Claude技能等可量化、可改进的各类任务。
01核心机制:基于评分清单的量化标准
AutoResearch方法的关键在于建立一个明确的评分标准,而非模糊的定性描述。用户需要定义3到6个Yes/No问题作为评分清单,Agent将依据此清单对每次输出进行打分。这种机制类似于使用固定标准批改作文,确保了在大量测试中评判逻辑的一致性与客观性。
评估维度Yes/No 评分标准示例
标题内容是否包含具体数字或结果?
用词规范是否避免了“革命性”“协同”等营销黑话?
行动号召CTA是否使用了具体动词短语?
痛点切入开头第一句是否直击具体痛点?
篇幅控制总字数是否在150字以内?

落地页文案技能评分清单示例

02运行流程与操作步骤
  1. 环境准备
    下载技能文件并放入skills文件夹。
  2. 任务选定
    选择一个需要优化的目标技能。
  3. 参数配置
    回答Agent的三个问题:优化对象、测试输入内容及具体的评分清单。
  4. 基准测试
    Agent运行技能并输出初始基准分数。
  5. 仪表盘监控
    通过浏览器查看实时分数曲线、清单通过率及改动日志。
在配置完成后,Agent进入自动循环阶段:分析失败检查项,对提示词进行微小改动,再次测试。若分数上升则保留改动,若下降则撤销。此过程持续进行,直到连续三次达到95%以上的分数或由用户手动停止。
03实验结果与迭代逻辑
在针对落地页文案技能的实验中,经过4轮自动迭代,该技能的准确率从56%提升至92%。整个优化过程完全无需人工干预,Agent自主完成了对提示词的精细调优。
  • 增加明确规则
    规定标题必须包含具体数字或结果,禁止使用“改变你的业务”等空话。
  • 设定禁用词列表
    过滤掉revolutionary、cutting-edge、synergy等词汇。
  • 引入优秀案例
    标注出痛点开头和CTA示例,提供具体参照。
  • 撤销无效改动
    曾尝试更严格的字数限制,但因导致文案单薄且CTA受损而被自动撤销。
实验结束后,除生成改进后的技能外,系统还会输出详细的Changelog。这份日志记录了所有尝试及其有效性,被认为是极具价值的产出。当更强的模型出现时,可以直接将Changelog交由新Agent,使其基于已有的优化经验继续迭代。
04应用场景扩展
AutoResearch方法的应用范围并不局限于Claude技能。理论上,任何可以被量化评分的对象均可通过此方法进行自动优化。有案例表明,该方法曾被用于优化网页加载速度,经过67轮迭代,加载时间从1100ms显著降低至67ms。此外,冷邮件、Newsletter开头以及各类重复使用的提示词均适用此逻辑。

评论

评论区空态插画

当前文章无评论,是时候发表评论了