面对多步骤LLM程序中多个Prompt的联合优化难题，手动调试耗时且效果不佳。MIPRO方法通过引入贝叶斯优化，系统性地搜索最优提示词组合，将这一过程从手动试错转变为自动化、系统化的工程。这为开发者构建高效、复杂的AI工作流提供了一条切实可行的路径，显著提升了开发效率和模型性能。
智能速览
MIPRO专注于解决多步骤LLM工作流中多个Prompt的联合优化问题。
该方法采用贝叶斯优化来自动搜索和选择最优的提示词组合。
在七个任务的测试中，MIPRO在五个上表现优于基线，准确率最高提升13%。
一个关键发现是，优化示例通常比优化指令更重要，除非任务有复杂规则。
精华内容
MIPRO的核心在于将复杂的优化问题拆解为候选提示词生成和信用分配两个环节，并提出了系统性的解决方案，其思路值得深入探究。
核心挑战
在构建由多个LLM模块串联的复杂程序时，如何优化每个模块的提示词以实现全局最优，是一个巨大挑战。传统的手动调试方法不仅耗时，而且常常陷入“拆东墙补西墙”的困境，即优化了某个模块却导致其他模块性能下降。问题的症结在于无法有效进行“信用分配”，即难以准确判断是哪个模块的提示词拖累了整体表现，也缺乏对多模块提示词进行联合优化的系统性方法。
候选生成策略
MIPRO提出了三种生成高质量候选提示词的策略。第一种是自举法，即运行一遍训练数据，将那些最终输出结果达标的中间步骤（如搜索词、检索内容）作为示例存起来，用于优化后续提示词。第二种是接地策略，即为生成提示词的模型提供更多上下文，如数据集特点、程序控制流等，使其生成更贴合具体任务的指令。第三种是学习生成，将生成提示词的超参数（如温度、是否使用数据集摘要）也纳入优化范围，通过贝叶斯模型学习针对不同任务的最优生成参数组合。
贝叶斯优化分配
为解决信用分配难题，MIPRO采用了代理模型方法，即贝叶斯优化。与低效的贪心策略（每次只改一个模块）相比，贝叶斯优化能学习每个模块提示词对整体效果的影响，从而高效地搜索最优组合。该方法先通过前述策略生成一批候选提示词，然后利用贝叶斯优化器在这些候选中寻找最佳组合，并通过小批量评估节省计算资源，避免了每次都运行完整数据集的开销。
实验效果与洞见
在包含多跳问答、逻辑推理等七个不同任务的测试中，MIPRO在五个任务上超越了其他基线方法，准确率最高提升达13%。实验还得出重要结论：对于大多数任务，优化示例（Few-shot examples）带来的性能提升比优化指令更显著。然而，当任务包含复杂的条件规则时，如根据答案类型输出不同格式，优化指令则变得至关重要。实验表明，当两者结合优化时，能达到最佳效果。
对比与局限
与OPRO、APE等主要针对单模块的提示词优化方法不同，MIPRO专为多模块LLM程序设计，其贝叶斯代理模型能更准确地评估各模块的贡献。不过，MIPRO也存在一些局限，例如实验仅在固定预算下进行，未测试极低或极高预算场景；且优化器目前仍需依赖人工编写的种子提示词作为起点，尚不能完全从零开始。尽管如此，其代码已开源，为开发者提供了实用工具。
MIPRO为多模块LLM程序的提示词优化提供了一套系统化的解决方案，将开发者从繁琐的手动调试中解放出来。尽管存在一些局限，但其核心思路和开源实现为构建更强大、更复杂的AI应用铺平了道路。随着工作流日益复杂，这种自动化优化方法是否会成为未来的标配？
