什么值得买App下载 App ›
连续签到专享现金活动

Harness Engineering新范式!斯坦福提出Meta-Harness,让智能体自主优化Harness

随着大模型能力趋同,围绕模型外层Harness(负责上下文组织、记忆更新、检索调用与工具编排的运行框架)的自动化优化,已成为提升复杂任务表现的关键。目前该领域仍高度依赖人工经验,开发者需反复试错以调整提示与逻辑。针对现有文本优化方法常将反馈压缩为分数或摘要,导致丢失长链路任务中关键诊断细节的问题,斯坦福、MIT等机构提出了自动化Harness搜索框架Meta-Harness。
01核心原理:从调优Prompt到搜索程序
Meta-Harness的核心转变在于将优化对象从单条Prompt升级为完整的Harness有状态程序。该框架在固定底层模型的前提下,旨在找到使任务表现最优的Harness策略。其外循环逻辑简洁:提出候选Harness、在搜索集评测、将代码、分数及执行轨迹写回文件系统,随后进入下一轮。在此过程中,真正的诊断与改写工作由名为“Proposer”的Coding Agent自主完成,外循环仅负责搭建检索与分析的舞台。
02技术机制:基于文件系统的经验回溯
为了避免反馈信号被压缩,Meta-Harness通过文件系统将完整的历史经验暴露给Proposer。Proposer利用grep、cat等终端操作主动查看原始代码与执行轨迹,而非依赖单一分数或摘要。统计显示,在高难度设定下,Proposer每轮中位数读取82个文件,其中约41%为旧Harness代码,40%为执行轨迹。这种机制使其能够基于跨多轮的历史诊断进行修改,而非仅针对最近结果做局部修补。
03实验表现:准确率与效率双重提升
Meta-Harness在在线文本分类、检索增强数学推理及智能体编程三个任务域上进行了评测。实验结果显示,其不仅显著提升了任务准确率,还有效降低了上下文开销。消融实验进一步证明,接入原始执行轨迹对Harness搜索至关重要,其带来的性能提升远优于仅查看分数或代码摘要。
任务域评测场景/数据集Meta-Harness表现对比基线及结果
在线文本分类LawBench等三个数据集准确率48.6%
上下文开销11.4K tokens
ACE: 40.9% (50.8K tokens)
MCE: 40.0% (28.5K tokens)
检索增强数学推理200道IMO级数学题Pass@1为38.8%无检索基线: 34.1%
BM25 Retrieval: 37.5%
智能体编程TerminalBench-2Claude Opus: 76.4%
Claude Haiku: 37.6%
Terminus-KIRA: 74.7%
Goose: 35.5%

Meta-Harness在不同任务域上的性能对比

此外,Meta-Harness在分布外泛化测试中平均准确率达到73.1%,高于ACE的70.2%,表明其学到的是可迁移策略而非对搜索集的过拟合。在TerminalBench-2的搜索轨迹中,Proposer主动识别出Prompt改动这一混杂因素,转而采用更安全的增量改动策略,展现了其利用历史失败进行因果归因的能力。
Meta-Harness将Harness从依赖人工经验的调整对象转变为可被自动搜索与迭代优化的程序。这标志着AI工程重点正从“调模型”转向“调系统”,通过优化模型外层的“工作方式”来进一步突破系统性能上限。

评论

评论区空态插画

当前文章无评论,是时候发表评论了