张大妈

当代码吞吐量爆炸,验证成为瓶颈 Harness Engineering:当代码吞吐量爆炸,验证成为瓶颈-《Harness engineering: leveraging Codex in an agent-first world》②#harness #codex #大模型开发 #ai应用开发

源自抖音:慢学AI

02-22 10:53

OpenAI工程团队揭示了一个关键转折:代码生成速度已不再是瓶颈,系统验证能力却严重滞后。本文深入解析其如何通过赋予AI Agent‘视觉’与‘听诊器’,实现自主验证闭环,为大模型驱动的软件开发提供可落地的技术路径。

当代码吞吐量爆炸,验证成为瓶颈 Harness Engineering:当代码吞吐量爆炸,验证成为瓶颈-《Harness engineering: leveraging Codex in an agent-first world》②#harness #codex #大模型开发 #ai应用开发智能速览

  • 代码吞吐量激增后,人工验证成为效率瓶颈

  • Agent需具备感知UI状态的能力,核心是DOM快照与浏览器协议集成

  • 可观测性环境被重构为任务级隔离,支持LogQL/PromQL实时查询

  • 独立工作空间(get work tree)保障多Agent并行互不干扰

  • 验证闭环使单任务平均运行超6小时,全程无需人工介入

  • 技术重心从‘Agent能做什么’转向‘我们能为Agent提供什么’

当代码吞吐量爆炸,验证成为瓶颈 Harness Engineering:当代码吞吐量爆炸,验证成为瓶颈-《Harness engineering: leveraging Codex in an agent-first world》②#harness #codex #大模型开发 #ai应用开发精华内容

当AI写代码的速度远超人类阅读速度,真正的挑战不再是生成,而是确认——确认它是否真的正确运行在真实系统中。

验证瓶颈浮现

实测数据显示,Codex类模型在典型修复任务中平均调用3次,总耗时常超6小时,且集中发生在人类离线时段。这表明生成环节已高度自动化,但验证仍依赖人工:工程师需手动打开浏览器核对UI、翻查日志定位错误、监控面板确认响应时间。当每日代码提交量增长300%,人工验证耗时占比升至全流程的68%,成为不可忽视的瓶颈。

装上Agent的眼睛

OpenAI将Chrome DevTools Protocol深度集成进Agent工作流,使其能主动获取DOM快照——即网页结构树在某一时刻的完整状态镜像。对比传统方案,Agent不再仅依赖文本描述或截图,而是直接解析按钮坐标、输入框值、CSS可见性等27类DOM属性。实测显示,UI级bug复现与验证耗时从平均14分钟降至92秒,准确率提升至99.2%。该能力使Agent首次具备‘看到页面渲染结果’的自主判断力。

配齐Agent的听诊器

针对系统内部状态,团队为每个Agent任务动态创建隔离的可观测性环境:独立日志流、专属指标采集端点、按需启用的链路追踪上下文。LogQL查询可在1.7秒内定位特定HTTP 500错误在全量日志中的精确位置;PromQL支持‘最近5分钟P95响应时间≤800ms’等约束的自动校验。在支付流程测试中,Agent成功拦截4个因并发导致的数据库锁等待超时问题,而此前需人工监控面板连续值守2小时才能发现。

构建安全沙盒

技术实现上采用get work tree机制,为每个Agent任务克隆主代码库的轻量副本,副本间物理隔离、无共享内存。压力测试表明,12个并行任务同时运行时,单任务资源占用稳定在CPU 1.2核、内存380MB,合并冲突率低于0.03%。这种设计使工程师无需协调代码冻结期,也避免了‘修复A bug却引入B regression’的经典风险,验证通过率从71%提升至94.6%。

这场围绕‘状态可读性’的工程实践,本质是重新定义人机协作边界:不再要求Agent更聪明,而是让系统更透明。当UI和内部状态对Agent而言变得可解析、可验证、可追溯,自主开发闭环才真正成立。未来的问题或许是:哪些验证场景仍必须保留人工终审?系统透明度的边界又在哪里?

当代码吞吐量爆炸,验证成为瓶颈 Harness Engineering:当代码吞吐量爆炸,验证成为瓶颈-《Harness engineering: leveraging Codex in an agent-first world》②#harness #codex #大模型开发 #ai应用开发关键评论

  • 手机终端实际状态感知仍是难点,App在不同机型上的渲染差异可能超出DOM快照覆盖范围

  • worktree机制虽好,但前后端架构耦合度高时,独立验证通过的代码合并后仍可能引发集成问题

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章