换模型不涨分,换Harness涨22个点:但Theo说它不重要了

源自182位全网作者

08:30

上周有两天特别热闹,方向正好相反。

10月28日,微软把 Copilot 背后的执行引擎 Copilot Harness 拿出来,在 Foundry Agent Service 开公共预览,智能体循环、工具调用、网页抓取、沙箱执行整套开放。也是这两天,Theo(t3.gg)发了个视频,原标题 “Are Harnesses Dead?”,B站搬运的标题更狠,直接写成「Claude Code 和 Codex 已死」,他说要一次讲清楚为什么这层现在几乎不重要了。一边把 harness 掏出来当商品卖,一边说它已经不重要了。知乎知乎哔哩哔哩哔哩哔哩

换模型不涨分,换Harness涨22个点:但Theo说它不重要了

harness 是什么

一句话:模型只会吐字,harness 是替它读文件、改文件、跑命令的那层东西。微软官方博客的说法更朴素——“模型提供智能,harness 是模型周围的一切”。你精心写的提示词,只是最里面那一层。哔哩哔哩知乎

说它重要,是有硬数据的

微软丢出一组内部评测:同样的任务、同样的模型,换模型对通过率几乎没影响,换 harness 影响很大——OpenAI 模型下涨 10.8 个点,Anthropic 模型下涨 22.1 个点。国内也在升温,腾讯技术工程发过团队 Harness Engineering 落地规范,DeepSeek Harness 刚更新到 0.2.2-alpha.2。知乎知乎

换模型不涨分,换Harness涨22个点:但Theo说它不重要了

Theo 的反驳也不虚

他的核心论点是:抽象在层层上移,框架、语言、架构都在被模型吞掉。Anthropic 自己也提醒过一句很锋利的话:harness 编码的是“模型做不到什么”的假设,模型一变强,假设就过期——今天为补短板搭的脚手架,明天就是负担。哔哩哔哩知乎

但微软同一天把两边都证明了

9月预览期,Copilot Fusion 的模型选择器里排着一长串模型名;10月28日 GA 之后,同一个位置换成了三档——Standard、High、Max。你不再选模型,你选的是“这件事值得花多少力气”。这就是 Theo 说的“换 harness 应当无感,用户只该关心能力和价格”。知乎哔哩哔哩

换模型不涨分,换Harness涨22个点:但Theo说它不重要了

可同一周,微软把 harness 开放到 Foundry,还写明 12月1日起沙箱算力按量计费:$0.0994 每 vCPU 小时、$0.0118 每 GiB 小时,之前是免费的。所以两派吵的可能压根不是同一件事:知乎

  • harness 作为厂商的工程资产,越来越贵;

  • harness 作为用户的选择项,正在消失。

那你的时间该投在哪

有个筛子挺好用,来自一位跑了 200 亿 token 的量化开发者:假设明年的模型比现在强一倍,你现在写的这段东西还有用吗?凡是模型再强也不会自发遵守的规则,才是护城河。所以该投的不是“选哪个 harness”,而是规格、判据、验收标准这类不贬值的东西——微软自己都提醒过,harness 只适合长上下文重任务,简单任务硬上反而更慢更耗额度。知乎知乎

换模型不涨分,换Harness涨22个点:但Theo说它不重要了

判据为什么最值钱:卢森堡大学团队研究了 6066 个非平凡故障,代码和测试都由 LLM 生成时,故障触发率有 32%–39%,检出率却只有 1%–2%。测试跑到了错误行为,却断言它是对的——让 AI 写测试,不等于让 AI 验证代码。知乎

最后一句提醒

Theo 自己在做 T3 Code,MIT 免费开源,一个窗口收 Claude Code、Codex、Cursor 等七家助手,11月3日那天涨了三千二百多星。10月30日他还在视频里演示怎么用,章节标题写着“一个界面接入 Codex、Claude、Cursor 等各种 harness 和订阅”。隔一天,他就说 T3 Code 是界面不是 harness,自己还盼着它也被取代。话是漂亮的,但“用户只该关心能力和价格”,恰好就是他产品的卖点——不是说他说错了,是得知道他站在哪。哔哩哔哩哔哩哔哩哔哩哔哩

至于微软的 Copilot Harness,目前还是公共预览,无 SLA,官方自己都不建议投入生产。风口和坑,很多时候是同一个东西。知乎

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章