Agent别再让大模型做选择题:OpenAI把决策层拆成了独立API
你的 Agent 回答“这张工单该给哪个团队”,十有八九是这么干的:扔给 GPT-6 一段提示词,让它现场生成一份 JSON“小作文”,代码再套一层解析、校验、重试——过去两年这类需求几乎都靠“生成再解析”撑着。最热的热路径,恰恰是按最浪费的方式付费的那条,改这个习惯的机会,刚来。知乎知乎
10 月 22 日,OpenAI 的 Decisions API 正式可用,模型是 gpt-6-luna,专门处理有界答案的决策。前奏是 9 月 15 日 TypeSafe AI 发布的 Jev,自带一个新类别名“System One 模型”。一家创业公司刚定义出品类,平台方 37 天就把它推到 GA——信号再清楚不过。追赶者的底牌也亮得很快:上海团队 StartLux 的新版决策模型把双向注意力塞进了全注意力层,不生成新 Token 就能让前期表征融合候选项信息。知乎知乎知乎知乎知乎

玩法基本是“可编程的选择题”:上下文和问题一起传入,候选答案提前列好,模型返回类型化的决策和对应概率,程序拿到直接分支,中间没有解析环节。答案类型就三种:predicate 给概率,choice 从固定选项里挑,score 按量规打分。知乎知乎

数字值得看:这类产品的整族卖点,就是毫秒级和便宜一个数量级。计价只收输入——每百万 input token $0.10,缓存输入 $0.01,没有输出费用;一次请求最多 400 个问题。速度上,官方说法是比通过 Responses API 调用 Luna 快至多 10 倍,DevDay 现场演示约 150 毫秒,普通 Luna 调用约 1.6 秒。官方博客点出的 Box、Ramp、Sierra、Speak 提速 3 到 5 倍、成本省 30% 到 90%——但得连条件一起看:任务、样本量、基线都不一样,不能互相比,也不能当成你业务的速度,目前没有独立第三方测试。两家都有早期压低定价的动力,别拿现价当长期成本来规划。知乎知乎知乎知乎
选型不是只有 OpenAI 对 Jev:Jev 是独立供应商、模型中立,级联架构里前面做分类和路由,后面接的前沿模型可以是任何一家。知乎
而 Decisions API 就在 OpenAI 平台内部:同一账号、同一套计费权限合规,和 GPT-Live 天然打通。它支持文本、图片、原生 JSON,还能接入 GPT-Live。同赛道也没闲着:一周后微软正式发布 Microsoft-Decision-1,在 Microsoft Foundry 与 OpenRouter 上线。国庆刚过,Cloudflare 就开源了 27B 多模态、本地 6GB 可跑的 Clef。知乎知乎知乎知乎

更值得抄作业的是工程指标:StartLux 新版把推理正常终止率从 45.9% 提到 93.9%,平均推理长度从 2,494 Token 砍到 868 Token。决策层从通用大模型调用里分层的趋势已经摆上桌:大模型负责想,决策模型负责拍板,工具、权限、审计负责干得安全。知乎知乎

眼下最该做的两件事:业务代码面向内部“决策接口”写,换供应商不伤筋动骨。别把猜的 /v1/decisions 写进生产,拿到可复核的官方 API Reference 之前,模型请求格式兼容不等于新资源兼容。知乎知乎
最后,别把判断拆出去,顺手把刹车也拆出去。它返回的是概率,不是指令,多少置信度以上自动执行、多少以下转人工,要应用自己定。支付、删除资源、修改权限这类高风险动作,规则校验、权限检查、幂等控制或人工审批一道都不能少。决策层越快越便宜,Agent 每一块钱买到的判断就越多——先看看你现在的判断有多少在让 GPT-6 写小作文,算完这笔账,再谈升级。知乎知乎