张大妈

别盲目追求长文本!GPT-6.1 Sol 500k上下文使用避坑指南

源自99位全网作者

09:38

10 月 12 日,OpenAI Codex 负责人 Tibo 立下的 28 天更新挑战走到第 7 天:GPT-6.1 Sol 在 Codex 与 ChatGPT Work 中的默认上下文从 272k 提升至 500k,增加约 80%,官方口径是这一调整已能显著降低上下文压缩的触发频率。 先把扩容的准确含义钉死:它抬高的是默认值,不是模型上限,更不是智力——500K 还不是最大上限,用户原本就可以手动调整上下文,模型依然支持到 1M。 所以这篇指南的第一个答案是:500k 的红利只属于过去被 272k 窗口卡住的人,剩下的人要防的不是「不够长」,而是用长文本时踩进成本、速度、压缩和记忆这四类坑。微博小红书

扩容不带额度重置,收益只属于装不下的任务

最容易读错的一点:第 7 天发的是改进,不是 reset,今天是上下文更新,没有新的额度重置。 盼着用量刷新的人可以先散了,这次真正被改变的是长任务的体验。此前 272k 的默认窗口有个隐性代价:逼近上限就触发压缩,把前几轮的工具结果、异常分支甚至边界条款,折叠成一段短摘要。 默认值抬到 500k 后,同一个对话能装下接近一倍的内容,压缩被明显推迟,而且这次没有另设高价套餐,多出来的上下文也不额外收费。小红书知乎小红书

值不值得领这份红利,判定标准只有一句话:先量你的任务实际峰值 token,超过当前默认窗口才需要这套。 峰值长期停在 272k 以内的工作,扩容几乎无感;不做测量就把整个代码库、终端日志和历史对话一股脑塞满窗口,只会把账单和出错面一起放大。知乎

窗口越大越要靠缓存,长上下文本身是条烧钱赛道

GPT-6.1 Sol 的官方定价是每百万 token 输入 2.00 美元、输出 10.00 美元、缓存输入 0.10 美元。 照这个价目表算一次账:500K 窗口喂满且全部未缓存,光输入就近 1 美元;同样的内容若命中缓存,只要 5 美分。长文本用得值不值,几乎全看缓存命中率——而「每轮全文重读」恰恰是最贵的用法,开发者圈里对这条赛道的共识是二十万字每次提问全文重读,算力是别人的几十倍。知乎知乎

更隐蔽的坑在分价线。10 月 8 日上线的 Ultrafast 极速档,输入超过 27.2 万 token 后每百万涨到 24 美元、输出 90 美元,且长上下文倍率按官方规定作用于整个请求——一个刚好越线的请求,前面那 27.2 万 token 也按贵的算。 极速档 272k 以内每百万 12 美元的输入价,甚至比旗舰 Astra 标准档的 10 美元还贵两成;官方「最高 8 倍提速」是上限不是保底,6 倍单价却是确定要付的。要不要为速度加钱,只问一个问题:这段时间是人盯着屏幕等,还是任务在后台自己跑。知乎

慢多半不是长上下文造成的,但 Fast 档在静默烧你的额度

上线以来,GPT-6.1 Sol「慢」的吐槽几乎天天有。有开发者把 Codex 拆开实测:纯解码速度 54–78 tok/s,与 Artificial Analysis 给出的官方口径 62.7 tok/s 吻合,模型裸速并不差。 体感的慢来自别处:实测一轮 19.9 秒的请求,约 14.3 秒花在 CLI 本地冷启动,用 codex exec 这种每次新起进程的方式,这笔开销每轮都要付一遍;prefill 同样不是瓶颈,13.7k token 的输入只比 200 token 慢 0.5 秒,社区里「长上下文让首 token 劣化十几倍」的报告更可能来自排队和缓存失效。换句话说,窗口扩到 500k 本身不会拖慢模型,但你塞得越多,越经不起缓存失效。知乎

真正要动手检查的是档位。实测显示,在订阅渠道下,指定 Fast 档的请求被后端静默降级成了 Standard——不报错、不提示,照常按 2.5 倍额度费率扣减,七轮 A/B 没有任何速度差异,这与 GitHub 上两个 issue 的抓包结果一致。 还开着 Fast 的用户,建议先关掉。知乎

压缩只是被推迟了,没有被取消

500k 推迟的是「被压缩」这件事,不是取消它:跨十几轮工具调用、单轮能推到几十万 token 的长链路,照样会顶满新窗口。压缩从偶发异常变成会反复发生的常态操作,而压掉的,往往正是事后复盘最需要的那段证据。 业务侧的默认假设必须跟着改:模型层的压缩不会替你的日志、权限边界和调用时序留底。长时程任务要在压缩发生前,把边界条款和最近几轮原始对话单独存档,别拿压缩后的摘要反推现场;峰值装得下窗口的短任务,则不必为不发生的压缩搭留证链路。知乎

上下文是工作内存,不是记忆库

比「装多少」更根本的问题是「装了不等于用得上」。上下文窗口不是记忆,它是工作内存,需要一套显式的记忆架构来配合;把 agent 从演示推到持续运行后做复现测量,故障会集中在同一处:模型能力不差,是状态与记忆的工程实现跟不上。 500k 只是把这张书桌换大了,正确的用法依旧收敛成三件事:注入设上限、检索建索引、不知道就说不知道。知乎

最后划两条边界。这次调整只公布在 Codex 与 ChatGPT Work 的默认值上,OpenAI 已明确未来还会继续提高上限。 而 GPT-6.1 Sol 目前仍不进 Chat,API 模型名为 gpt-6.1-sol,价目表照旧以 27.2 万 token 作为分价线。 先量峰值,再核缓存,关掉空转的 Fast,长任务在压缩前留好证据——这四步走完,你才知道要不要为「更长」买单。微博知乎

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章