百万token上下文卷疯了,但我劝你省钱用RAG
上下文窗口卷到100万token了,RAG还是省钱的那个。2026年,Gemini 3、Claude 4.7、GPT-5.5纷纷官宣百万级上下文,听起来模型能吞下一整部《战争与和平》。但实际跑过生产的团队知道:**窗口能装下,不等于模型能用好;能用好,不等于你花得起这个钱**。这篇文章不站队,只给判断框架——什么场景该用哪个,什么时候混合才是正解。
先泼盆冷水:长上下文有三个看不见的税
隐性税一:注意力被稀释。把海量内容塞满上下文窗口,关键信息会淹没在一堆无关内容里,模型抓不住重点。这不是某个模型的bug,是注意力机制的特性。1
隐性税二:成本爆炸。Transformer的计算复杂度是O(n),上下文翻倍不是成本翻倍,是接近翻四倍。实测数据显示,1M token在Llama 3.1 70B上的KV Cache需要328GB显存——超过4张H100的总和。2026年DeepSeek V4把价格压到1元/百万token是特例,不是行业常态。大多数场景下,RAG的成本只有长上文的五十分之一到两百分之一。2
隐性税三:延迟不可接受。处理100万token的请求,首Token出现时间通常需要10-30秒。2026年的一项实测数据:1M token下GPT-4o的首字延迟约22秒,后续token速率降到25 tokens/s。查一次资料等20多秒才看到第一个字——这个体验用户能接受吗?3
RAG的本质,是把"选什么"这件事从模型手里抢过来。模型每次开口,前面都有一只手在替它选材料。这只手做得好不好,往往比模型本身强几分更决定最后的输出质量。RAG真正难的从来不是生成,是生成前那一道检索——选对了片段,模型读得少也能答准;选错了片段,再强的模型也只能在噪音里认真发挥。4
三种方案的真实成本对比
来看一个真实案例:某科技公司内部知识库,包含5万篇文档,总计500万token。5
- 纯长上下文:$5.0/次,12秒响应,准确率63%。成本最高、速度最慢、准确率反而最低。中间那段信息模型容易"看不见"。
- 纯RAG:$0.3/次,2.1秒响应,准确率78%。成本最低、速度最快,但多跳查询时容易断层。
- 混合方案:$1.2/次,3.8秒响应,准确率89%。用RAG做初筛,把最相关的N份文档完整送入长上下文——既不浪费,又不丢关联。
混合方案全面胜出。这意味着RAG不是被淘汰,而是从"找答案的工具"升级成"门卫"——决定哪8K-16K的内容值得送进1M上下文去做"深思"。长上下文是大胃王,RAG是负责上菜的服务员:你不会让一个人把整桌菜一次吞下,也不会让服务员每道菜都重新加热一遍。6
什么场景该选谁:三个判断点
判断点一:数据是一次性的还是反复用的?同一份长文档被重复调用的次数,决定长上下文划不划算。高频复用的场景:固定知识库配多轮问答,比如产品文档助手,用户在同一会话里连续问十几个问题——产品手册只需写入缓存一次,后面每轮都命中低价读取,成本被摊薄。低频甚至一次性的场景:用户上传一份合同就问一次,问完就走——缓存命中率接近零,每一次都是原价,长上下文性价比崩塌。7
判断点二:内容是"一个整体"还是"一堆碎片"?内容是"一个需要整体理解的长对象",选长上下文——比如分析一个500页的合同,条款之间高度关联,切碎了反而丢了关联。内容是"一个需要按需查找的大知识库",选RAG——比如从10万份合同里找相关条款回答问题,你只需要其中相关的几条,那是RAG的活。1
判断点三:知识是静态的还是实时变的?LLM的知识是frozen的,有训练截止日期。库存、价格、工单、交易状态——分钟级变化的数据,长上下文只能处理你这次放进去的材料,无法自动保证知识新鲜。RAG可以实时连接外部知识库,做到增量更新,这是上下文窗口再大也解决不了的问题。8
选型清单:拿着这张表对号入座
| 维度 | 长上下文 | RAG | 混合方案 |
|---|---|---|---|
| 适合场景 | 单文档深读、知识量小且反复问 | 大规模知识库、需要实时更新 | 复杂推理、多文档关联 |
| 单次成本 | 高(每次付全部token) | 低(只付检索到的片段) | 中(检索+少量上下文) |
| 响应速度 | 慢(prefill阶段线性增长) | 快(检索+短生成) | 中 |
| 准确率 | 受"中间迷失"影响 | 依赖检索质量 | 通常最高 |
| 实时性 | 固定(窗口里是什么就是什么) | 灵活(知识库可随时更新) | 灵活 |
| 可溯源性 | 弱(答案来源模糊) | 强(chunk级溯源) | 中 |
长上下文 vs RAG vs 混合方案核心对比
- 优先选长上下文的场景:单份长文档分析(合同审阅、论文研读);知识量小于200K token且被反复查询;高度抽象的多模态内容(图表、流程图),分块会破坏语义完整性。
- 优先选RAG的场景:知识库规模大到远超窗口;知识高频更新;需要精确引用来源(法条、合同条款、错误码);强权限控制(多租户、分级可见);需要可审计的决策链。
- 直接上混合方案的场景:复杂研究报告分析(多篇论文关联推理);需要跨文档多跳查询;既需要全局理解又需要精准定位的复合任务。
一个关键原则:先跑baseline,再谈替换。不要在脑子里规划"哪种技术更先进",而是先拿30-50个真实问题用长上下文直塞跑一遍,记录三类失败——错答、漏答、越权。然后仅针对失败类型补检索能力,不做全量重构。没有对照评测,任何"替代"都是拍脑袋。9
RAG不会死,淘汰的是没有分工意识的架构。长上下文解决"模型能看多远",RAG解决"模型该看什么"——这是两个不同层次的问题,不是非此即彼的竞争关系。把它们摆在一起选,就像在工具箱里把扳手和螺丝刀摆在一起问"今天该用哪个"——问题不在哪个工具更好,在于你今天要拧螺丝还是上钉子。聪明的做法是:让RAG做初筛,长上下文做精读,两个都要。10
当前文章无评论,是时候发表评论了