年底对账,LLM 应用最容易炸两件事:账单,和扛账单的那层接入。
看 2026 年下半年的网关市场,动静不小:Portkey 被 Palo Alto Networks 收购,OpenRouter 被 Stripe 宣布收购(外媒口径超 70 亿美元),TensorZero 直接归档仓库——公司关停。你要的"稳定"依赖,人家可能先没了。年末要不要换、怎么选,这几点够咀嚼一阵。知乎

先分清三种货,它们不是一类东西
托管模型超市(OpenRouter 系):一个 API、一套账单,访问尽量广的托管模型,最省事;代价是密钥和数据在别人手里。
自托管代理(LiteLLM、Bifrost 系):虚拟 Key、预算、Fallback、观测全收进自己域,但账要算明白——自托管等于把"服务费"换成"基础设施 + 值班",供应商字段变更、路由回归,都进你的值班范围。知乎
中间的 One-API/New-API:本质是中转站生意,叠了支付、兑换码、运营看板。New-API(48.1k star)反超基本停更的 One-API(36.9k)就在这几个月。十到五十人内网共用个 Key 池够用,规模一大通常得迁。知乎知乎

坑一:「省钱」可能悄悄失效
第三方基准发现,请求过网关后,厂商侧 prompt-cache 折扣经常静默失效,用户以为省了钱、实际并未享受,网关的核心卖点直接被抵消——"缓存保真度"值得专门核验。知乎
性能同理:厂商宣称微秒级,实测每请求 Bifrost 0.62 ms、LiteLLM 5.83 ms,差一个数量级,别拿 PPT 数字做容量规划。知乎

坑二:「OpenAI 兼容」不等于兼容
兼容不是非黑即白。Streaming 半截失败、Tool Calling 字段缺、错误码对不上、token 统计口径不一,都得挨个测——要测行为,不是测一次 hello。知乎知乎
正确姿势:真实流量影子测试,再小流量灰度,旧路由留到新网关通过正常路径和故障路径为止。知乎
坑三:流式内容安全是分水岭
加上「不得输出敏感内容」这条硬约束,各家差距立刻拉开。关键词匹配会被切进两个 chunk 就漏检,同音替换、拆字就能绕过。知乎
最隐蔽的是 LiteLLM 开源版的 post_call Guardrail 对流式响应只做审计,所有 chunk 下发完才跑一次,拦不住已经到达客户端的内容;要真阻断必须实现流式钩子,这点文档里写得不显眼。知乎

坑四:便宜别只看价
「为什么中转站比官方便宜这么多?」社区里 75 赞的帖子在问这个问题。答案在另一端:部分渠道是把个人编码订阅池化后暴露成 API,违反服务商 ToS、离封号一步之遥。生产应用别把命放在这上面,出事时没有 SLA 兜底。小红书知乎

带走一句话
一个模型一套账单、这些问题还没出现,不必为了架构完整提前加一层依赖。真要上,三场测试先过:账单口径核保真、逐项测兼容、流式阻断实测。年末换接入层,稳比快值钱。知乎
当前文章无评论,是时候发表评论了