一、一个模型打天下,为什么撑不久?
早期 Demo 全部打到 Pro:效果好、心智简单。流量上来后账单先报警,接着是超时与限流。反过来全部打 Flash:便宜又快,但长文档推理、复杂工具规划偶发翻车。生产需要的是 路由策略:按任务难度、时延预算、成本预算选择型号,并在失败时有序降级,而不是用户看到空白或重复重试风暴。
Itzyk API 把多档 Gemini 收口到同一 OpenAI Compatible 入口:改 model 字段即可在 Flash / Pro 等已上架型号间切换,Key、用量、余额统一。本文给出可落地的分流规则、超时降级、熔断与成本归因,默认轻量型号 gemini-3.6-flash,重任务示例用 gemini-3.1-pro-preview(以控制台模型列表为准)。
事实锚点:Itzyk API(api.itzyk.top)上多模型共用
https://api.itzyk.top/v1;切换模型 = 改model;鉴权仍为Bearer sk-...。
费用与 429 详见 费用与限流;企业接入见 企业级指南。

二、先建「任务画像」,再谈路由
为每个调用点打标签(可写在配置,不必上 ML)
标签含义倾向latency_slo必须 <2s 首包Flash / Flash-Litehard_reason多跳推理、长规约Prostructured只要稳定 JSONFlash + 校验重试往往够creative文案多样Flash,温度略高tool_heavy多轮 tools视规划复杂度选 Pro 或 Flash
反模式:按「用户是否付费会员」直接绑 Pro——会员也可能在问「发票能不能重开」。应按 任务 路由,会员权益用配额/优先级表达。
三、最小路由器
import os
from openai import OpenAI
client = OpenAI(
api_key=os.environ["ZHISHU_API_KEY"],
base_url=os.environ.get("ZHISHU_BASE", "https://api.itzyk.top/v1"),
)
FLASH = "gemini-3.6-flash"
PRO = "gemini-3.1-pro-preview" # 以平台公布 code 为准
def pick_model(task: dict) -> str:
if task.get("force_model"):
return task["force_model"]
if task.get("hard_reason") or task.get("doc_chars", 0) > 20_000:
return PRO
return FLASH
def chat(task: dict, messages: list):
model = pick_model(task)
return client.chat.completions.create(
model=model,
messages=messages,
temperature=task.get("temperature", 0.2),
), model
日志必打:model、task_type、route_reason。没有 reason 的路由,下周无法优化。
准备:Itzyk控制台 创建 Key;型号与价目见 /services、价格页。
四、超时降级:先保可用,再保「最强」
典型策略
主模型(如 Pro)→ 超时/5xx/429 → 一次退避
→ 仍失败 → 降级到 Flash(缩小上下文或简化任务)
→ 再失败 → 返回可读错误 / 排队
import time
from openai import APIStatusError, APITimeoutError
def chat_with_failover(messages, primary, fallback, timeout_s=45):
for model in (primary, fallback):
try:
return client.chat.completions.create(
model=model,
messages=messages,
timeout=timeout_s,
), model
except APITimeoutError:
continue
except APIStatusError as e:
if e.status_code in (429, 500, 502, 503, 504):
time.sleep(0.4)
continue
raise
raise RuntimeError("primary and fallback failed")
注意
402 余额不足不要降级空转——降级耗同样计费路径,应引导充值。
已流式输出半屏后不要静默换模型重来,否则用户看到内容跳变;流式中失败应标记 interrupted。参见 流式 SSE 生产实践。
降级时在 UI 温和提示「已切换快速通道」可选;内部日志必须记
failover=1。
五、熔断与配额,避免重试打爆
当某模型错误率在短窗(如 1 分钟)超过阈值,对该型号开熔断,流量强制走 fallback,并告警。恢复用半开:放少量探测请求。
同时给「重任务」设并发上限:Pro 通道 20 并发,超出进队列或改异步。Itzyk侧有平台限流;业务侧再加一层,避免自己的尖刺放大 429。
六、成本归因:路由策略的镜子
每周看一张表
task_type调用量Flash%Pro%费用P95 延迟自动评测通过率classify…98%2%………long_doc…10%90%………
若 classify 的 Pro% 莫名升高,多半是路由条件写错或 force_model 被临时打开。若 long_doc 通过率低却全是 Flash,应提高 Pro 比例或缩短文档(摘要/切片),而不是盲目加温度。
Token 与账单以Itzyk控制台为准;BFF 用 usage(若返回)或字符粗估做实时看板。
七、与 Prompt 评测、结构化输出协同
路由解决「用谁」;评测解决「用得对不对」。建议
每个 task_type 有独立冒烟集(见 Prompt 评测回归);
变更路由规则与变更 Prompt 一样走灰度;
JSON 类任务优先 Flash + schema 校验,比「上 Pro 碰运气」更稳。
长上下文不要无脑 Pro:先切片/摘要,再决定是否升级型号,参见 长上下文应用。
八、配置示例(可放配置中心)
routes:
classify:
primary: gemini-3.6-flash
fallback: gemini-3.5-flash-lite
timeout_s: 20
deep_analysis:
primary: gemini-3.1-pro-preview
fallback: gemini-3.6-flash
timeout_s: 90
default:
primary: gemini-3.6-flash
fallback: gemini-3.5-flash-lite
timeout_s: 30
型号 code 以平台实时列表为准;下架时配置要能热更新,避免写死在多处二进制里。
九、排错
现象处理模型不存在核对服务页 公布 code降级过于频繁查主模型超时是否过严、上游波动、提示过长费用暴涨查 Pro% 与重试次数;禁已出流整单重试429退避 + 降并发;必要时切 Lite效果变差对比路由变更前后的评测通过率
curl 级排错:调试手册。
十、上线检查表
每个调用点有 task_type 与 route_reason
primary/fallback 均在平台可用列表
402 不走无意义降级
流式失败不静默换模型重放
熔断与告警演练过
周报含 Flash/Pro 占比与费用
文档指向开发者文档
十一、相关阅读
流式 SSE 生产实践
Prompt 评测回归
费用与限流
Gemini vs DeepSeek vs GLM
十三、启发式之外:用轻量分类器做「难度预判」
当规则表不够用(用户问题长短与难度不强相关),可以加一层 Flash 预判
用户问题 → Flash(temperature=0)输出 {"tier":"light|heavy","reason":"..."}
→ light 走 Flash 主答;heavy 走 Pro 主答
预判本身也耗 Token,所以
预判 Prompt 极短、输出极短;
对明显短问(<20 字且命中 FAQ)跳过预判;
预判失败则默认 Flash,避免预判拖垮可用性。
预判结果进日志,用来反训规则表——几周后你可能发现 80% 的 heavy 其实都能用「规则」表达,再去掉预判层省钱。
十四、多供应商视角:同一网关下的备援
Itzyk同一套协议还可切换 DeepSeek、GLM 等(以平台上架为准)。Gemini 主链路故障时,业务可配置
gemini-3.1-pro-preview → gemini-3.6-flash → gemini-2.5-flash-lite
(示例链;实际 code 以 /services 为准。DeepSeek 等仅在 Provider 上架后可作为更后级兜底)
不是所有任务都能跨模型:强依赖 Gemini 多模态的,备援必须同能力族。纯文本分类/摘要更适合跨模型。切换时 Prompt 要做兼容性评测,不能假设 system 原文在另一模型上行为一致。对比文选读:Gemini vs DeepSeek vs GLM。
十五、队列与「异步重任务」
对研报生成、超长总结,同步 HTTP 不合适。推荐
接入层快速返回
task_id;Worker 按路由选 Pro,失败降级 Flash 并缩小范围(先出大纲);
完成后回调或站内信;
用户侧可取消任务,Worker 停消费。
Itzyk调用仍在 Worker 内同步完成;异步是你们的任务系统。这样路由与降级逻辑复用同步路径的同一库,避免两套策略漂移。
十六、定价敏感:把「贵」变成显式产品选择
对内工具可暴露「质量模式」
标准:Flash
深度:Pro(展示预计耗时与费用倍率)
自动:走路由器
让用户或运营选择,比全部自动却月底背锅更好。对外部 C 端,可用免费额度耗尽后降 Flash,付费用户提高 Pro 配额——配额在 BFF,计费仍以Itzyk为准。
十七、演练剧本(季度一次)
把 primary 指向一个不存在的 model code,确认 fallback 与告警。
在预发对 Pro 注入 100% 超时,确认 UI 与日志。
把余额打到临界,确认 402 不死循环降级。
恢复后半开熔断是否自动愈合。
演练记录存档;新同学 onboarding 必读。路由代码没有演练,就等于没有降级。
十八、决策备忘:什么时候不该降级?
法律/合规结论生成:宁失败人工接管,不降级成「听起来像」的 Flash 答案。
已向用户承诺「深度分析」且 UI 展示了 Pro:降级需显式授权。
支付、医疗建议等高风险:失败优于胡答。
路由是工程手段,不替代产品与合规边界。把「可降级任务名单」写成白名单,默认不可降级更安全。
做完规则、预判、熔断、周报与演练,Flash/Pro 矩阵才会从成本中心变成可调度产能。Itzyk提供同一入口与账单视图;调度策略的质量,决定你们能走多远。
十九、参数面:超时、温度、max tokens 也要随路由走
很多人只换 model,却共用同一套 timeout / temperature / max_tokens。更合理的是每条路由一份参数剖面
路由timeouttemperaturemax_tokensclassify/Flash20s0256deep/Pro90s0.24096creative/Flash45s0.82048
Pro 跑短分类既贵又慢;Flash 跑长文却给 256 max_tokens,会截断。剖面与型号绑定,变更进配置 PR。
二十、观测字段字典(建议统一)
route_id, task_type, model_primary, model_used, failover,
latency_ms, ttft_ms, prompt_tokens_est, completion_tokens_est,
http_status, error_class, prompt_ver, user_tier
model_used 与 model_primary 不同即发生降级。error_class 归一为:auth / billing / rate_limit / timeout / upstream / client。归一后才能做熔断;原始 error 字符串太脏。
二十一、三十天优化闭环
周 1:打标与日志,不强行改流量。 周 2:上 primary/fallback,演练一次。 周 3:看周报,把明显可降本的 task 从 Pro 挪走。 周 4:上预判或更细规则,复测评测集。
之后每月复盘 Pro% 与通过率;设立「Pro 预算」:超出则告警,而不是沉默刷卡。智能路由是持续运营,不是一次提交。
当你能在周报里同时看到费用下降与评测不掉点,路由策略才算及格。Itzyk提供统一计量与模型清单;及格线画在你们的任务画像与演练纪律上。
二十二、与流式、评测的集成验收
路由不是孤立模块。验收时至少组合
路由 + 流式:降级发生在首包前还是首包后?首包后禁止静默换模型。
路由 + 评测:同一 cases 在 Flash/Pro 剖面各跑一遍,记录通过率差。差过大说明该任务不该允许降级到 Flash。
路由 + 账单:人为把 10% 流量打到 Pro,看周费用是否按预期上升(证明打点正确)。
三条都过,才
原文来自 Itzyk API
当前文章无评论,是时候发表评论了