监控里成功率 99.9%,用户照样骂"今天怎么这么卡";后端日志干干净净,前端却说"只蹦了一个字就结束了"。这类问题九成不在模型,在流式链路。四种翻车现场,对号入座。
① 等三秒,整段一起吐(假流式)
真流式的 token 是 0.3、0.6、0.9 秒逐个到;被攒住就是 3 秒时一次到齐。别只看浏览器,用 `curl -N` 打时间戳更准——不加 `-N`,curl 自己也攒包,容易误判成后端问题。知乎

最常见错误是在 controller 里循环 send、循环完才 `return emitter`。Spring Boot 4.1.2 实测:10 个 token 在 3.07 秒一起到齐。原因是方法没 return 前 Spring 还没拿到 emitter,send 全被存进 `earlySendAttempts`,return 后一次倒出来。改法只有一条:先返回 emitter,再在另一个线程里 send。知乎
中间层版本是 Nginx:`proxy_buffering` 默认开着,直连正常、过网关变整段。后端加 `X-Accel-Buffering: no` 响应头就能按响应关缓冲,不用改 Nginx 配置。知乎知乎知乎
顺便辟个谣:"开 gzip 就不流式"这个流传很广的说法,在 Tomcat 11 上实测不成立。但该结论只在内嵌 Tomcat 11.0.27 上验证过,Undertow、Jetty、CDN 压缩没测,别外推。知乎
② 只吐第一个字就结束,后端零报错
凶手通常是顺手加的日志过滤器。`ContentCachingResponseWrapper` 想把响应体缓进内存再打日志,可 SSE 是异步请求:controller 一 return 过滤器链就走完了,`finally` 里 wrapper 只有第一个 token 的 13 字节,于是连着 `Content-Length: 13` 一起写出去。客户端收满 13 字节就认为响应结束,后面 token 还在往内存里写,没人管。知乎
排查关键词:`ContentCachingResponseWrapper`、`getOutputStream`。改法是让过滤器跳过流式接口,按路径排除最稳,别只靠 `Accept: text/event-stream`(fetch 读流时不一定带)。
③ 半句话就断,重连又从头吐一遍
先确认是不是真断流:看有没有收到 `data: [DONE]`。它不在 SSE 规范里,只是各家兼容接口沿用的结束哨兵。有 [DONE]、finish reason 是长度限制,那不是断流,是 `max_tokens` 预算不够。知乎

再看事件到达的形状:均匀到达、最后少一条结尾,说明链路通着、是上游提前结束。前面完全静默、后面突然涌一大批,基本是缓冲层在攒包。每次都断在相近时间点(比如固定 60 秒)是链路超时;随机位置断更像客户端读超时或组件卸载。知乎
两个具体坑:`new SseEmitter()` 不传参数就用 Servlet 规范的 30000ms,而带工具调用的 Agent 一轮跑 30 秒很常见;返回 `Flux` 时全局超时反而不起作用。这样不会被 30 秒掐断,但上游模型卡住时,连接会一直挂着。知乎
重连重复吐字有三层根因:服务端没发过 `id:`(浏览器才不会带 `Last-Event-ID` 重连)、没读这个头、生成任务绑在会断的请求协程上。解法:拿 chunk 下标当事件 id(天然幂等),重连时从 `Last-Event-ID + 1` 续传,生成放独立后台任务。前端别在 `onerror` 里手动 close 再 new,那会丢掉 Last-Event-ID。多实例得把 chunks 挪进 Redis,这套作者没实测。知乎

④ 首字慢,锅在客户端
有人排查"点发送卡一两秒才出字":`curl -w time_starttransfer` 显示服务端首字节正常,换模型调用名延迟也不变,最后查出根子既不在模型也不在网络,而在自己在 async 路由里偷懒用了同步阻塞调用。第二个坑更隐蔽:手写 SSE 解析忘了 `data:` 前缀,`json.loads` 抛异常,`except` 里写的却是 `sleep(1)` 后重试整个请求,首字延迟被叠加两三次。换异步客户端、别手撸解析,两个问题一起消失。知乎
最后,把指标拆开
成功率只回答"最后有没有回来",用户说的"卡"发生在等待过程里。有人拿优化前后各 20 条请求重算:首字中位数 5.05 秒 → 0.68 秒,P95 10.64 秒 → 1.63 秒;但总耗时 P95 36.86 → 36.34 秒基本没动。也就是说压掉的是首字和多数请求的常规耗时,少量长尾还在,这 40 条记录也只能说明那个时间窗。小红书

客户端至少埋四个字段:事件数、有没有收到结束哨兵、状态码、首字与末字耗时,`done=0` 是最该报警的那一个。顺手留下断流时最后一条事件原文,它常常直接写着中断原因。知乎
最后一件事:前端断了,后端要关掉上游模型流(`onTimeout`/`onError` 回调,或等 send 抛 Broken pipe 时关)。否则用户早走了,你还在收 token、还在计费。知乎
当前文章无评论,是时候发表评论了