面试官问:线上 Agent 翻车了,怎么查根因?
线上Agent出现故障时,传统的看日志方法往往难以奏效,因为LLM的错误通常表现为逻辑偏差而非系统崩溃。业界共识认为,HTTP 200并不代表功能成功,因此排查工作需遵循严谨的“分类-定位-复现-修复”流程。从故障发生(T=0)到后续排查(T+24h),需建立系统化的处理机制,涵盖四桶分诊、根因定位、错误分析及防御性部署等关键环节。
01故障分诊:四桶排查法
故障分诊维度
可靠性(Reliability)
关注系统稳定性指标
- 首字生成时间(TTFT)尖峰
- JSON格式错误
- Provider 429限流错误
质量(Quality)
关注输出内容准确性
- 模型幻觉问题
- RAG检索未召回
- 中间内容被忽略(Lost in the middle)
安全性(Safety)
关注合规与权限控制
- Jailbreak越狱攻击
- PII敏感信息泄露
- 越权调用工具
成本(Cost)
关注资源消耗情况
- 重试风暴导致成本放大
- Token消耗异常激增
在完成分诊后,定位环节需利用OpenTelemetry GenAI Semantic Conventions(当前版本1.40)进行深度追踪。排查路径应遵循严格顺序:从Session ID出发,定位至Root Agent Span,再找到首个失败的Span。这一顺序不可颠倒,因为上游的一个错误往往会级联导致下游产生一连串症状,修复根因才能解决多个问题。在深入分析Span时,检查顺序应为:实际填充的Prompt -> 检索出的Docs -> 原始模型输出 -> 工具调用参数 -> Finish Reason。
02根因定位与复现
流式传输(SSE)场景下存在隐蔽的故障陷阱。例如Anthropic SDK在特定情况下,Overloaded Error会以HTTP 200状态码返回,错误信息隐藏在Event Body中。如果仅依据状态码判断成功,将会漏报此类错误。此外,Claude Code内置了双层Watchdog机制(字节级默认开启,事件级需显式开启),以及Opus 3在面对529错误时自动降级到Sonnet的策略,这些都是为了应对此类反直觉的故障模式。
修复阶段应遵循“先Error Analysis,再Eval”的原则。通用的评估指标往往无法有效指导修复,甚至可能阻碍进步。例如NatureBoss的AI在日期处理上曾存在66%的失败率,通过Error Analysis发现仅三个错误聚类就覆盖了60%以上的问题,修复后成功率从33%提升至95%。复现故障时,推荐使用Resume而非Restart,即从断点处继续执行而非重新开始,这既能节省成本又能避免中断用户体验。
03防护机制与真实案例
防护机制对比
紧急熔断开关
必须存在于Agent的推理路径之外
由Orchestrator层强制执行
全停操作,切断所有流量


熔断器
针对具体的Action或工具
触发阈值通常为连续5次错误
429和Auth错误不应触发熔断
在重试策略上,应采用Marc Brooker提出的Full Jitter公式(sleep = random(0, min(cap, base * 2^attempt))),该公式自2015年提出至今仍是业界标准,能有效避免重试风暴带来的巨额成本浪费。发布环节建议采用Anthropic实践的Rainbow Deployments(彩虹部署),即Shadow -> Canary -> Staged Ramp的分阶段放量策略,且Rollback必须是基础设施级别的一键操作。
- 04月
- 2025年12月
- 2025年07月
总结排查逻辑为:先分类(四桶Triage),再定位(OTel Span),然后复现(Checkpoint Replay),再修复(Error Analysis First),最后防回归(Golden Set)。在Prompt Cache的限流行为上,Anthropic与OpenAI存在差异:Anthropic新模型的Cache Read Tokens不计入TPM,而OpenAI则照常计算,这也是排查成本问题时需注意的细节。
当前文章无评论,是时候发表评论了