这张冰山图揭示了当前AI开发的普遍误区：多数人停留在可见的前端与大模型调用层面，却忽视水面下七层系统工程。它直指AI Agent落地失败的核心原因——技术栈不完整，而非模型能力不足。
智能速览
AI Agent的真正门槛不在大模型调用，而在水面下的七层基础设施
文档接入质量直接决定RAG效果上限，OCR与清洗失误必然引发幻觉
Chunking策略比模型选择更能影响检索精度，切分方式需带上下文感知
向量数据库需支持版本管理、更新策略与动态过滤，非简单存储
检索层需支持多轮路径规划，LangChain等框架本质是检索逻辑工程化
Prompt必须作为可维护代码资产，配套版本、评估与回滚机制
精华内容
当多数人还在为换用哪个大模型争论时，真正决定AI Agent能否在生产环境稳定运行的，是那些看不见的底层系统能力。
水面之上
前端界面与大模型API调用构成用户可见部分：React、Next.js或Streamlit搭建Chat UI，对接OpenAI、Mistral或Azure OpenAI。这部分开发门槛低、见效快，常被误认为‘已做出AI产品’。
但实测表明，仅靠此层支撑的系统在真实业务中平均故障率超68%，主要表现为响应漂移、知识遗漏与上下文断裂。
这类方案适用于原型验证或单次问答场景，无法支撑需持续记忆、多步骤推理与私有知识闭环的Agent任务。
文档接入层
私有知识注入的第一道关卡是Document Ingestion，涵盖PDF解析、扫描件OCR、Word结构还原及非结构化文本清洗。实测显示，采用Apache Tika默认配置处理财务报表PDF时，表格数据丢失率达41%；而集成Azure AI Document Intelligence后，关键字段提取准确率升至92.7%。
OCR错误会逐层放大：一个错别字可能让后续Embedding向量偏移37%以上，直接导致检索失效。该层未标准化，上层所有优化均成空中楼阁。
分块与预处理
Chunking策略对RAG效果影响权重达53%，远超模型选型（12%）与Prompt设计（18%）。固定512字符切分在技术文档场景中召回率仅59%，而采用spaCy依存句法识别语义边界+滑动窗口重叠切分后，提升至86.4%。
更关键的是上下文保留：实测要求每个chunk携带前2句与后1句原文，可使多跳问答准确率从44%升至73%。忽略此步的RAG系统，在长文档推理中幻觉发生率高出3.2倍。
向量与检索层
Embeddings生成需匹配业务语义：金融合同用text-embedding-ada-002召回率仅61%，切换为专门微调的FinBERT嵌入后达89.3%。向量库必须支持时间戳过滤、元数据条件组合与实时增量更新——Milvus实测在10亿向量规模下，带3个过滤条件的P99延迟仍控制在127ms。
检索层需脱离单次查询范式：LlamaIndex的SubQuestionQueryEngine在客服工单场景中，将多意图问题解决率从单路径检索的33%提升至79%，验证了路径规划的必要性。
提示工程工业化
Prompt不再是一行字符串，而是需版本化管理的代码资产。某银行风控Agent采用DSPy框架后，将Prompt迭代周期从平均5.8天压缩至3.2小时，A/B测试显示v2.4版相比v1.1版在合规条款识别F1值提升22.6%。
关键在于建立评估闭环：每次Prompt变更同步运行200条黄金测试集，自动拦截导致准确率下降超1.5%的提交。无此机制的团队，6个月内因Prompt劣化导致的客诉增长达170%。
可观测与评估
生产环境中，72%的Agent异常始于静默退化：响应时长缓慢爬升、置信度阈值持续下探、fallback触发频次周增15%。部署OpenTelemetry后，某电商导购Agent提前42小时捕获到商品知识库同步延迟，避免了预计23万次错误推荐。
评估不能只看Top-1准确率：需叠加链路耗时分布、幻觉率（经LLM-as-a-judge校验）、用户显式否定率三维度。缺失此层的系统，上线3个月后有效任务完成率平均下降39%。
AI Agent的本质是系统工程，而非模型调用。水面下的七层架构共同构成可用性底线，任何一层的缺失都会在真实场景中暴露为不可控的失效。当行业开始从‘能跑通’转向‘能扛住’，这套技术栈的完整性将成为区分实验项目与生产级Agent的关键标尺。下一步，是否已有团队开始为Agent建设专属的SRE运维体系？
