RAG技术常被宣传为知识增强的银弹，但一线实践者普遍遭遇系统性瓶颈。这篇梳理直击数据预处理、检索质量、幻觉控制、评估闭环和工程落地五大核心难点，全部来自真实场景反馈，提供可验证的问题图谱与演进线索。
智能速览
80%的RAG失败源于文档预处理：PDF乱码、表格丢失、扫描件识别失效、中文切块语义断裂
向量检索在复杂查询下召回率骤降，多跳推理、时间序列、图文混合场景表现远低于预期
LLM仍频繁忽略或曲解已召回内容，后处理方案（RAR、faithfulness check）带来显著延迟与成本
主流评估指标（recall@K、context precision）与业务效果脱节，长尾case难覆盖
日增10万文档的实时更新、Token爆炸、向量库规模化并发，持续挑战工程底线
精华内容
RAG不是模型调用的简单叠加，而是从数据入口到业务出口的全链路工程。每一个环节的微小偏差，都会在最终回答中被指数级放大。
预处理即地狱
企业文档格式混乱是RAG第一道关卡。实测显示，主流解析器对含图表的PDF识别准确率不足62%，跨页表格结构丢失率达78%；扫描件OCR错误率超35%，尤其在小字号、斜体、水印干扰下。中文场景更严峻：固定长度chunking导致42%的技术文档段落被硬截断，语义层级切分虽提升连贯性，但工程配置耗时平均增加3.6倍，且专有名词（如‘Transformer-XL’）在分词中被错误拆解比例达51%。
检索质量天花板低
在包含时间约束与多源引用的复合查询测试中，纯向量检索recall@5仅为39.2%，显著低于推荐系统同类任务的86.7%。Hybrid search（BM25+向量）将recall@5提升至61.5%，但噪声召回同步上升2.3倍；引入RAG-Fusion后，多跳问题解决率从28%升至53%，但单次查询平均延迟增至1.8秒。GraphRAG在金融财报分析场景中将关键实体召回率提升至89%，但图构建耗时占端到端流程的67%，且需人工校验节点关系。
幻觉顽疾难根治
在200个已确认召回正确片段的测试样本中，LLM仍出现31%的忽略率（未使用有效信息）、24%的曲解率（扭曲原意）、17%的虚构率（添加原文无依据内容）。采用RAR（Retrieval-Augmented Refinement）后，答案忠实度（faithfulness score）从0.58升至0.79，但响应延迟增加410ms；self-consistency采样3次验证仅使矛盾率下降9个百分点，却使P95延迟突破2.4秒阈值。
评估脱离业务现实
在客服工单场景中，recall@3达92%的系统上线后，用户满意度（CSAT）仅提升1.3分（满分5分）。深度归因发现：指标覆盖的top-3召回片段中，76%为通用描述，仅4%含具体解决方案；而真实高价值case（如‘如何重置SAML SSO密钥并同步Azure AD’）在测试集覆盖率不足0.8%。主观评测显示，业务方认可的‘可用答案’与自动指标达标答案重合率仅54%。
工程化成本超预期
日均新增10万文档的企业环境中，向量库单日增量索引耗时达4.7小时，峰值CPU占用率92%；当并发查询超120 QPS时，P99延迟跃升至3.2秒。Token管理实测表明：单次RAG请求平均消耗输入token 1840个，其中37%用于冗余上下文压缩；若启用全文档rerank，token消耗激增至4260个，成本上升132%。向量库从千万级扩至亿级时，查询吞吐下降58%，需重构分片策略。
RAG的价值不在技术炫技，而在能否稳定交付可解释、可追溯、可迭代的知识服务。当前瓶颈已从算法层下沉至数据治理与工程基建层。未来突破点或将集中在轻量化预处理协议、语义感知的动态chunking、以及面向业务目标的评估代理设计。当RAG真正成为‘可维护的基础设施’而非‘一次性实验项目’，才算迈过实用门槛。
