RAG系统的真正挑战并非精准回答，而是如何优雅地处理知识库范围外的问题。处理不当不仅会生成“一本正经的胡说八道”，在金融、医疗等高风险领域甚至可能引发合规风险和用户信任崩塌。本文从问题本质到纵深防御体系，提供一套可直接落地的OOD问题解决方案，助你打造可靠的企业级知识助手。
智能速览
RAG的成败关键在于如何处理知识库外的OOD问题。
OOD问题需分层防御，通过漏斗模型层层过滤。
混合检索结合稠密与稀疏检索，能有效过滤无关文档。
交叉编码器能精准判断检索内容的相关性，是防幻觉核心。
严格的Prompt约束和反思机制可强制LLM“知之为知之”。
精华内容
解决OOD问题并非依赖单一模型，而是一场需要纵深防御的系统工程。从预检索到生成，每一层都设置关卡，才能确保系统既不漏答也不乱答。
意图识别
在检索动作发生前，首先要过滤掉明显的OOD问题，如无关闲聊和恶意攻击。核心逻辑是将用户查询映射到预定义的业务意图空间。如果一个查询不在这个空间内，系统就直接拒答。这种方法尤其适合金融、政务等强合规场景，能在物理层面就隔离掉敏感话题，避免无效检索消耗算力。
协同过滤
即便查询通过了意图过滤，也要确保检索结果真正相关。传统设定固定余弦相似度阈值的方法存在缺陷，因为不同Embedding模型的向量分布差异极大。更优的方案是采用混合检索，即结合稠密向量检索和稀疏检索（如BM25）。稠密检索擅长语义泛化，稀疏检索则精于关键词匹配。只有当两者得分都达标，或加权融合后的排名靠前时，才认为召回有效，这能有效过滤掉语义相近但关键词不匹配的“幻觉”文档。
精准把关
向量检索（Bi-Encoder）的独立编码特性，使其容易误判否定句或逻辑关系。而交叉编码器能完美解决此问题，它将查询和文档拼接后进行深度交互，输出精准的相关性概率。如果交叉编码器给出的最高分都低于一个严格阈值（如0.1），就直接判定知识库无相关信息，并截断后续流程，这是避免LLM生成幻觉的最核心一道关卡。
生成约束
即便有漏网的无关文档，也要教会大模型“知之为知之”。通用的“无法回答”指令效果有限，企业级Prompt需要更具约束力。例如，明确指令模型严格仅依据提供的上下文回答，无引用的内容将被拦截。同时，可以引入Uber的Enhanced Agentic RAG循环反思机制，让系统先自查回答是否基于上下文，不符合则重新检索或直接拒答，研究表明这能将幻觉率降低40%以上。
解决RAG的OOD问题，本质上是一场系统工程，需要从预检索到生成层的纵深防御。当RAG系统能清晰界定自己的知识边界，既不遗漏有效问题，也不硬扛超出能力的查询时，才算真正成为可靠的企业级知识助手。你的系统准备好迎接这场挑战了吗？
