滴滴Agent岗二面:如何规避 RAG 系统中大模型的幻觉?
在RAG(检索增强生成)系统的实际应用中,大模型产生幻觉是一个高频且棘手的问题。许多开发者存在认知误区,认为只要检索到了相关内容,LLM就不会编造;或者仅仅通过在Prompt中加入“请根据资料回答”就能规避风险。实际上,RAG系统的幻觉来源分为“检索层”和“生成层”两个完全不同的维度,单一手段往往难以奏效。要有效解决这一问题,必须建立从Prompt约束到结构化输出的多层防控体系,并根据业务场景灵活组合策略。
01幻觉分类与根源解析
幻觉的两类来源
检索层幻觉
检索未召回相关内容,LLM缺乏可用上下文
- 成因:向量检索失败,Prompt中无相关内容或全是无关chunk。
- 表现:LLM依靠预训练的内部记忆进行猜测,编造看似合理但错误的答案。
- 风险:答案可能与企业知识库完全相反(如将“7天退款”答为“30天退款”)。
生成层幻觉
检索已召回相关内容,但LLM未严格遵循
- 成因:LLM将资料仅作为参考,结合自身知识进行“超发挥”。
- 表现:在原文基础上过度推断、补充未提及细节或混淆不相关信息。
- 风险:真假难辨,用户无法识别哪些是文档事实,哪些是模型的推断。
02四层递进解决方案
- Prompt 强约束:设定生成规则
通过System Prompt明确告知LLM行为边界,这是成本最低的基础手段。
核心指令示例:
1. 只能使用【参考资料】中的信息回答,不得引入资料之外的知识。
2. 若参考资料中没有足够信息,必须明确回答:“根据现有资料,无法回答该问题”。
3. 不要推断、不要猜测、不要补充资料中没有明确说明的内容,并标注信息来源。
此方案主要压制“生成层幻觉”,但在检索质量极差时效果有限。 - 检索质量门控:低分直接拒答
针对“检索层幻觉”,与其让LLM在垃圾上下文中强行生成,不如直接拒答。
实施策略:
1. 检索召回Top-K候选chunk后,使用Rerank模型对相关性打分(0-1)。
2. 设定阈值,若最高分低于阈值(通常经验值在0.3-0.6之间),直接返回“知识库无相关信息”。
3. 阈值需根据业务精度要求调优:金融/医疗等场景偏高(0.6左右),闲聊型问答偏低(0.3左右)。
此方案能从源头切断错误输入,必须与方案一配合使用。 - 生成后引用核查:二次校验机制
适用于对准确性要求极高的场景,在答案生成后进行二次校验。
操作逻辑:
1. LLM生成答案后,发起第二次LLM调用,将原始答案与检索chunk一起送审。
2. 要求LLM充当编辑角色,逐条核查答案中的关键声明在chunk中是否有依据。
3. 对无依据的内容标注“无法核实”或直接删除。
此方案会增加响应延迟和成本,通常仅在医疗、法律等容错率极低的领域使用。 - 结构化输出强制溯源:JSON格式约束
通过格式层面的强制约束,迫使LLM在输出时进行自检。
输出格式要求:
强制LLM输出JSON,包含answer、statements等字段,其中每条结论(claim)必须附上来源编号(source_ids)。
方案优势:
1. 机制约束:如同写论文标注参考文献,减少瞎编概率。
2. 程序验证:系统可自动验证source_ids对应的chunk是否与claim相关,不符则自动过滤。
03方案组合策略与总结
| 适用场景 | 推荐组合方案 | 预期效果 |
|---|---|---|
| 普通企业知识库/客服问答 | Prompt强约束 + 检索质量门控 | 解决大部分幻觉问题,成本低,收效快 |
| 高可信度需求(金融/法律) | 基础组合 + 结构化输出强制溯源 | 用户可核实来源,增强系统可信度 |
| 极高准确性要求(医疗/合规) | 全栈方案(四种方案全部启用) | 牺牲部分响应速度与成本,换取最高级别准确性 |
不同业务场景下的策略组合建议
规避RAG幻觉没有一劳永逸的银弹。核心原则在于:治幻觉,先治检索。检索质量是幻觉的最大来源,只有先保证召回内容的准确性,配合Prompt的适当约束,才能有效降低风险。开发者在构建系统时,应摒弃“加一句Prompt就够了”的简化思维,建立分层防控的认知,根据实际业务需求在成本与准确性之间找到平衡点。
当前文章无评论,是时候发表评论了