检索增强生成（RAG）系统在减少大模型幻觉方面表现出色，但存在一个隐藏缺陷：检索文档的顺序变化，可能颠覆答案的准确性。Stable-RAG技术应运而生，它通过聚合多次推理结果，确保系统在不同文档排列下输出稳定一致的答案，为提升RAG系统的可靠性提供了全新的解决思路。
智能速览
RAG系统的答案会因文档顺序变化而颠覆，导致不可靠的幻觉。
根本原因在于LLM内部推理过程对文档顺序的高度敏感性。
Stable-RAG通过多顺序推理聚合，收集模型不同排列下的隐藏状态。
利用聚类分析识别出主导性的推理路径，锁定核心逻辑。
经DPO优化后，模型能生成更稳定且有证据支撑的答案。
在多个数据集上的实验验证了其有效性和鲁棒性。
精华内容
Stable-RAG的核心思想是承认并利用这种“顺序敏感性”，而非简单回避。它通过系统性地扰动输入，聚合模型在不同情境下的“思考”过程，最终提炼出最可靠的结论，从而让答案不再“看心情”。
顺序依赖陷阱
RAG系统普遍存在一个不易察觉的脆弱性：对检索文档的排列顺序高度敏感。即使检索到包含正确答案的“黄金文档”，仅仅调整它在检索列表中的位置，就可能导致大语言模型（LLM）给出截然不同的答案，甚至从正确变为错误。
这种现象的根本原因在于LLM的内部推理路径会因文档顺序的微小调整而发生“漂移”，进而触发事实虚构的幻觉。研究数据显示，在不同LLaMA模型上，仅通过重排文档就能以较高的成功率诱导出幻觉结果。
多路径聚合
为应对这一挑战，Stable-RAG提出了一套创新机制。首先是“多顺序推理聚合”，它对同一组检索文档生成多种不同的排列顺序，并让LLM分别进行推理，提取每次推理的最终隐藏状态。
随后，通过“主导路径发现”，系统对收集到的所有隐藏状态进行聚类分析，从中识别出数量最多、最集中的那一个或几个聚类中心，这便代表了模型在多次扰动下最稳定、最占主导地位的推理模式。
强化与验证
确定主导推理路径后，Stable-RAG采用“一致性优化”策略。它从聚类中心解码出答案，并利用这些高质量的推理结果作为样本，通过直接偏好优化（DPO）方法对模型进行微调。
这一过程强化了模型生成基于证据的稳定答案的倾向，甚至鼓励其在不确定时回答“我不知道”。在三个主流问答数据集和两种不同检索器上的实验表明，Stable-RAG不仅显著提升了答案的准确率，更确保了系统在面对文档顺序重排时的输出稳定性，展现了强大的鲁棒性。
Stable-RAG为提升RAG系统的可靠性开辟了新路径，它直面“顺序敏感”的核心痛点，将模型的不稳定性转化为提升稳定性的工具。这一思路为构建更值得信赖的AI问答系统提供了关键方案，也启发我们思考如何更好地理解和驾驭大模型内部的复杂行为。未来的RAG系统会因此更可靠吗？
