针对RAG框架中因检索文档顺序不同导致答案波动和事实错误的“排列敏感性”问题，北航与计算所团队提出Stable-RAG方案。它通过聚类和对齐技术，显著提升了模型推理的稳定性和准确率，为构建更可靠的AI应用提供了新思路。
智能速览
RAG模型对检索文档的排列顺序极度敏感，易导致事实错误。
Stable-RAG通过隐藏状态聚类识别主导推理模式。
方案解码聚类中心状态以获取代表性答案，避免计算爆炸。
利用偏好学习对齐，抑制因排列引发的幻觉输出。
在多个问答数据集上，方案显著提升了答案准确率与一致性。
精华内容
Stable-RAG并非简单修补，而是从模型内部状态出发，系统性解决RAG的排列敏感难题。
排列敏感之困
研究发现，RAG架构存在一个核心漏洞：检索文档的排列顺序会极大影响模型的推理轨迹和最终答案。即便确保了最相关的“黄金文档”排在首位，生成答案的准确度和一致性也难以保证。这表明模型不仅依赖检索内容，更对文档的呈现顺序极度敏感，极易导致推理不稳定和事实性错误。
聚类识别模式
为解决此问题，Stable-RAG首先采用隐藏状态聚类技术。针对同一查询和所有可能的文档排列，模型分别运行并提取生成答案前最后一个token的隐藏状态。随后，通过谱聚类算法识别这些隐藏状态中的主导推理模式，智能归纳出多样的推理轨迹，并降维提取关键特征，从而理解模型的核心思考路径。
解码与对齐
在识别出主导模式后，Stable-RAG解码聚类中最接近中心的隐藏状态，将其作为候选答案。这些答案代表了模型在不同排列下的主要推理结果，有效避免了直接枚举所有排列带来的巨大计算开销。最后，通过偏好学习技术对候选答案进行对齐，鼓励模型优先输出既一致又事实准确的答案，从源头上抑制排列引发的幻觉。
实测性能提升
在Natural Questions、TriviaQA和HotpotQA三个经典问答数据集上的实验表明，Stable-RAG的性能显著优于现有最强基线。无论是采用DPR还是Contriever作为检索器，搭配LLaMA3-8B或Qwen3-8B作为主干模型，该方案在答案准确率和F1分数上均有明显提升。特别是在单跳与多跳复杂推理任务中，其稳定性表现突出，且展现出强大的跨数据集、检索器和Top-K的泛化能力。
Stable-RAG通过创新的三步策略，有效攻克了RAG领域的长期挑战，为构建稳定、可信赖的生成系统提供了切实可行的技术路径。未来，这类关注模型内部稳定性的研究是否会成为新范式？
