多跳推理任务中,大模型常因“知识遮蔽”现象而忽略关键条件,导致推理路径偏离。针对这一痛点,来自北京理工大学的研究团队提出了系统性解决方案ActiShade。它能显式激活被遮蔽的关键知识,引导模型回归正确推理路径,显著提升多跳问答的准确性与稳定性,为解决大模型幻觉问题提供了新思路。
智能速览
多跳推理普遍存在“知识遮蔽”现象,导致关键信息被忽略。
ActiShade方案首次将知识遮蔽作为核心失败机制进行系统性处理。
其GaP检测机制通过高斯扰动精准识别被遮蔽的关键信息。
方案采用查询重构策略,避免子问题分解带来的误差扩散。
通过端到端多轮协同,有效抑制了推理过程中的误差累积。
精华内容
ActiShade的核心在于如何精准地找到那些被模型“忽略”的关键知识,并将其重新激活。它并非简单地在出错后补救,而是从根本上改变了多轮检索与推理的运行机制。
知识遮蔽难题
在多轮RAG推理中,LLM生成的中间查询常被强势条件主导,而一些关键的、看似不起眼的条件被“遮蔽”,导致后续检索方向错误,误差逐轮累积。这是导致多跳问答失败的关键原因,使得模型无法完成需要多个信息点关联的复杂问答。
GaP精准检测
ActiShade提出了GaP(高斯扰动)检测机制来解决这个问题。它通过向查询中的关键短语注入高斯噪声,然后比较扰动前后模型输出的分布相似度。如果一个关键短语被扰动后,模型输出几乎不变,就说明这个短语可能被遮蔽了。这种方法比直接删除Token的CoDA方法更优,因为它不破坏原始查询的完整结构,更适合需要连贯推理链的场景。
检索器优化
为配合检测机制,ActiShade设计了一个细粒度的对比学习检索器。该检索器通过引入正样本、半正样本和负样本的三层对比损失,能够更精确地聚焦于那些被GaP机制识别出的、被遮蔽的关键短语,同时在训练中主动避免引入无关噪声,提升了检索的精准度。
协同式推理
ActiShade并非单一技术,而是一个端到端的闭环系统。它整合了“检测—检索—查询重写”三个环节,逐轮协同工作。每一步都旨在抑制并修正上一轮可能产生的误差,形成正向循环。其采用的查询重构策略,将隐式推理过程显式化,有效避免了传统问题分解方法带来的误差扩散问题,从整体上保障了多跳推理的稳定性。
ActiShade通过系统性地解决知识遮蔽问题,为提升大模型在复杂推理任务中的表现提供了切实可行的技术路径。它不仅显著提高了多跳问答的准确性,也为理解和控制大模型的内部推理机制开辟了新方向。未来,这类方法能否在更广泛的AI应用中发挥作用?