张大妈

RAG 准确率从 14.3% 跃升至 94.3%:终结 Agent 联网搜索的“噪声致幻”

源自知乎:阿龙aloong

01-25 13:39

当Agent接入开放网络,RAG系统因海量噪声和冲突信息导致准确率骤降,成为新瓶颈。一种无需微调的冲突感知证据稀释方案,作为后置插件,将复杂冲突场景下的回答准确率从14.3%跃升至94.3%,同时大幅降低推理成本,为构建高可信智能体提供了新思路。

RAG 准确率从 14.3% 跃升至 94.3%:终结 Agent 联网搜索的“噪声致幻”智能速览

  • Agent开放网络搜索引入噪声,成为RAG系统新瓶颈。

  • 传统堆砌上下文策略在冲突信息下准确率仅14.3%。

  • OverSearchGuard方案无需微调,作为后置插件清洗检索结果。

  • 该方案将RAG准确率从14.3%提升至94.3%,同时降低78%的Token消耗。

  • 其核心是优化正确性和去重,而非传统的相关性排序。

RAG 准确率从 14.3% 跃升至 94.3%:终结 Agent 联网搜索的“噪声致幻”精华内容

在RAG系统中,当Agent接入开放网络后,传统的堆砌证据策略为何会失效?又该如何用一种全新的思路,根治噪声致幻的顽疾?

噪声致幻觉

当RAG系统接入开放的互联网搜索时,一个严峻的挑战随之而来:信息信噪比急剧下降。大模型(LLM)对重复信息存在天然的盲从倾向,当网络上大量的错误信息因互相洗稿而高频出现时,传统的RAG系统几乎毫无抵抗力。

压力测试显示,在面对包含大量矛盾信息的检索结果时,简单地将Top-50结果全部塞入Prompt的“暴力美学”策略,其回答准确率仅有14.3%。这并非模型不懂逻辑,而是注意力被占据多数的重复错误信息(Duplicate Attack)所劫持,造成了算力的巨大浪费。

做减法治理

为解决此问题,OverSearchGuard方案被提出,其核心思路是“做减法”。它并非传统的Reranker,而是作为检索与LLM之间的治理层存在。

根本区别在于优化目标:普通Reranker优化的是信息与问题的“相关性”,而OverSearchGuard优化的是信息的“正确性”与“去重”。例如,若网络上有10篇高度相关的错误洗稿文,传统Reranker会将其排在前列;而OverSearchGuard则会识别其信息源同质化并进行压制,从源头过滤噪声。

准确率飞跃

这种“少而精”的策略带来了回答准确率的质变。在相同测试集下,经过OverSearchGuard过滤后,模型的回答准确率从14.3%跃升至94.3%。

这一结果有力地证明了,在RAG系统中,一条清晰、无冲突的证据链,远比一段冗长、充满噪声的上下文更重要。它终结了Agent因噪声而产生“幻觉”的困境,让决策基础更加坚实可信。

成本大幅降低

除了准确率提升,该方案在成本控制上表现同样出色。通过剔除绝大部分冗余文本,单次推理的平均Token消耗降低了78%。

这意味着,在相同的预算下,Agent可以处理的任务量可提升近四倍,或显著降低用户感知的首次响应延迟(TTFT)。其核心的TPC(总Token/正确答案数)指标优化,实现了以极低的推理成本完成高可信的智能体决策。

OverSearchGuard方案代表了RAG技术从“追求多”到“追求精”的范式转变。它证明了在开放网络环境中,智能的证据治理比单纯扩大上下文更为关键。这一思路或许能为未来构建更可靠、更经济的AI Agent系统提供一个可行的底层框架。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章