张大妈

MAIN-RAG: 多智能体过滤检索增强生成

源自小红薯:小7

03-04 16:31

针对大模型因检索噪声导致的幻觉问题,MAIN-RAG提出一种无需训练的多智能体协同过滤方案。其核心价值在于利用统计学动态阈值,不仅能提升RAG准确性,还能迁移至工具选择、数据清洗等多种场景。

MAIN-RAG: 多智能体过滤检索增强生成智能速览

  • MAIN-RAG利用多LLM智能体协同工作,无需训练即可过滤检索噪声。

  • 基于统计的动态阈值过滤是该框架的核心创新点。

  • 该思路可迁移至工具选择、数据清洗及排序融合场景。

  • 推理时需调用多个Agent,会增加响应延迟和Token消耗成本。

MAIN-RAG: 多智能体过滤检索增强生成精华内容

MAIN-RAG通过多智能体评分与统计机制,为解决RAG中的噪声干扰提供了新思路。

无训练过滤

针对传统RAG系统检索到大量不相关文档导致回答准确性下降的问题,MAIN-RAG框架提出无需训练的解决方案。

该框架利用多个大模型智能体协同工作,对检索到的文档进行过滤和评分。其核心创新点在于基于统计的动态阈值过滤,而非设定固定规则。

通过计算评分的均值和标准差,系统能更精准地识别并剔除充满噪声的文档,从而有效缓解大模型生成过时信息或“幻觉”的现象。

工具选择场景

将MAIN-RAG的动态阈值思想迁移至Agent工具选择场景,能有效解决面对数十个可选工具时的决策困境。

在传统的Top-5工具检索基础上,引入多个Agent对这些工具进行打分。

若Top-1工具的分数远超其他工具,系统则只调用该最优工具;若前几个工具分数接近且均高于均值,则保留Top-3工具。这种机制显著提升了工具调用的准确性和效率。

数据清洗策略

在构建预训练或微调数据集时,MAIN-RAG的统计分布思想为过滤低质量数据提供了新视角。

不再设定死板的阈值(例如单纯要求困惑度Perplexity小于100),而是计算一个Batch数据的整体分布。

根据数据分布动态剔除离群值,这种方法能够更灵活地适应不同质量的数据集,确保训练数据的纯净度,从而提升模型训练效果。

融合排序应用

在使用BGE、Cohere等多个Reranker进行重排序的场景下,MAIN-RAG的思路同样适用。

通过特定的公式融合多个Reranker的分数,不再单一依赖某一个模型的结果。

基于融合后的分数,系统可以动态决定最终喂给大语言模型的Context Window大小。这种多模型融合策略在保证信息召回率的同时,优化了上下文输入的质量。

延迟与成本

尽管MAIN-RAG在提升准确性方面表现优异,但在实际落地时需权衡延迟与成本问题。

推理过程中需要调用多个Agent进行评分,这会显著增加Time-to-First-Token (TTFT),导致首字生成时间变长。

此外,多智能体并行工作意味着Token消耗量成倍增加,这在资源受限或对实时性要求极高的对话场景中,可能面临应用挑战。

MAIN-RAG通过多智能体协作与动态阈值机制,为提升检索增强生成的准确性提供了有效路径。尽管在延迟和成本上存在一定局限,但其思想在工具选择和数据清洗等领域的迁移应用极具潜力,值得进一步探索与实践。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章