面对多模态长文档问答,传统RAG方法常因破坏结构与陷入检索循环而导致语义碎片化。G²-Reader通过创新的双图架构,实现了对文档原生结构的保留和推理过程的智能规划,显著提升了复杂问答的准确性,为解决长文档理解难题提供了有效方案。
智能速览
传统RAG方法在多模态长文档中存在结构破坏与检索噪声两大瓶颈。
G²-Reader系统包含内容图与规划图,分别负责结构保留与推理规划。
在五个多模态数据集上,G²-Reader平均准确率达66.21%,超越GPT-5。
消融实验证实,双图协同作用有效解决了语义碎片化与检索漂移问题。
该技术形成了“结构表示-推理控制”闭环,确保了证据的完整性与逻辑性。
精华内容
G²-Reader如何通过双图协同,破解多模态长文档的语义碎片化难题,实现精准推理?
传统RAG的困境
检索增强生成(RAG)在处理多模态长文档时面临两大核心挑战。其一,扁平化的文本分块方式严重破坏了文档的原始结构布局,如图文对应、段落层次等,导致跨模态信息对齐失效。其二,在长上下文环境中,迭代检索机制容易陷入局部最优循环或被噪声信息干扰,使得检索到的证据支离破碎,无法支撑复杂的推理任务。
双图架构解析
为应对上述挑战,G²-Reader提出了一个由内容图和规划图构成的双系统。内容图采用异构拓扑结构,忠实地保留了文档中原生的页面布局、文本与图像的关联等结构化信息。规划图则是一个有向无环图,它扮演着智能体的角色,负责将复杂问题动态分解为子问题,并逐步规划检索路径,最终将检索到的证据进行逻辑组装,完成推理。
实验性能实测
研究团队在标准的VisDoMBench多模态文档问答基准测试中,对G²-Reader进行了全面评估。实验以Qwen3-VL-32B-Instruct作为基础模型,与单模型、传统RAG及其他先进多模态RAG系统进行了对比。结果显示,G²-Reader的平均端到端准确率达到了66.21%,显著领先于GPT-5的53.08%以及其他所有基线模型。消融实验进一步证明,内容图与规划图的协同作用是性能提升的关键。
核心技术亮点
G²-Reader的技术亮点在于其动态演化机制和闭环反馈。内容图利用视觉语言模型(VLM)驱动的迭代演化,不断优化文本与图像节点的语义对齐。规划图则根据证据链的充分性进行动态调整,当证据不足时能自主规划新的检索路径。二者共同构成了一个“结构表示-推理控制”的闭环系统,确保了证据检索的完整性和推理过程的逻辑连贯性。