传统RAG在处理包含图表和图像的复杂文档时表现不佳，现有评估基准难以真实反映实际应用需求。ViDoRe V3基准通过大规模人工标注数据，全面评估了RAG系统在视觉丰富文档中的端到端性能，为多模态检索提供了极具参考价值的评估标准。
智能速览
传统RAG难以应对包含图表图像的复杂文档，现有基准过于单一。
ViDoRe V3涵盖26,000页文档和3,099条查询，支持6种语言。
基于三阶段人工标注流程，覆盖7种查询类型和10个专业领域。
实验证实视觉检索器在专业领域表现优于传统文本检索器。
混合检索与重排序技术能显著提升生成答案的质量。
当前模型在视觉定位能力上仍存在明显不足，是未来改进方向。
精华内容
面对复杂真实场景，ViDoRe V3通过严谨的实验设计，揭示了视觉检索在RAG系统中的关键作用。
构建多维基准
为了解决现有评估基准多聚焦单一文本检索的问题，研究团队提出了ViDoRe V3。该基准通过文档收集、查询生成、答案定位三阶段人工标注流程构建，涵盖了26,000页文档和3,099条查询。
这一基准包含了7种查询类型和6种语言，确保了在多语言环境下的适用性。数据覆盖10个专业领域，能够全方位测试RAG系统在视觉丰富文档中的端到端性能。
视觉检索优势
在10个专业领域数据集的测试中，研究团队对比了文本检索器与视觉检索器的表现。实验结果显示，视觉检索器在处理包含图表和图像的文档时表现更优。
这表明，单纯依赖文本特征已无法满足复杂文档理解的需求，引入视觉特征对于提升检索准确性至关重要。视觉检索器能够捕捉到文本模型容易忽略的图表信息，从而提供更精准的检索结果。
混合检索效能
实验进一步评估了重排序模型及生成模型的效果。数据表明，混合检索结合重排序技术能显著提升最终生成答案的质量。
这种组合方式能够平衡检索的广度与深度，优化了检索结果的相关性。尽管整体性能有所提升，但实验也发现当前模型在视觉定位方面仍存在不足，即模型虽然找到了相关信息，但在精确定位视觉证据方面仍需改进。
ViDoRe V3基准的建立，不仅填补了多模态RAG评估领域的空白，更为视觉检索技术的发展指明了方向。未来，随着视觉定位能力的进一步提升，RAG系统在处理复杂真实文档时将展现出更强大的潜力。
