视觉语言模型在多文化场景下的表现常受限于文化偏见。新发布的M4-RAG测试集，作为目前规模最大的多语言多模态RAG基准，通过深度评测揭示了模型在跨文化推理中的核心问题，包括令人意外的逆向缩放效应和根深蒂固的英语偏好，为未来模型发展提供了关键方向。
智能速览
M4-RAG覆盖42种语言及56种地域方言，包含超8万个文化问答对。
研究发现RAG对小模型提升显著，却可能干扰大模型表现。
模型存在“英语推理中枢”，非英语提示会大幅降低性能。
该测试集旨在解决视觉语言模型的文化偏见与信息滞后问题。
精华内容
M4-RAG基准的测试结果颠覆了部分传统认知，揭示了当前多模态RAG系统在真实跨文化场景下面临的深层挑战与失配问题。
基准规模空前
M4-RAG是目前规模最大的多语言、多文化、多模态RAG评测基准。其数据集覆盖了42种语言与56种地域方言，构建了超过8万个具有深厚文化背景的图文问答对。这种广度和深度确保了评测能够触及不同语言和文化语境下的细微差别，为衡量RAG系统的跨文化适应能力提供了坚实而全面的基础。
逆向缩放效应
评测发现了一个与传统认知相悖的现象，即“逆向缩放效应”。具体而言，引入检索增强（RAG）对小规模视觉语言模型的性能有显著提升，但当模型规模增大时，RAG的效果会递减，甚至产生负面影响。这暴露出当前大模型架构与外部检索机制之间存在失配问题，即大模型可能更依赖其内部知识，而非外部检索来的信息。
英语推理中枢
实验结果揭示了模型普遍存在的“英语偏见”。即使模型成功检索到了与用户母语相关的文化知识，但只要提示词或上下文使用非英语语言，其推理性能就会出现大幅下降。这表明当前模型的推理过程高度依赖英语，英语似乎成为了一个“中央枢纽”，这种模式限制了模型在非英语环境下的实用性和有效性。
M4-RAG基准的发布，为多模态模型的跨文化发展敲响了警钟。它不仅提供了评测工具，更指出了架构与偏见问题。未来如何构建真正无文化壁垒、能高效利用外部知识的大模型，将是值得持续探索的方向。
