开源多模态大模型在“看图推理”上为何落后于闭源系统?上海AI Lab的研究指出,瓶颈不在于模型结构,而在于高质量推理数据的缺失。MMFineReason项目通过构建一个高质量数据集,证明了数据质量是提升多模态推理能力的关键变量,让小模型也能实现性能超越。
智能速览
构建180万样本的高质量多模态推理数据集。
提出三阶段数据工程流水线,实现可复现的数据构建。
仅用7%的高难度样本即可逼近全量数据性能。
4B和8B模型均实现越级超越更大参数量模型。
推理数据能同步提升模型通用VQA与图表理解能力。
精华内容
多模态推理的突破并非依赖于堆砌参数,而是源于对数据质量的精雕细琢。MMFineReason的实验揭示了如何通过数据工程,让小模型释放出超越其规模的强大推理潜力。
海量数据集
研究的核心是构建了一个名为MMFineReason-1.8M的高质量数据集。该数据集包含180万个样本,总计51亿个Chain-of-Thought(CoT)推理token,覆盖数学、科学、谜题、OCR等多种视觉推理任务。每个样本都包含长链式的推理过程,平均推理长度达到2900 token,并对每张图像提供了高密度的描述,为模型提供了真正“可追溯”的监督信号。
三阶段流水线
为了系统性地构建高质量数据,研究团队设计了一套可复现、可扩展的三阶段数据工程流水线。第一阶段是从大规模来源聚合数据并进行标准化处理;第二阶段是利用超大模型蒸馏出长链推理过程;第三阶段是基于一致性和样本难度的严格筛选,确保最终数据集的质量和有效性。
少即是多
研究团队发现,数据质量远比数量重要。他们基于Qwen3-VL-4B模型的通过率来评估样本难度,精心筛选出那些“中小模型反复失败”的高价值样本。实验结果证明,仅使用全量数据7%的样本,即约12.3万个高难度样本,训练出的模型就能逼近使用全量180万数据训练出的性能,完美诠释了“少即是多”的原则。
小模型逆袭
基于高质量数据训练的小模型展现出惊人的参数效率。在对比测试中,基于MMFineReason数据集训练的4B参数模型,在多模态推理任务上成功超越了参数量为其两倍的Qwen3-VL-8B-Thinking模型。同样,8B的MMFineReason模型也超越了30B级别的Qwen3-VL-30B-Thinking模型,性能逼近32B级别。
能力泛化
一个有趣的发现是,这种以STEM和谜题为主的推理型数据,其作用不仅限于提升逻辑与数学能力。实验表明,经过此类数据训练的模型,其通用的视觉问答(VQA)与图表理解能力也得到同步提升。这打破了以往“推理数据只对特定小众任务有用”的刻板认知,展示了高质量数据的普适价值。
MMFineReason的工作为开源社区指明了一条新的道路:与其追求模型规模的无限扩张,不如回归数据本身。这一发现预示着未来AI发展将更注重数据工程的质量,我们是否能期待更多小而精的强大模型出现?