张大妈

上海AI Lab:多模态推理数据集MMFineReason

源自小红薯:大模型任我行

02-05 04:42

开源多模态模型在复杂视觉推理上与闭源模型存在显著差距。MMFineReason数据集通过开放、可复现的数据中心化方法,系统性解决了这一问题,揭示了高质量推理数据对提升模型性能与泛化能力的核心价值。

上海AI Lab:多模态推理数据集MMFineReason智能速览

  • 提出首个基于强教师模型蒸馏的高质量开源多模态推理数据集MMFineReason。

  • 设计了三阶段数据流水线,聚合数据、生成长链推理并进行多轮过滤。

  • 采用“推理优先”策略,数据以数学和科学为主,避免通用数据稀释监督信号。

  • 仅用7%最难样本(123K)即可达到全量数据训练效果,验证“少即是多”。

  • 推理导向的数据能同步增强通用VQA和文档理解等任务表现。

上海AI Lab:多模态推理数据集MMFineReason精华内容

MMFineReason的价值不仅在于数据集本身,更在于其系统性揭示了数据工程与模型性能间的定量关系。

三阶段数据流水线

该研究构建了一套系统的数据构建流程。首先进行多源异构数据的聚合与标准化,确保数据来源的广泛性。接着,利用强大的教师模型Qwen3-VL-235B生成详细的长链思维链推理轨迹,为模型提供深度学习的范例。最后,基于正确性、一致性及难度三个维度进行多轮过滤,严格筛选出高质量且具有挑战性的样本,确保数据的“含金量”。

推理优先与少即是多

数据构成上,采用了“推理优先”策略。数据集以数学(占比79.4%)和科学(占比13.8%)为核心,辅以少量谜题与通用OCR内容,避免了通用数据对推理监督信号的稀释。研究发现,经过难度感知筛选机制后,仅使用7%的最难样本(约12.3万条)进行训练,其效果几乎等同于使用全部180万条数据,显著提升了数据利用效率,印证了“少即是多”的现象。

性能与训练洞察

实验证实,高质量数据能让小参数模型的推理性能媲美大模型,大幅提升参数效率。此外,推理能力的提升具有协同增益效应,在强化数学逻辑的同时,也带动了通用视觉问答、文档理解等任务的表现,说明推理能力是多模态通用能力的放大器。研究还发现,超高清输入(2048x2048)对几何图表类任务收益甚微,中等分辨率(768x768)更优,体现了任务对图像分辨率的依赖性。

该研究将数据工程提升至多模态能力构建的第一性原理,证实了高质量数据的核心杠杆作用。未来,这种数据为中心的方法论能否成为开源模型追赶甚至超越闭源模型的关键路径?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章