张大妈

Innovator-VL:科学发现MLLMs

源自小红薯:刘东瑞 上海 AI Lab

02-07 13:40

现有开源多模态大模型在科学任务上推理能力不足,且高度依赖大规模预训练数据,导致成本高昂。Innovator-VL 提出一种数据高效的训练范式,仅用少量样本即可激活模型的科学推理潜能,兼顾通用能力,为解决科学多模态瓶颈提供了新思路。

Innovator-VL:科学发现MLLMs智能速览

  • 现有开源模型在科学推理精度上存在显著不足

  • 提出三阶段策略,摆脱对大规模科学预训练数据的依赖

  • 在37项基准测试中实现SOTA或可比性能

  • 完全开源数据、代码与评估脚本,确保流程可复现

  • 有效解决科学对齐与通用能力之间的“此消彼长”问题

Innovator-VL:科学发现MLLMs精华内容

针对科学多模态大模型面临的性能鸿沟与训练难题,Innovator-VL 通过创新的数据与策略组合,展示了“小数据精调”的巨大潜力。

突破推理瓶颈

现有开源多模态大模型在数学、物理、化学等 STEM 场景下,精度显著低于通用 VQA 基准。这类模型难以满足科学通用智能(SGI)对严谨、多步、跨模态推理的严苛需求。

此外,传统方法通常依赖千万至亿级难以获取的科学图文对进行持续预训练。这不仅导致训练成本高昂,还容易引入领域偏差,严重阻碍了模型的广泛应用与深入研究。

高效训练范式

Innovator-VL 摒弃了大规模预训练的老路,提出“高质量数据精选 + 全参数监督微调 + 面向推理的强化学习”三阶段策略。

这种范式在仅使用 5M 科学样本的情况下,无需大规模科学预训练,便成功激发了模型的科学推理潜能。实验证明,小数据配合精调策略,能够显著提升推理 token 效率,实现数据利用的最大化。

兼顾性能通用

Innovator-VL 在 37 项通用、数学及科学基准上取得了 SOTA 或可比性能,打破了以往提升科学分数会导致通用能力下降的“魔咒”。

为了推动社区发展,该模型完全开源了数据、代码、超参数与评估脚本。这种端到端的可复现性,确保了研究者能够完全透明地理解并复现训练流程,为后续研究奠定了坚实基础。

Innovator-VL 证明了科学多模态大模型无需海量数据也能达到顶尖水平,其开源透明的做法极大地降低了研究门槛。这种兼顾效率与性能的范式,未来能否催生更多科学领域的专用智能模型,值得期待。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章