什么值得买App下载 App ›
连续签到专享现金活动

重磅!LeCun与谢赛宁联手新作!抛弃LLM底座,Meta 如何从零炼出真正的“原生多模态”?

多模态大模型的发展正处于一个关键的分水岭。当前主流范式往往在预训练好的语言模型(LLM)基础上嫁接视觉模块,这种妥协做法虽保留了语言推理能力,但也掩盖了一个科学疑问:如果完全从零开始,把视觉和文本放在一起联合预训练,它们会“打架”吗?Meta和NYU的研究通过受控实验,剖析了原生多模态模型在表征、数据、容量分配与扩展规律上的冲突与协同。研究发现,所谓的“模态税”并非架构宿命,而是可以通过特定的技术手段有效化解。
01统一架构与优化目标
研究摒弃了为不同模态设计复杂异构网络的做法,将文本与视觉特征统一送入同一个自回归Transformer骨干网络。在该网络中,不同模态拥有专属的优化目标:文本采用标准的自回归下一个词预测机制,迫使模型根据历史上下文推断离散语言符号;视觉则采用连续的流匹配目标,在连续向量空间中学习如何将纯噪声场映射回有意义的高维视觉特征。整体优化目标采用加权组合,配合块状因果掩码,既保留了图像内部的空间结构理解,又维持了整体序列的自回归生成属性。
02数据分布陷阱与解耦策略
实验发现,导致模型文本能力下降(困惑度飙升)的罪魁祸首并非视觉模态本身,而是图文对数据带来的分布偏移。引入海量无监督纯视频数据不仅未干扰文本,反而略微改善了基线性能。图文对中刻板的短句结构强行扭曲了模型原本学习到的复杂语言概率分布。为解决这一问题,研究者提出了数据解耦策略:利用重标注数据强化图像到文本的理解,利用高美学数据集提升文本到图像的生成。这种功能级隔离实现了模型性能的最佳平衡。

多模态训练影响因素对比

良性补充
  • 未导致文本困惑度升高

  • 略微低于纯文本基线表现

  • 证明视觉模态本身不干扰文本

分布陷阱
  • 导致文本困惑度(PPL)显著飙升

  • 短句结构扭曲语言概率分布

  • 与高质量预训练语料余弦距离较大

03MoE架构化解扩展不对称性
在模型规模化扩展时,稠密模型面临着致命的“扩展不对称性”:视觉模态对数据量的需求指数远高于语言模态。若在统一网络中训练,极易导致视觉欠拟合或语言过拟合。破局之道在于采用混合专家系统。通过细粒度的专家划分,模型能够动态分配容量,减少不同模态Token的特征干扰。实验表明,增加专家粒度和总池容量能显著提升各项指标。MoE成功削减了语言与视觉的数据需求鸿沟,在计算效率上实现了对单模态基线的追赶甚至超越。
特性维度稠密模型MoE模型
容量分配固定容量,难以兼顾双模态动态路由,Token级分配容量
扩展性存在扩展不对称性,计算成本高缓解不对称性,稀疏扩展效率高
模态干扰权重共享导致参数竞争细粒度专家减少特征相互干扰
计算效率密集计算,算力浪费稀疏激活,同等算力表现更优

稠密模型与MoE模型在多模态训练中的表现对比

04零样本物理直觉验证
一个具备强大文本逻辑并看过海量视频的原生多模态模型,展现出了令人惊讶的物理直觉。在导航规划任务的零样本测试中,模型通过将控制参数格式化为文本,并预测执行动作后的下一帧视觉图像,实现了精准的导航。实验证明,通用视频数据赋予模型的物理规律理解能力,远优于死记硬背专用轨迹数据。特定领域的精调数据只需极少量,就能激活从大规模通用预训练中习得的能力。
  1. 输入控制指令
    将机器人控制参数(如旋转、平移数值)格式化为纯文本字符串。
  2. 自回归生成
    模型顺着文本Token往下预测,无缝衔接流匹配过程。
  3. 预测视觉反馈
    直接预测执行该动作后的下一帧视觉图像,完成物理世界建模。
综上所述,Meta的研究通过严谨的实验,证明了语言与视觉并非注定冲突。通过使用统一的语义表征、解耦异构数据源、引入MoE架构以及自适应居中机制,原生多模态模型成功实现了逻辑与物理直觉的合流。这不仅超越了传统的语言模型,也为打造具备真正世界理解能力的下一代AI奠定了基石。

评论

评论区空态插画

当前文章无评论,是时候发表评论了