第一次,多模态大模型学会边看边听,Meta新作性能暴涨113%

源自今日头条:新浪财经

03-02 12:03

当前多模态大模型虽能接收音视频,却因数据缺陷无法真正同步理解,存在严重视觉偏置。Meta发布全新数据引擎EgoAVU,通过自动化生成高质量跨模态数据,成功让模型性能最高暴涨113%,为具身智能等领域提供了关键突破。

第一次,多模态大模型学会边看边听,Meta新作性能暴涨113%智能速览

  • 多模态大模型普遍存在视觉偏置,无法真正理解音视频关系。

  • Meta研究指出,瓶颈在于数据而非模型结构本身。

  • EgoAVU引擎可自动化生成百万级高质量音视频理解数据。

  • 新数据使模型性能最高提升113%,并构建了全新评测基准。

  • 此突破预示AI竞争正从模型驱动转向数据驱动新范式。

第一次,多模态大模型学会边看边听,Meta新作性能暴涨113%精华内容

Meta的研究揭示,多模态AI的瓶颈不在于模型,而在于数据。其推出的EgoAVU引擎,正是为了解决这一根本问题,让AI真正学会‘边看边听’。

视觉偏置困境

当前主流音视频数据集存在三大致命缺陷:视觉中心化严重、缺乏真实音频语义、没有跨模态关联标注。这导致模型在学习时,从未真正学会如何关联声音与视觉信息,只能依赖视觉线索去‘猜’声音,或直接忽略音频,无法实现真正的同步理解。这是具身智能发展的一大核心障碍。

自动化数据引擎

为解决数据难题,Meta提出了自动化音视频数据引擎EgoAVU。该系统能自动理解视频中的声音-视觉关系,自动生成高质量的问答与叙述数据,并自动筛选出最具跨模态信息的视频片段。它形成了一套可规模化扩展的数据生产流水线,从根本上改变了数据获取方式。

性能暴涨验证

基于EgoAVU,团队构建了包含300万条训练样本的EgoAVU-Instruct和包含3000条人工验证问题的评测基准EgoAVU-Bench。实验证明,在该数据上微调后,模型在Benchmark上的性能最高提升113%,在其他音视频理解任务上最高也提升了28%,效果显著。

数据驱动的未来

EgoAVU带来的最大启示是:未来AI竞争的关键,可能不再是模型结构的创新,而是数据引擎的能力。这标志着多模态AI正从‘模型驱动’迈向‘数据驱动’的新技术范式。对于机器人感知、自动驾驶、AR/VR等依赖第一视角理解的领域,这是一个关键的基础性突破。

EgoAVU的出现,不仅是解决了一个具体的技术难题,更揭示了人工智能发展的新路径。当数据引擎成为核心竞争力,我们将看到更多真正理解复杂物理世界的AI应用。下一步,AI还能解锁哪些前所未有的感知能力?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章