1月28日，智源研究院的Emu3大模型成果登上Nature正刊，开创了我国科研机构主导的大模型成果首发该刊的先河。这项研究的核心价值在于，它证明了仅通过“预测下一个词元”的自回归方法，就能高效统一文本、图像和视频的学习，为构建更通用的人工智能系统提供了全新的技术路径，有望改变当前多模态模型依赖多种技术路线的现状。
智能速览
我国科研机构主导的大模型成果首次在Nature正刊发表。
智源Emu3模型仅通过“预测下一个词元”就实现了文本、图像和视频的统一学习。
该成果解决了多模态领域长期依赖对比学习、扩散模型等专门路线的难题。
其在生成与感知任务上的性能可与专用路线模型相当。
Nature编辑点评称该成果对构建统一的多模态智能系统意义重大。
精华内容
自回归路线能否成为多模态学习的统一法则？长久以来悬而未决。智源的这项研究给出了肯定的答案，它用一种极简的思想，在复杂的AI世界里开辟了新路径。
多模态技术分野
自2018年GPT模型成功以来，“预测下一个词元”的自回归路线已成为语言大模型的主流，并推动了生成式AI浪潮的兴起。然而，在多模态领域，这一路径并未得到统一应用。图像和视频的生成与理解，长期依赖于扩散模型、对比学习等与自回归完全不同的技术路线，导致模型架构复杂，难以融合。是否存在一种通用方法，能够像统一语言一样统一所有模态，成为AI领域的一大未解之谜。
自回归的统一力量
智源研究院的Emu3模型对此给出了肯定的回答。其核心突破在于，将图像、视频等不同模态的数据全部离散化为“词元”，随后让模型在统一的词元序列上进行“预测下一个词元”的训练。这意味着，无论是生成一段文字、一张图片，还是一个视频片段，模型都在执行同一个任务。这种极简的设计范式，摆脱了对多种技术路线的依赖，实现了用一种架构和一种方法学习所有模态的目标，为原生多模态大模型的训练提供了全新视角。
性能比肩与未来展望
更重要的是，这种统一化并未牺牲性能。评测数据显示，Emu3在图像生成、视频生成以及视觉理解等任务上的表现，完全可以媲美甚至超越那些采用专门技术路线训练的专用模型。这一成果有力地证明了自回归路线在多模态领域的普适性和巨大潜力。正如Nature期刊编辑所点评，该研究为构建可扩展、统一的多模态智能系统铺平了道路，对人工智能的未来发展具有深远意义。
智源Emu3的成果，不仅是技术的突破，更是思想的胜利。它用最朴素的自回归思想，为多模态AI的统一化发展指明了清晰方向。这项技术将如何重塑下一代AI应用的形态，值得整个行业持续关注与期待。
