智源研究院的多模态大模型Emu3登上了Nature正刊，其核心贡献在于证明了“预测下一个词元”这一简单方法可以统一处理文本、图像和视频。这一发现为构建更通用、可扩展的AI系统开辟了新道路，对人工智能的未来发展具有深远影响。
智能速览
智源Emu3成果成为首个登Nature正刊的中国大模型。
突破性地用“预测下一个词元”统一多模态学习。
性能媲美主流扩散模型与组合式方案。
开源了关键的视觉分词器与消融实验。
从Emu3到Emu3.5，实现向“预测下一个状态”的跃迁。
精华内容
这项研究的关键在于回归本源，探索了语言模型的核心方法在多模态领域的通用性。
统一之路的挑战
自2018年GPT问世以来，“预测下一个词元”的自回归路线彻底改变了语言模型，催生了ChatGPT等突破性应用。然而，在多模态领域，这一通用路线却并未成为主流。图像和视频的生成长期由结构复杂的扩散模型主导，而视觉语言理解则多依赖将CLIP编码器与大语言模型组合的方案。这些专用方法虽然在特定任务上表现优异，但也带来了模型结构复杂、训练与推理效率不高等问题，是否有一个更根本、更统一的范式，成为了悬而未决的科学难题。
Emu3的破局之道
智源研究院提出的Emu3模型为这一难题提供了答案。其核心思想是将图像、文本和视频统一离散化到同一个词元空间，然后仅使用一个Transformer进行联合训练。这种极简架构证明了，仅凭“预测下一个词元”就能同时支持高水平的生成与理解能力。实验结果显示，Emu3在文生图任务上效果达到主流扩散模型水平；在视觉语言理解方面，可与CLIP+LLM方案比肩。它不仅能生成图像，还能通过自回归方式逐词元预测视频序列，展现出对物理世界的初步模拟能力。
范式升级与未来
Emu3的意义不止于性能对标，更在于确立了一种更具可扩展性的多模态学习新范式。研究团队通过大规模消融实验，系统验证了分词器码本尺寸、多模态dropout等关键设计选择的有效性。更重要的是，这一范式可以直接应用DPO（直接偏好优化）等技术对齐人类偏好，展现出高度灵活性。在此基础上，悟界·Emu3.5进一步实现了从“预测下一个词元”到“预测下一个状态”的能力跃迁，通过学习长时序视频，展现出更强的物理世界建模能力，为构建原生多模态助手、世界模型和具身智能铺平了道路。
智源Emu3系列研究，以原始创新精神，验证了一条通往通用人工智能的简洁而强大的技术路径。这项成果不仅是中国AI科研的里程碑，也为全球构建统一多模态智能系统提供了坚实的基础。当“预测”成为贯穿万物的法则，未来的AI将进化到何种形态？
