智源研究院的Emu3模型成果登上Nature，首次证明仅用“预测下一个词元”的自回归方法，就能统一文本、图像和视频的学习。这一突破性发现不仅简化了多模态模型的设计，更为构建通用人工智能系统铺平了道路，展示了该技术路线的巨大潜力。
智能速览
智源Emu3成果成为首个登上Nature正刊的中国大模型研究。
仅用“预测下一个词元”的自回归方法统一多模态学习。
Emu3的文生图与视频生成性能媲美专业扩散模型。
研究验证了自回归路线在多模态任务中的高度通用性与可扩展性。
后续版本Emu3.5实现了从“预测词元”到“预测状态”的能力跃迁。
精华内容
长期以来，多模态模型依赖多种复杂技术路径。Emu3的出现，颠覆了这一传统认知，用一个简单的框架实现了大一统。
统一范式挑战
在Emu3出现之前，多模态领域的技术路线是割裂的。图像生成长期由结构复杂的扩散模型主导，而视觉语言理解则主要依赖CLIP编码器与大语言模型（LLM）的组合。这种“专用工具”的模式，使得构建一个真正统一的原生多模态模型成为难题。Emu3的核心突破在于，它将图像、文本和视频统一离散化为词元，然后用一个单一的Transformer模型进行端到端的训练，从根本上解决了技术路径分散的问题。
性能比肩专精模型
实验证明，Emu3的统一架构并未牺牲性能。在文生图任务上，其效果达到了主流扩散模型的水平；在视觉语言理解方面，可以与融合CLIP和LLM的主流方案比肩。更值得注意的是其视频生成能力，Emu3通过自回归方式逐词元预测视频序列，实现了基于因果关系的视频生成与延展，展现出对环境中物理规律的初步模拟能力，而非像扩散模型那样从随机噪声开始生成。
从词元到状态的跃迁
这项研究的意义超越了单一模型的成功，它确立了自回归路线作为生成式人工智能统一范式的可行性。通过简化模型设计，该方法的训练与推理都展现出卓越的可扩展性。在此基础上，智源进一步推出了Emu3.5，通过大规模长时序视频训练，实现了从“预测下一个词元”到“预测下一个状态”的能力跃迁，让模型学习世界的演化规律，为构建世界模型和具身智能提供了坚实的基础。
智源Emu3的研究不仅是一项技术胜利，更为AI的未来发展方向提供了关键参考。自回归路线的潜力被重新定义，一个更统一、更具可扩展性的多模态智能时代或许已不遥远。
