智源研究院发布多模态世界模型 Emu3，引领 AI 领域新范式

2024年10月21日，智源研究院发布了全新原生多模态世界模型——Emu3。这一模型的独特之处在于，它完全基于“下一个token预测”原理进行多模态数据的理解与生成，包括文本、图像和视频三种模态。这一技术突破使得无需扩散模型或组合方法，即可实现多模态任务的统一处理，为AI领域带来了全新的视角。

图片

多模态任务的挑战与创新在此前，处理多模态任务的主流方法通常依赖于扩散模型（如Stable Diffusion）或组合模型（如CLIP视觉编码器与大语言模型的结合）。然而，这种复杂的架构对训练和推理资源的消耗非常大，并且在实际应用中存在一定的局限性。而Emu3则通过简化任务，将所有模态转化为token进行统一处理，这无疑是一次革命性的技术进步。

图片

Emu3的核心优势Emu3 模型不仅在图像生成、视频生成以及视觉语言理解等任务中超越了多个知名开源模型，包括SDXL、LLaVA和OpenSora，它还通过下一个token预测，在无需预训练LLM的情况下展示了优异性能。尤其是在图像生成任务中，基于人类偏好的评测显示，Emu3超越了 SD-1.5 和 SDXL。而在视觉语言理解方面，Emu3在12项基准测试中优于 LlaVA-1.6。视频生成任务的VBench测试结果也表明，Emu3在视频生成领域超越了 OpenSora 1.2。

多模态世界的统一设计Emu3的视觉tokenizer可以将图像和视频数据转化为离散的token，这些token可以与文本token共同输入到模型中进行处理。模型不仅可以生成文本、图像和视频，还为“Any-to-Any”任务提供了更加统一的研究框架，打破了此前在多模态研究中的技术瓶颈。

这种基于下一个token预测的架构还能够应用于直接偏好优化（DPO）技术，使模型能够更好地符合人类偏好。在自回归视觉生成任务中，这种方法可以无缝衔接，进一步提升生成质量和用户体验。

图片

技术开源与社区推动Emu3模型和相关的代码现已开源，为研究人员和开发者提供了深入探索和应用这一技术的机会。此举为多模态AI的未来发展提供了强有力的技术基础。Emu3的发布也迅速在技术社区引发了热议，许多网友认为这可能是近年来最重要的研究之一，甚至有用户将其比作“OpenAI v2”。

未来应用与展望Emu3为构建多模态AGI（通用人工智能）指出了一条前景广阔的道路。其统一的多模态设计可能会在自动驾驶、智能眼镜、机器人、虚拟助手等领域找到广泛应用。同时，预测下一个token的能力不仅能够处理多模态数据，还将进一步推进人类对AGI的探索。

图片

通过将复杂的设计收敛到token本身，Emu3在大规模训练和推理中的潜力巨大，并可能成为未来多模态AI系统的基础架构。

结语

Emu3的发布标志着多模态AI进入了一个新阶段，它重新定义了多模态任务的处理方式，并为构建AGI提供了全新的思路。未来，Emu3的广泛应用将可能彻底改变多个行业，推动多模态AI从理论走向实践，赋能更多创新应用场景。

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～