近期提出的EMMA模型,是一款高效的原生多模态统一架构,致力于解决理解与生成任务的平衡问题。它通过一系列创新设计,在仅4B规模下,实现了编辑任务token大幅降低,并在理解、生成等多个维度上取得了领先效果,为高效多模态模型的发展提供了新方向。
智能速览
EMMA作为4B规模的原生多模态架构,在理解、生成上取得SOTA结果。
编辑任务视觉token消耗显著降低,仅需同类模型的五分之一。
在11项理解榜单上,其表现与Qwen3VL 4B相当或更优。
通过通道拼接技术,有效避免了多模态交互中的信息爆炸。
共享与解耦网络设计,平衡了通用知识学习和任务特异性需求。
精华内容
EMMA如何在小规模参数下实现高效与性能的双重突破?其背后是一系列精巧的架构设计。这些创新点不仅解决了现有技术的痛点,也为未来多模态模型的发展指明了方向。
性能超越规模
EMMA模型在仅4B参数量级的情况下,展现了卓越的性能。在与7B参数的BAGEL模型对比中,EMMA在统一的理解、生成及编辑任务上取得了SOTA结果,实现了对小规模模型潜力的深度挖掘。同时,在理解能力方面,它与同等规模的Qwen3VL 4B模型在11个主流榜单上进行了全面对比,结果达到了相当甚至更优的水平,证明了其架构设计的先进性。
极致的压缩效率
模型高效性的关键之一在于其生成编码器。EMMA采用了32倍高效压缩的生成编码器,这使得生成分支的token数量与理解分支保持了一致性。这种设计从根本上解决了多模态模型中理解与生成任务token不平衡的问题,确保了模型在处理不同任务时不会出现性能短板,从而实现了整体的平衡与高效。
信息融合新思路
传统方法在融合理解与生成信息时,常采用token数拼接,容易导致token数量爆炸。EMMA创新性地采用了直接通道拼接的方式。这种方法直接在特征通道层面进行信息融合,有效避免了token数量的急剧增长,为复杂的多轮交互或多模态编辑等场景提供了更稳定、更高效的底层支持。
平衡的艺术
为了兼顾通用性与任务特异性,EMMA设计了共享与解耦的网络机制。其中,共享部分负责学习原生的多模态基础知识,保证了模型的通用能力。而解耦部分则针对不同任务进行特化建模,例如理解任务侧重语义建模,而生成任务则需要同时建模语义和高频细节信息,从而最大化各任务的表现。
架构的微调
在底层架构上,EMMA也进行了针对性优化。它将理解编码器从标准的SigLIP2架构改为了混合架构。这种调整进一步增强了模型对不同类型信息的捕捉与处理能力,是其在众多模型中脱颖而出的细节保障之一,体现了研究团队对模型性能极致追求的态度。
EMMA模型的成功,不仅为高效多模态统一架构提供了优秀范例,更揭示了小模型通过精巧设计实现“以小博大”的可能性。其提出的高效压缩、通道拼接等方案,对未来模型研发具有启发意义。随着技术迭代,EMMA及其后续版本能否引领多模态模型进入一个更轻量、更高效的新时代?