什么值得买App下载 App ›
连续签到专享现金活动

统一离散与连续扩散!人大 & 蚂蚁提出 LLaDA-o,高效达成多模态理解与生成

多模态大语言模型(MLLMs)目前主要由自回归(AR)模型主导,尽管扩散模型在图像生成及部分多模态理解任务中展现出潜力,但如何在一个统一的扩散模型中同时处理离散文本和连续图像,实现高效的「多模态理解」与「视觉生成」,仍是技术难题。直接联合训练往往因状态空间和扩散过程的异构性导致优化冲突。针对这一挑战,中国人民大学高瓴人工智能学院李崇轩、文继荣教授团队与蚂蚁集团联合推出了LLaDA-o,这是一个高效且支持长度自适应的全能扩散模型,在多模态理解和文生图任务上均达到了SOTA性能。
01核心技术创新
  • 混合扩散框架(MoD)
    为解决离散文本与连续图像的异构性冲突,LLaDA-o配置了两个「扩散专家」,分别处理不同模态。这两个专家解耦了优化冲突,同时共享同一个注意力主干网络,确保了跨模态信息的深度交互。
  • 模态内双向注意力(Intra-Modality Bidirectional Attention)
    设计了轻量且高效的注意力机制,将输入序列划分为模态块。块内使用全连接注意力,块间强制执行因果注意力。这使得作为前置条件的图像和提示词可一次性计算并复用KV Cache,极大避免了推理时的冗余计算。
  • 自适应长度增强(Adaptive Length Augmentation)
    引入纯数据驱动的训练策略,在训练时对目标回复进行随机的「延长(添加EOS token)」或「截断」操作。模型因此学会在推理时根据上下文动态决定输出长度,解决了变长文本生成的痛点。
02性能实测表现
评估维度代表性任务/基准LLaDA-o成绩对比优势
多模态理解MathVista (数学推理)66.1分稳居扩散类MLLMs SOTA,超越LaViDa-O等模型
多模态理解ChartQA (图表/文档理解)87.9分在复杂任务上优势显著
文生图生成DPG-Bench (长提示词还原)87.04分超越SD3-Medium、Show-o2等专有及统一模型

LLaDA-o在关键基准测试中的表现

在推理效率方面,得益于全新的注意力机制设计,LLaDA-o在保持高准确率的同时,推理速度比前代LLaDA-V提升了5.9倍。此外,模型摆脱了固定生成长度的限制,能够根据任务复杂度自动终止或延长输出,避免了冗余内容。
03总结与开源
LLaDA-o通过Mixture of Diffusion框架优雅地统一了离散的语言理解与连续的视觉生成,证明了扩散模型在多模态「理解+生成」全能赛道上具备与自回归模型竞争的能力。团队预计近期将开源训练、推理代码以及模型权重,为未来非自回归架构的发展提供新的技术路径。

评论

评论区空态插画

当前文章无评论,是时候发表评论了