多模态训练又塌陷了?蔡达成团队力作 PMRL:奇异值极大化技术,开启 Any-to-Any 自由对齐新高度|TPAMI 2026
多模态表征学习(MRL)旨在将视觉、音频、文本等不同模态的信息映射到统一的表征空间中,以打破模态间的壁垒。长期以来,该领域的主流方法多依赖于预定义的“锚点模态”(如文本),通过成对对比学习将其他模态与锚点进行对齐。然而,这种“锚点依赖”模式存在局限性,难以实现真正灵活的跨模态交互。新加坡国立大学蔡达成教授研究团队近期发表题为《Principled Multimodal Representation Learning》的论文,提出了一种名为 PMRL 的新框架。该方法从数学原理出发,摒弃了传统的成对对比思路,通过线性代数原理实现了更稳定、更均衡的全模态自动对齐。
01技术原理:从秩为1到奇异值分解
PMRL 的核心逻辑在于将模态对齐问题转化为一个线性代数问题。研究团队通过数学证明指出,当所有模态实现完全对齐时,其 Gram 矩阵的秩必然等于 1。这意味着,无需进行复杂的两两比对,只需引导模型生成的表征矩阵向“秩为 1”的目标靠近即可。基于此,PMRL 不再依赖固定的锚点,而是利用奇异值分解(SVD)动态地从数据中提取一个“领先方向”。所有模态自发向这个动态中心对齐,从而实现了 Any-to-Any 的自由对齐。
技术路线对比
基于锚点的对齐
依赖预定义的锚点模态(如标题/文本)
通过采样模态对进行两两比对
容易导致模态间的对齐不均衡
结构受限于锚点的表达能力


基于SVD的全局对齐
利用SVD动态提取“领先方向”
以Gram矩阵秩为1为优化目标
所有模态自发向共识中心对齐
实现真正的Any-to-Any自由交互
02框架实现:三大损失函数协同
- 奇异值最大化损失
PMRL 首先构建多模态表征矩阵,通过 SVD 提取最大奇异值。该值代表了模态间的“共识强度”和核心对齐方向。团队设计基于 Softmax 的对齐损失,通过竞争机制让最大奇异值脱颖而出,引导所有模态向该方向靠拢。 - 实例级对比正则化
为防止所有样本在向单一方向对齐时发生塌陷(即失去分辨力),PMRL 引入实例级对比正则化。利用领先方向向量,通过对比学习确保不同样本之间保持足够的距离,避免表征空间退化。 - 实例匹配损失
作为审核机制,该损失用于预测多模态数据是否真正匹配。通过“硬负样本挖掘”策略,进一步强化模型判断正负样本的能力,提升对齐的准确性。
03实验效果:检索性能与鲁棒性
| 任务类型 | 数据集 | 性能表现 |
|---|---|---|
| 文本-视频/视频-文本检索 | MSR-VTT, DiDeMo, VATEX | 显著优于VAST和GRAM等SOTA方法,最高提升5.3% |
| 抗噪性能测试 | 噪声干扰环境 | 展现极佳韧性,SVD的噪声过滤属性保持稳定对齐 |
PMRL在多模态任务中的关键表现
综上所述,PMRL 框架通过奇异值极大化与实例级正则化的结合,成功摆脱了对固定锚点的依赖。实验数据表明,该方法不仅在跨模态检索任务中大幅刷新了性能指标,更在应对噪声干扰时表现出了卓越的鲁棒性,为多模态表征学习提供了一种更为通用的数学解决范式。
当前文章无评论,是时候发表评论了