张大妈

ICLR26 Oral 可泛化的画质理解大模型Rali,开销减少96%

源自知乎:薛天帆

02-18 10:49

面对强化学习(RL)画质评估模型高昂的计算成本,ICLR 2026的一项研究揭示了其泛化性源于“推理即表征”,并据此提出轻量化框架RALI。该方案能将推理能力蒸馏到视觉编码器,在预测时移除大模型,仅用4%的参数量实现与7B模型相当的性能,为实时画质评估提供了新思路。

ICLR26 Oral 可泛化的画质理解大模型Rali,开销减少96%智能速览

  • 研究发现RL提升IQA泛化的本质是将视觉信息压缩为跨域对齐的文本表征。

  • RALI框架通过对比学习将推理能力蒸馏到轻量级视觉编码器中。

  • RALI推理速度提升超95%,显存降低超85%,参数量仅需7B模型的4%。

  • 在多个主流数据集上,RALI的性能与大型多模态模型相当甚至更优。

  • 研究还提出了RACT方法,有效解决了多数据集混合训练中的标注偏差问题。

ICLR26 Oral 可泛化的画质理解大模型Rali,开销减少96%精华内容

那么,RALI究竟是如何实现这种惊人的效率与性能平衡的呢?其核心在于对“推理”角色的重新定义与巧妙剥离。

推理即表征

传统观点认为RL提升IQA性能源于其推理能力,但该研究通过分析注意力分布发现,模型在生成分数时,高达95%的注意力权重集中在其自身生成的“推理文本”上,而非原始视觉特征。

这揭示了RL的本质机制:它将包含上千个Token的高维视觉信息,压缩为约百个Token的紧凑质量描述文本。这种文本表征不仅降低了信息维度,更重要的是具备天然的跨域对齐属性,能消除不同数据集间的域差异,这便是模型泛化能力的关键来源。

轻量化蒸馏

基于上述发现,研究者提出了RALI(Reasoning-Aligned Lightweight IQA)框架,旨在将大模型的推理能力“固化”到小模型中。

其核心步骤是:首先,利用RL训练好的大模型生成高质量的图文对;然后,通过对比学习微调CLIP的视觉编码器,使其输出特征直接对齐到高质量的“质量文本空间”。这一步完成后,在预测阶段便可完全抛弃耗时的LLM和推理过程。

效率与精度

为了进一步提升效率和性能,RALI引入了特征压缩与分数定义策略。通过PCA降维和分桶K-means聚类,将CLIP的768维特征压缩为更紧凑的512维离散化空间,过滤噪声并确保特征均匀分布。

最终,模型仅通过计算图像特征与可学习基向量的相似度来预测分数。实测数据显示,当Batch Size为16时,RALI的推理时间仅为Q-Insight的3.4%,显存占用为14.7%。在KonIQ、SPAQ等数据集上,其PLCC/SRCC指标与Q-Insight等7B级大模型持平。

跨域训练方案

针对IQA领域多数据集混合训练时,因标注者主观偏好不同导致模型难以收敛的问题,研究也提出了解决方案RACT。

该方法先在各数据集上单独训练RL模型,再用各自的推理模块将所有图像统一转化为客观的质量描述文本,形成跨域标签。最后,使用这些对齐后的图文对进行跨域监督微调,巧妙地避开了主观评分偏差的干扰,在未见过的数据集上取得了最佳的泛化性能。

RALI模型通过“推理即表征”的深刻洞见,成功实现了高性能IQA模型的轻量化,为端侧实时应用扫清了障碍。这种将复杂过程内化为高效表征的思路,或许能为其他高成本AI模型的优化提供借鉴。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章