多模态推荐已成为业界标配，但增加的图像和文本信息真的提升了推荐效果吗？一项针对14种模型和三个大型数据集的深度研究，通过严谨的诊断实验揭示了相反的结论：性能提升往往源于模型结构而非模态本身。该研究不仅挑战了“信息越多越好”的直觉，更为如何有效评估和利用多模态信息提供了全新视角，对推荐系统领域的研究与实践具有重要启发。
智能速览
多模态推荐的整体收益并非普遍规律，主要在复杂图融合模型中体现。
文本信息是推荐性能的主要驱动力，敲除后多数模型性能大幅下滑。
多数模型并未有效利用视觉信息，甚至偶尔出现去掉图片效果更好的情况。
视觉信息能否被有效利用，高度依赖于模型的融合机制与训练动力学。
研究警告：模型性能提升可能来自架构伪增益，而非真正理解了多模态语义。
精华内容
为了探究模态信息的真实贡献，研究设计了名为“Modality Knockout”的诊断方法，通过替换特定模态的embedding来隔离其影响，从而得出了一系列颠覆性结论。
诊断实验设计
为探究多模态推荐中收益的真实来源，研究在统一的MMRec工具链上，对Baby、Sports、Clothing三个极其稀疏（超99.9%）的Amazon数据集进行了系统性测试。实验覆盖了14种主流多模态推荐模型，涵盖了早期融合、图神经网络、对比学习等多种范式。核心方法“Modality Knockout”通过在训练和推理阶段将特定模态（文本或图像）的embedding替换为常数向量或随机噪声，在不改动模型结构的前提下，精确衡量该模态信息对最终性能的贡献。这套严谨的设计旨在排除实现细节和数据差异的干扰，直指模态信息的核心价值。
文本的主导地位
实验结果清晰地表明，文本是多模态推荐性能提升的关键驱动力。当采用“文本敲除”（仅保留图像与协同过滤信号）时，绝大多数模型性能都出现了显著下滑，其下降幅度与同时敲除文本和图像的“双敲除”场景非常接近。例如，在Baby数据集上，FREEDOM模型的NDCG@10指标下降了28%，DRAGON下降22.2%。研究通过embedding分布可视化发现，文本向量在语义空间中更为紧凑聚集，使得模型更容易学习和对齐，从而在优化过程中占据了主导地位。
视觉信息的困境
与文本形成鲜明对比的是，视觉信息在多数模型中扮演着次要甚至无效的角色。在“视觉敲除”（仅保留文本与协同过滤信号）实验中，许多模型的性能几乎没有变化，个别情况下甚至出现了轻微提升。这揭示了一个令人惊讶的事实：许多号称多模态的模型，实际上并没有真正“看见”或理解图片内容。图像embedding分布更为分散，导致模型难以有效利用这些信息，其信号在强大的文本和协同过滤信号面前被“压制”了。
结构决定成败
尽管视觉信息普遍利用不足，但研究也发现了一些重要的反例。GRCN、LGMRec等模型在视觉敲除后性能下滑明显，例如在Clothing数据集上，GRCN的NDCG@10下降13.6%。这说明模型的融合机制是决定其能否利用视觉信息的关键。此外，研究还测试了将视觉编码器从ResNet-50升级到更强的ViT，发现收益高度依赖于模型本身：有的模型（如GRCN）能明显受益，而有的（如DRAGON）甚至会性能退化，证明了“更强的表征”不等于“更好的效果”，模型架构和适配性同等重要。
警惕伪增益
研究最核心的警示是，多模态模型优于单模态基线，并不等同于模型学到了多模态的“语义”。VBPR等简单融合模型在各种敲除实验中表现异常稳定，说明其性能提升可能源于模型结构本身带来的“数值效应”或“伪增益”，而非对图像和文本内容的深度理解。这要求研究者和工程师在评估模型时，必须超越单纯的指标对比，采用更精细的诊断方法，去伪存真，确保性能提升真正源于对信息本身的有效利用。
