多模态上下文学习中，演示样本的选择长期依赖人工经验，限制了模型性能的提升。CVPR 2025的一项研究提出，将此问题转化为组合优化，并利用强化学习框架自动学习最优样本组合。该方法不仅显著提升了模型在多个VQA任务上的表现，也为后续研究提供了全新的视角。
智能速览
将演示样本选择重新定义为组合优化问题。
提出“探索-利用”双阶段强化学习框架。
在多个主流VQA数据集上性能提升最高达4.9%。
证明了样本间交互和多样性的重要性。
该框架对弱模型有更显著的提升效果。
精华内容
这项研究的核心，在于跳出传统思维的窠臼，用全新的框架解决多模态ICL的根本性难题。
传统方法的局限
此前，大视觉语言模型的ICL主要依赖两种启发式策略：一是采用与任务无关的固定模板，二是根据查询的嵌入相似度检索单个样本。固定模板方法无法适应多样化的任务需求，导致在新任务上表现次优。而基于相似度的动态检索，虽然在小样本领域显示出潜力，但在多模态场景下面临严峻挑战，高相似度样本可能信息冗余，反而干扰模型的理解和生成。
探索-利用新框架
该论文提出了一个端到端可学习的多模态探索-利用框架。在探索阶段，框架采用随机束搜索为采样策略网络生成多种可能的演示组合，并对这些组合进行评估以获得奖励。在利用阶段，则基于不同组合的奖励，使用策略梯度强化学习来优化采样策略。通过迭代交替这两个阶段，模型能够自主识别并生成最有效的演示集，显著降低了对人工干预的依赖。
性能显著提升
在OKVQA、TextVQA等四个代表性的VQA数据集和多种LVLM上进行的广泛实验验证了该方法的有效性。结果表明，该框架相较于传统的相似度检索方法，在多个任务上实现了最高4.9个百分点的性能提升。尤其值得关注的是，该框架对性能较弱的模型提升效果更为明显，这证明了其强大的泛化能力和适应性，为现有模型的潜力释放提供了新路径。
关键研究洞察
通过大量的消融实验，论文得出了深刻的研究结论。首先，演示样本之间的交互关系对于模型的类比推理至关重要，独立的样本选择会忽略这种关键信息。其次，高相似度的样本组合并非总是最优选择，引入多样性反而能带来更好的效果，有效避免信息冗余。这些洞见为未来多模态ICL的研究方向提供了明确的指导。
该框架为多模态ICL提供了自动化、高效的样本选择方案，其研究思路具有启发性。它证明了优化样本组合逻辑比单纯挑选样本更重要，这或将引领该领域下一阶段的研究方向。这为我们思考如何激发模型的推理能力带来了什么新启示？
