多模态大模型虽强，但高昂的推理成本制约了其落地应用。如何在有限的算力预算下，依然保持出色的性能？一项新研究提出了一种动态推理框架，通过为模型内部加装“开关”，使其能根据实时预算灵活调整计算量，实现了性能与成本的精准平衡。
智能速览
当前多模态模型推理成本高，难以应对资源波动。
研究通过引入二值开关和调度器，实现模型动态重配置。
采用Gumbel-Softmax近似，解决了离散开关的梯度回传难题。
该方法可在多基准上平滑权衡性能与延迟，并严格遵守预算。
在60%预算下性能损失很小，细粒度控制效果更佳。
该方法可与现有token剪枝技术叠加，进一步提升效率。
精华内容
核心思路是将庞大的多模态模型视为一族可动态配置的“小模型”，通过精准控制内部计算单元的启停，来适配任意给定的预算要求。
推理困境
多模态大模型在实际部署中面临严峻的推理成本挑战，其高昂的算力需求和延迟问题成为主要瓶颈。现有的提效方案大多提供几个固定的准确率与延迟档位，无法有效应对运行时复杂的资源波动。此外，在同一系统中，不同用户的请求对延迟的要求千差万别，边缘设备上并发程序的资源争用也会导致预算动态变化，这些都对模型的灵活性和适应性提出了更高要求。
动态开关
该研究的核心创新在于提出了一种动态推理框架。它将一个多模态大模型看作是“共享参数的一族浅模型”，通过在模型内部（如Transformer块、注意力头）加入K个二值开关，来决定哪些部分需要被激活执行。同时，训练一个专门的调度器，该调度器接收多模态特征和延迟预算作为输入，输出一个最优的执行计划（即开关状态）。为了解决二值开关不可导的问题，研究采用了Gumbel-Softmax技巧进行近似，使得模型可以通过端到端的方式进行训练。
实验验证
研究团队在LLaVA-1.5模型上进行了实验，并联合训练了调度器。在VQAv2、MMBench等多个标准基准的零样本评测中，该方法展现了卓越的性能。实验结果表明，它能够随着预算的变化平滑地调整模型性能，并且做到了报告0%的延迟违例率，严格贴合预算要求。令人惊喜的是，即使在85%和60%的预算下，模型的整体性能下降幅度也非常小，证明了其高效性。
优势与潜力
研究进一步对比了不同粒度的控制方案，发现按头或神经元进行细粒度裁剪的AdaLLaVA-H，其效果通常优于按层选择块的粗粒度方案AdaLLaVA-L。此外，该动态开关框架与PruMerge+、FastV等token选择方法具有良好的兼容性，两者结合可以进一步提升推理效率。研究还指出，相较于直接使用拉格朗日乘子法进行确定性约束，这种概率化的方法能有效避免生成不满足严格预算的次优计划，减少资源浪费。
这项研究为多模态大模型的高效部署提供了富有创造性的解决方案，让“按需计算”成为可能。它不仅有效降低了推理门槛，也为未来在资源受限设备上的应用打开了新的大门。这种动态调整的思路，能否成为未来大模型设计的新范式？
