什么值得买App下载 App ›
连续签到专享现金活动

多模态模型迎来「平行思考」时代!

现有的多模态大模型(MLLM)在推理时多采用单一的深度扩展路径,这种线性思维模式在面对复杂视觉任务时容易陷入僵局,导致推理效率与准确性受限。针对这一痛点,Visual Para-Thinker提出了一种全新的「平行推理」范式,旨在通过多路径协同机制突破单一路径的认知瓶颈。
01核心机制:分治策略与并行推理
该模型的核心创新在于引入了分治策略,将原本单一的推理过程转化为多条并行路径,让模型能够“分头行动”后再汇总答案,从而提升视觉感知的广度与深度。
  • 分块式划分:每个推理路径专注于图像的不同区域(如左上、右上、左下、右下),捕捉局部细节特征。
  • 扫描式划分:各路径按照不同的顺序(如从左到右、从上到下)扫描图像,构建差异化的全局视角。
02技术架构:路径感知与高效实现
  • Pa-Attention(路径感知注意力):确保不同路径之间的推理过程相互隔离,避免信息串扰,保持各路径的独立性。
  • LPRoPE(可学习并行位置编码):赋予模型区分不同路径思考内容的能力,同时维持推理过程的无偏性。
  • 基于vLLM的高效实现:利用并行解码技术与KV缓存复用机制,显著提升了推理速度。
03性能表现:小模型超越大模型
在7B参数规模下的测试数据显示,该模型在多项关键任务中均取得显著提升,甚至在部分指标上超越了参数量更大的主流模型及自家旗舰产品。
任务类型基准模型/原指标Visual Para-Thinker提升幅度
RefCOCO视觉定位84.8%88.5%+4%
V*细粒度感知77.0%78.8%+1.8%
幻觉基准 (MMVP)66.0%71.3%+5.3%

7B参数规模下模型性能对比

实测结果表明,这种7B的小参数模型在多个任务上的表现超越了GPT-4o、Gemini 2.5-Pro以及参数量达72B的同系列大模型。
Visual Para-Thinker通过引入平行推理机制,证明了在视觉推理任务中,“想得更宽”往往比单纯的“想得更深”更为有效。这种利用推理多样性突破性能瓶颈的思路,为未来多模态大模型的架构设计提供了新的参考方向。

评论

评论区空态插画

当前文章无评论,是时候发表评论了