当前流式多模态大模型常被误解为能实时“边看边说”，实则多为交替处理。本文揭示了这一现象背后的技术根源——全局连续位置编码的限制，并提出了三种创新解决方案，为实现真正的实时视频理解提供了新思路。
智能速览
多数流式模型只是交替处理，并非真正的边看边说。
核心瓶颈在于生成时无法为未来视觉帧分配全局连续的位置编号。
全局连续的位置编码并非必须，可以打破以实现并行。
论文提出了OSPE、GDPE、GIPE三种位置编码新设计。
新方案经微调后性能保持稳定，GDPE综合表现最佳。
理论上可实现最高约2倍的加速上限。
精华内容
那么，如何打破位置编码的连续性束缚，让模型真正“一心二用”呢？核心在于重新设计其分配机制。
瓶颈根源
流式模型在生成文本时，无法预知总输出长度，导致后续视觉帧无法获得不冲突且连续的位置编号。这迫使“看”和“说”两个过程必须串行执行，无法并行。
模型的这种内在机制，是限制其实时能力的关键。即使架构上支持并行处理，位置编码的分配逻辑也成为了“木桶效应”中的那块短板。
核心破局
研究发现，位置编码的本质是表达元素间的相对关系，而非必须依赖一条全局连续的数轴。只要能维持相对顺序，其绝对数值可以重新设计。
基于此，打破“全局连续”的束缚，便成为释放并行能力的关键突破口。这为后续提出具体方案奠定了理论基础。
方案设计
论文提出了三种方案：OSPE允许位置重叠起步；GDPE将视觉和文本tokens的位置分组解耦，各自独立编号；GIPE则在GDPE基础上拉大间隔。
实验表明，仅需少量数据微调，模型便能适应。其中GDPE方案在保持性能和语言连贯性上综合表现最为平衡，是一个兼顾效率与效果的优化方向。
性能增益
采用新方案后，模型在真实流式场景下的输出语言更连贯、更稳定。这不仅提升了用户体验，更带来了显著的性能提升。
理论上，当“看”和“说”的负载大致均衡时，并行处理可将整体效率提升约2倍。这为构建更高效的实时交互系统铺平了道路。
通过重塑位置编码，为流式多模态模型的实时能力找到了新的突破口。这项技术不仅是理论上的创新，更有望在未来应用于更多实时交互场景。真正的“一心二用”离我们还有多远？
