DeepSeek-OCR-2的发布,验证了用语言模型(LLM)架构处理视觉任务的可行性。本文深入剖析其从V1到V2的核心架构变革,即用LLM式编码器替代传统ViT,解读双向与因果流结合的视觉推理机制,并辅以真实场景评测,揭示其在技术理想与工程应用间的表现。
智能速览
核心改动在于将视觉编码器由ViT替换为LM架构。
通过双向与因果流注意力,模拟人类更灵活的图片阅读顺序。
验证了LLM作为视觉编码器的可行性,统一了多模态架构。
在OmniDocBench榜单上,相较于V1模型有显著提升。
实测中擅长简单文本识别,但在复杂手写和表格结构上存在不足。
精华内容
传统视觉模型如何像人一样阅读图片?DeepSeek-OCR-2给出了自己的答案,其核心在于对视觉信息进行重新排序的推理过程。
旧有架构的局限
传统的视觉编码器多采用ViT(Vision Transformer)架构,这是一种纯Encoder结构,能让所有视觉Token互相看见。但ViT处理图像时,会将图像切分成Patch并按固定顺序(如从左到右、从上到下)处理,这与人眼根据语义关联性灵活扫视的习惯相悖。
例如,面对双栏排版或竖版文字时,固化的阅读顺序会导致视觉与语义的割裂,影响识别效果。
双流注意力的革新
为解决视觉Token的排序问题,DeepSeek-OCR-2创新性地引入了类似Prefix LM的架构。它并非首创,但首次在编码器中使用。该架构通过定制化的注意力掩码,实现了“双流”注意力机制。
具体来说,视觉Token之间使用双向注意力,可以互相看见;同时引入可学习的Query,这些Query采用因果注意力,按顺序处理视觉信息,从而实现对视觉Token的渐进式重排序,更贴合人类阅读逻辑。
架构统一与实测表现
将LLM同时用作视觉编码器和解码器,最大价值在于统一了架构,为原生多模态大模型的发展铺平了道路。在OmniDocBench v1.5评测中,V2相较于V1在端到端识别上有很大提升。
不过,实测表现喜忧参半。它在简单文本、简单公式识别上表现准确;但在复杂手写体识别时会出错,表格结构识别也易发生错误,复杂公式则可能丢失信息。
DeepSeek-OCR-2不仅在特定任务上实现了性能提升,更重要的是它验证了LLM作为统一多模态基座的潜力。尽管在复杂场景下仍有挑战,但这种架构上的创新为未来的视觉语言模型发展提供了新的思路,原生多模态的实现或许已不再遥远。
当前文章无评论,是时候发表评论了