DeepSeek-OCR V2的核心变革在于从V1的“物理压缩”转向了“逻辑感知”。它不再将图片视为简单的像素集合,而是通过引入小型LLM作为编码器,让模型能像人眼一样,按照内容的逻辑顺序而非固定的空间位置来理解图像,为复杂文档的视觉理解开辟了新路径。
智能速览
DeepSeek-OCR V2的核心是从物理压缩转向逻辑感知。
V1版本因采用固定空间顺序扫描,难以处理复杂排版。
V2创新性地将编码器后端替换为小型LLM,实现视觉因果流。
通过精巧的注意力掩码设计,模型能输出符合语义逻辑的视觉特征。
这项工作的长远价值在于探索用LLM架构去理解视觉。
精华内容
从V1到V2的升级,并非简单的性能提升,而是一次底层逻辑的重构。这套新架构究竟是如何运作,并解决旧版痛点的呢?
旧版架构的瓶颈
DeepSeek-OCR V1沿用了传统的ViT架构,即SAM、Conv和CLIP的组合。这种设计分工明确,但存在一个核心问题:CLIP输出的特征是按照固定的空间顺序(光栅扫描)排列的,也就是从左到右、从上到下。当遇到表格、多栏文本等复杂排版时,这种死板的物理顺序会打乱原有的语义逻辑。
例如,阅读一篇双栏论文时,人的视线会根据内容逻辑在左右栏之间跳跃,而非机械地扫描。V1的这种处理方式,极大地增加了后续LLM解码器的理解负担。
V2的逻辑感知革新
为解决V1的痛点,V2版本提出了“视觉因果流”的概念。最核心的改动在于,将编码器后端的CLIP模型替换成了一个仅有0.5B参数的轻量级LLM(Qwen2)。这个混合架构让编码器能够处理两种Token:从ViT而来的视觉Patch Token和文本Token。
通过一个精心设计的注意力掩码,模型引入了级联的因果推理机制。这使得视觉Token能够基于文本Token进行排序,从而将原本无序的空间像素,梳理成符合人类阅读习惯的、有序的语义流。
精巧的注意力掩码
实现视觉因果流的关键在于一个特殊的注意力掩码。该掩码被设计成一个分块矩阵,确保了两种因果关系的建立。第一,视觉Token之间的注意力是局部的,类似于标准ViT,以捕捉局部图像特征。第二,文本Token可以关注到所有在它之前的视觉Token,从而为视觉序列的排序提供逻辑依据。
这种设计相当于在编码器内部完成了一次“隐式的思维链”,提前为解码器整理好了信息的逻辑顺序,让解码器的工作变得轻松高效。
超越OCR的价值
DeepSeek-OCR V2的真正价值,或许并非提供一个当下最好用的OCR工具,而在于它为“如何用LLM架构去理解视觉”这一命题提供了一个富有想象力的探索方向。它证明了通过将视觉和语言模态在架构层面进行更深度的融合,能够让模型突破物理空间的限制,实现更高维度的逻辑感知。这项技术对未来多模态模型的发展具有重要启示意义。
DeepSeek-OCR 2的演进,标志着AI视觉理解正从简单的像素识别迈向深度的逻辑推理。通过引入LLM架构,模型学会了像人一样思考阅读路径,这为处理复杂视觉信息提供了全新思路。未来,这种逻辑感知能力还将如何拓展AI的应用边界?