DeepSeek开源了全新的OCR模型DeepSeek-OCR 2,其核心价值在于通过引入语言模型架构,智能理解文档的视觉逻辑。该模型解决了传统OCR在处理复杂版面时语义断裂的痛点,以轻量化的参数实现了与顶级模型媲美的性能,为文档数字化处理提供了高效且精准的新方案。
智能速览
DeepSeek开源全新OCR模型DeepSeek-OCR 2,专攻PDF转Markdown。
模型弃用CLIP,改用轻量语言模型Qwen2-0.5B构建编码器。
通过双流注意力机制实现视觉标记的动态因果重排。
在OmniDocBench v1.5基准测试中性能达91.09%,媲美Gemini-3 Pro。
模型已完全开源,代码、论文及模型权重均已发布。
精华内容
DeepSeek-OCR 2的突破,源于其对视觉编码器的颠覆性重构。一个语言模型,是如何让机器“看懂”文档布局的?
架构革新
DeepSeek-OCR 2最核心的变化,是将前代采用的CLIP视觉编码器,替换为基于轻量化语言模型Qwen2-0.5B架构的DeepEncoder V2。这一改变让视觉编码器首次具备了“因果推理”能力,模仿人类阅读时的视觉流。在图像信息进入主解码器进行文本生成前,编码器会先对视觉标记进行一次智能化的逻辑重排,为后续处理奠定连贯的语义基础。
动态视觉流
为实现视觉标记的智能重排,DeepEncoder V2引入了全新的双流注意力机制,并通过定制的注意力掩码进行约束。该机制确保视觉标记之间保持独立,同时让每一个查询标记只能关注其前置标记及所有视觉信息。这种设计在所有网络层中保持了视觉信息的“活跃度”,成功建立了两阶段级联推理,有效弥合了2D图像空间结构与1D语言建模之间的鸿沟。
性能与效率
在包含1355个页面的OmniDocBench v1.5综合测试中,DeepSeek-OCR 2取得了91.09%的分数,相比基线提升3.73%。其阅读顺序的编辑距离从0.085显著降至0.057,证明了逻辑重排的有效性。在与Gemini-3 Pro的对比中,在相似标记预算下,DeepSeek-OCR 2的文档解析编辑距离(0.100)表现更优。在实际生产中,PDF生产数据重复率从3.69%降至2.88%,证实了其逻辑理解能力的提升。
开源与团队
延续开源精神,DeepSeek-OCR 2的代码、模型及论文已在GitHub和HuggingFace上同步发布。该模型由魏浩然、孙耀峰和李宇琨三人完成。魏浩然曾主导开发GOT-OCR2.0,孙耀峰深度参与了DeepSeek V系列模型研发,李宇琨则是拥有近万次谷歌学术引用的资深研究员。团队的专业背景为此次技术突破提供了有力保障。
DeepSeek-OCR 2的成功,不仅验证了语言模型架构作为视觉编码器的巨大潜力,也为迈向统一的全模态编码器提供了切实可行的路径。用语言思维处理视觉信息,这一范式转移或许会催生更多超越OCR的AI应用。