张大妈

DeepSeek开源全新OCR模型!弃用CLIP改用Qwen轻量小模型,性能媲美Gemini-3 Pro

源自知乎:量子位

01-29 13:00

DeepSeek开源了全新的OCR模型DeepSeek-OCR 2,其核心价值在于通过引入语言模型架构,智能理解文档的视觉逻辑。该模型解决了传统OCR在处理复杂版面时语义断裂的痛点,以轻量化的参数实现了与顶级模型媲美的性能,为文档数字化处理提供了高效且精准的新方案。

DeepSeek开源全新OCR模型!弃用CLIP改用Qwen轻量小模型,性能媲美Gemini-3 Pro智能速览

  • DeepSeek开源全新OCR模型DeepSeek-OCR 2,专攻PDF转Markdown。

  • 模型弃用CLIP,改用轻量语言模型Qwen2-0.5B构建编码器。

  • 通过双流注意力机制实现视觉标记的动态因果重排。

  • 在OmniDocBench v1.5基准测试中性能达91.09%,媲美Gemini-3 Pro。

  • 模型已完全开源,代码、论文及模型权重均已发布。

DeepSeek开源全新OCR模型!弃用CLIP改用Qwen轻量小模型,性能媲美Gemini-3 Pro精华内容

DeepSeek-OCR 2的突破,源于其对视觉编码器的颠覆性重构。一个语言模型,是如何让机器“看懂”文档布局的?

架构革新

DeepSeek-OCR 2最核心的变化,是将前代采用的CLIP视觉编码器,替换为基于轻量化语言模型Qwen2-0.5B架构的DeepEncoder V2。这一改变让视觉编码器首次具备了“因果推理”能力,模仿人类阅读时的视觉流。在图像信息进入主解码器进行文本生成前,编码器会先对视觉标记进行一次智能化的逻辑重排,为后续处理奠定连贯的语义基础。

动态视觉流

为实现视觉标记的智能重排,DeepEncoder V2引入了全新的双流注意力机制,并通过定制的注意力掩码进行约束。该机制确保视觉标记之间保持独立,同时让每一个查询标记只能关注其前置标记及所有视觉信息。这种设计在所有网络层中保持了视觉信息的“活跃度”,成功建立了两阶段级联推理,有效弥合了2D图像空间结构与1D语言建模之间的鸿沟。

性能与效率

在包含1355个页面的OmniDocBench v1.5综合测试中,DeepSeek-OCR 2取得了91.09%的分数,相比基线提升3.73%。其阅读顺序的编辑距离从0.085显著降至0.057,证明了逻辑重排的有效性。在与Gemini-3 Pro的对比中,在相似标记预算下,DeepSeek-OCR 2的文档解析编辑距离(0.100)表现更优。在实际生产中,PDF生产数据重复率从3.69%降至2.88%,证实了其逻辑理解能力的提升。

开源与团队

延续开源精神,DeepSeek-OCR 2的代码、模型及论文已在GitHub和HuggingFace上同步发布。该模型由魏浩然、孙耀峰和李宇琨三人完成。魏浩然曾主导开发GOT-OCR2.0,孙耀峰深度参与了DeepSeek V系列模型研发,李宇琨则是拥有近万次谷歌学术引用的资深研究员。团队的专业背景为此次技术突破提供了有力保障。

DeepSeek-OCR 2的成功,不仅验证了语言模型架构作为视觉编码器的巨大潜力,也为迈向统一的全模态编码器提供了切实可行的路径。用语言思维处理视觉信息,这一范式转移或许会催生更多超越OCR的AI应用。

内容由AI生成
2
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章