张大妈

刚刚,DeepSeek又探索新架构了,开源OCR 2

源自知乎:机器之心

01-28 16:17

DeepSeek开源的OCR 2模型,通过引入全新的DeepEncoder V2架构,实现了视觉编码从固定扫描到语义推理的范式转变。这项技术不仅显著提升了对复杂文档的识别准确率,还大幅降低了视觉Token数量,为多模态模型的未来发展提供了新思路。

刚刚,DeepSeek又探索新架构了,开源OCR 2智能速览

  • DeepSeek-OCR 2引入DeepEncoder V2架构,实现语义推理式视觉编码

  • 用轻量级语言模型Qwen2-500M替代传统CLIP编码器

  • 通过“因果流查询”实现视觉Token的动态语义重排

  • 仅需256至1120个视觉Token即可覆盖复杂文档,压缩效率极高

  • 在OmniDocBench评测中得分91.09%,较前代提升3.73%

  • 实际生产应用中,OCR识别结果的重复率显著降低

刚刚,DeepSeek又探索新架构了,开源OCR 2精华内容

DeepSeek-OCR 2的核心突破,在于赋予机器类似人类的阅读逻辑。它不再是死板地扫描图像,而是通过全新的架构,让视觉理解充满了智能的推理与判断。

架构革新

新模型的核心在于DeepEncoder V2编码器。它摒弃了原有的CLIP ViT架构,转而采用一个基于轻量级语言模型(Qwen2-500M)的设计。此设计引入了双流注意力机制:原始视觉Token使用双向注意力以保留全局信息,而新增的因果流查询则使用因果注意力。这种结构让模型能够根据图像内容,动态地对视觉Token进行语义上的重排与蒸馏,使其更符合自然阅读顺序。

因果推理机制

DeepEncoder V2构建了一个两级级联的因果推理过程。首先,编码器通过可学习的因果流查询对视觉Token进行智能重排,赋予其语义逻辑。随后,LLM解码器在这一已经排序的序列之上执行自回归推理。这种设计打破了传统模型必须按从左到右、从上到下栅格顺序处理图像的限制,在二维的图像空间与一维的语言模型之间架起了一座桥梁,让模型的处理方式更接近人类。

性能实测提升

在权威的OmniDocBench v1.5评测中,DeepSeek-OCR 2在视觉Token数量最少的情况下,取得了91.09%的综合得分,相比前代提升了3.73%。尤其在阅读顺序(R-order)指标上,其编辑距离(ED)从0.085显著降至0.057,证明了其在逻辑性理解上的巨大进步。在与同类顶尖模型的对比中,使用相同Token预算,DeepSeek-OCR 2的文档解析ED(0.100)也低于Gemini-1.5 Pro(0.115)。

应用与未来

极高的数据压缩率(仅需256-1120个Token)显著降低了下游大模型的计算开销。在实际生产环境中,无论是在线OCR服务还是批量PDF处理,新模型的识别重复率都大幅下降,在线日志图像重复率从6.25%降至4.17%。更重要的是,这种架构为未来构建统一的omni-modal(全模态)编码器提供了可行路径,未来同一个AI“大脑”或许能用同样的逻辑去理解和处理声音、视频等所有模态的数据。

DeepSeek-OCR 2的视觉因果流架构,不仅是对OCR技术的一次重要升级,更展示了AI从感知走向认知的潜力。它让机器在处理视觉信息时,开始拥有了“逻辑”和“顺序感”。未来,这种思路能否成为通向真正多模态智能的关键一步?

刚刚,DeepSeek又探索新架构了,开源OCR 2关键评论

  • 有网友认为,此次更新节奏较慢,并质疑DeepSeek在多模态领域的整体实力

  • 有评论指出,新模型在识别无序内容方面可能存在局限

  • 有用户好奇为何选择Qwen2作为编码器基础,而非DeepSeek自家模型

  • 部分观点认为,此次的架构创新不如R1发布时带来的惊喜感强烈

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章
相关兴趣推荐