传统OCR在处理复杂文档时,常因机械扫描而忽略整体逻辑。DeepSeek新开源的OCR-2模型,通过创新的视觉因果流架构,让机器学习人类阅读时的优先级排序,显著提升了对复杂版式的理解与识别准确率,为AI视觉理解提供了新思路。

智能速览
DeepSeek开源了新一代OCR模型DeepSeek-OCR 2,核心是视觉因果流架构。
该架构让机器模拟人类阅读,根据语义逻辑而非固定顺序处理文档。
模型首次采用语言模型作为视觉编码器,统一了视觉与语言的建模范式。
在OmniDocBench v1.5测试中,准确率达91.09%,结构理解优于Gemini-3 Pro。
真实场景中,新模型的重复输出率显著降低,提升了文档解析的可靠性。
该架构是通向“原生多模态”的重要探索,未来或可应用于更广泛的视觉领域。
精华内容
DeepSeek-OCR 2的突破,源于其模仿人类阅读逻辑的全新架构。它不再机械扫描,而是像人一样先把握全局结构,再按语义顺序深入细节,这背后是视觉因果流设计的巧妙运用。
核心:视觉因果流
传统OCR模型遵循扫描式思路,先定位文字区域再逐行识别,这种固定顺序在面对学术论文、技术报告等复杂文档时,难以理解其多栏、图文交错的逻辑结构。
人类阅读则不同,会先浏览标题,再看段落和表格,存在优先级。DeepSeek-OCR 2提出的视觉因果流,正是为了让机器学习这种更智能的阅读方式,通过语义驱动的顺序重排,让AI能根据图片内容的逻辑来处理信息。
架构:语言模型赋能视觉
DeepSeek-OCR 2的整体架构延续了“编码器-解码器”设计,但关键的编码器部分升级为DeepEncoder V2。其最核心的变化,是用一个约5亿参数的轻量级语言模型(Qwen2-500M)取代了传统的CLIP视觉模型。
这种“用语言模型做视觉编码器”的设计,使得视觉编码阶段本身就具备了序列建模和因果推理能力,与后续的语言解码阶段在建模范式上保持了一致性,为理解文档逻辑结构奠定了基础。
关键:注意力掩码设计
视觉因果流的实现,依赖于精巧的注意力掩码设计。在编码器中,视觉token与一组新增的因果流查询token被拼接,但两者的注意力机制是非对称的。
视觉token之间采用双向注意力,保持全局建模能力。而查询token之间则采用严格的因果注意力,每个查询只能关注之前的查询,同时每个查询都能访问所有视觉token。这种设计迫使查询token以序列化方式逐步聚合视觉信息,形成接近人类阅读逻辑的顺序。
表现:数据显著提升
新架构带来了性能的实质性飞跃。在OmniDocBench v1.5基准测试中,DeepSeek-OCR 2的整体准确率达到91.09%,较上一代提升3.73%。衡量阅读顺序准确性的编辑距离指标从0.085大幅降至0.057,证明其对文档逻辑的理解能力显著增强。
与闭源模型Gemini-3 Pro对比,在使用约1120个视觉Token的情况下,DeepSeek-OCR 2的文档解析编辑距离(0.100)表现更优。在真实应用中,模型在在线用户日志和PDF批量处理的重复输出率也分别降至4.17%和2.88%。
展望:走向原生多模态
DeepSeek-OCR 2的意义超越了OCR本身,它提供了一种将二维视觉理解拆解为两层一维因果推理的框架思路。编码器负责“怎么读”,解码器负责“如何回答”,两者协同完成对复杂视觉内容的理解。
DeepSeek在论文中提出,这是通向“原生多模态”的探索。如果同一套因果查询机制能统一视觉、文本甚至音频,那么OCR可能只是这一强大架构的起点,未来将向着更通用的多模态智能迈进。
DeepSeek-OCR 2不仅是一次OCR技术的精进,更提供了一种让AI更像人类思考的架构范式。从优化文档阅读到探索原生多模态,这种将因果推理引入视觉理解的新思路,或许正为通用人工智能打开一扇新的大门。