传统视觉语言模型(VLM)处理图像的固定扫描方式,与人类灵活的视觉认知机制存在根本性差异。DeepSeek开源的DeepSeek-OCR 2提出了一种全新架构,通过引入具备因果推理能力的编码器,让机器能够像人类一样,根据图像内在逻辑智能地重排视觉信息,为视觉理解带来了突破性进展。
智能速览
传统VLM的固定扫描方式不符合人类视觉习惯。
DeepSeek-OCR 2引入了具备因果推理能力的DeepEncoder V2编码器。
新架构用紧凑语言模型替代CLIP,实现视觉token的智能重排。
通过定制注意力掩码,模型能模拟人类阅读的因果视觉流。
在权威测试基准上性能提升3.73%,视觉阅读逻辑显著进步。
该技术为统一全模态编码提供了有前景的新路径。
精华内容
传统VLM的视觉处理方式正面临挑战,DeepSeek如何通过创新架构,让机器更接近人类的视觉逻辑?答案就在于对信息流顺序的根本性重塑。
僵化的传统扫描
主流的视觉语言模型在处理图像时,普遍采用类似阅读文字的固定光栅扫描顺序,即从左上到右下依次处理视觉信息。这种方式配上固定的位置编码,虽然简单,但完全忽略了人类视觉感知的灵活性与语义连贯性。
人类在观察复杂图像时,视线会跟随内容的重要性和逻辑关系进行跳跃式扫描,这是一种带有因果推理的主动过程。传统VLM的僵化扫描方式,正是其在理解复杂布局和视觉逻辑时表现不佳的根本原因。
因果流建模核心
为解决上述问题,DeepSeek-OCR 2的核心组件DeepEncoder V2应运而生。该编码器的关键创新,是将传统的CLIP视觉编码器替换为一个紧凑的语言模型架构。
在此基础上,研究团队引入了可学习的“因果流token”,并通过定制的注意力掩码机制,使这些token能够对原始视觉token进行重新排序。这一过程模拟了人类阅读时的因果视觉流,让模型能够根据图像内容自主决定先看什么、后看什么。
级联式处理架构
在DeepEncoder V2中,视觉token与因果流token的数量保持一致,为模型模拟人类的“re-fixation”(重新注视)行为提供了充足的容量。
整个处理流程呈现级联式特征:编码器首先对图像进行压缩和重排,然后只将蕴含了因果逻辑的后半部分(即因果流token)输入给后续的LLM解码器。这种设计显著提升了处理效率,并将输入LLM的视觉token数量控制在256到1120之间,兼顾了性能与兼容性。
性能提升与未来展望
基于新架构的DeepSeek-OCR 2在实际测试中表现优异。在复杂的文档理解基准OmniDocBench v1.5上,其性能相比前代模型提升了3.73%,并在视觉阅读逻辑的正确性上取得了显著进步。
更重要的是,这项研究验证了将语言模型用作多模态编码器的巨大潜力。未来,只需为不同模态(图像、音频等)配置特定的查询向量,就有可能实现统一的特征提取框架,并能直接复用LLM社区的诸多先进优化技术,如混合专家和高效注意力机制。
DeepSeek-OCR 2的创新不仅是性能的提升,更是对VLM架构设计的一次深刻反思。它证明了让模型模拟人类认知机制的有效性,为通向更强大、更统一的多模态人工智能开辟了一条充满希望的道路,未来的多模态模型将拥有怎样的“世界观”?