张大妈

弃用CLIP‼️DeepSeek开源VLM全新架构

源自小红薯:智猩猩

01-31 10:35

传统视觉语言模型(VLM)处理图像的固定扫描方式,与人类灵活的视觉认知机制存在根本性差异。DeepSeek开源的DeepSeek-OCR 2提出了一种全新架构,通过引入具备因果推理能力的编码器,让机器能够像人类一样,根据图像内在逻辑智能地重排视觉信息,为视觉理解带来了突破性进展。

弃用CLIP‼️DeepSeek开源VLM全新架构智能速览

  • 传统VLM的固定扫描方式不符合人类视觉习惯。

  • DeepSeek-OCR 2引入了具备因果推理能力的DeepEncoder V2编码器。

  • 新架构用紧凑语言模型替代CLIP,实现视觉token的智能重排。

  • 通过定制注意力掩码,模型能模拟人类阅读的因果视觉流。

  • 在权威测试基准上性能提升3.73%,视觉阅读逻辑显著进步。

  • 该技术为统一全模态编码提供了有前景的新路径。

弃用CLIP‼️DeepSeek开源VLM全新架构精华内容

传统VLM的视觉处理方式正面临挑战,DeepSeek如何通过创新架构,让机器更接近人类的视觉逻辑?答案就在于对信息流顺序的根本性重塑。

僵化的传统扫描

主流的视觉语言模型在处理图像时,普遍采用类似阅读文字的固定光栅扫描顺序,即从左上到右下依次处理视觉信息。这种方式配上固定的位置编码,虽然简单,但完全忽略了人类视觉感知的灵活性与语义连贯性。

人类在观察复杂图像时,视线会跟随内容的重要性和逻辑关系进行跳跃式扫描,这是一种带有因果推理的主动过程。传统VLM的僵化扫描方式,正是其在理解复杂布局和视觉逻辑时表现不佳的根本原因。

因果流建模核心

为解决上述问题,DeepSeek-OCR 2的核心组件DeepEncoder V2应运而生。该编码器的关键创新,是将传统的CLIP视觉编码器替换为一个紧凑的语言模型架构。

在此基础上,研究团队引入了可学习的“因果流token”,并通过定制的注意力掩码机制,使这些token能够对原始视觉token进行重新排序。这一过程模拟了人类阅读时的因果视觉流,让模型能够根据图像内容自主决定先看什么、后看什么。

级联式处理架构

在DeepEncoder V2中,视觉token与因果流token的数量保持一致,为模型模拟人类的“re-fixation”(重新注视)行为提供了充足的容量。

整个处理流程呈现级联式特征:编码器首先对图像进行压缩和重排,然后只将蕴含了因果逻辑的后半部分(即因果流token)输入给后续的LLM解码器。这种设计显著提升了处理效率,并将输入LLM的视觉token数量控制在256到1120之间,兼顾了性能与兼容性。

性能提升与未来展望

基于新架构的DeepSeek-OCR 2在实际测试中表现优异。在复杂的文档理解基准OmniDocBench v1.5上,其性能相比前代模型提升了3.73%,并在视觉阅读逻辑的正确性上取得了显著进步。

更重要的是,这项研究验证了将语言模型用作多模态编码器的巨大潜力。未来,只需为不同模态(图像、音频等)配置特定的查询向量,就有可能实现统一的特征提取框架,并能直接复用LLM社区的诸多先进优化技术,如混合专家和高效注意力机制。

DeepSeek-OCR 2的创新不仅是性能的提升,更是对VLM架构设计的一次深刻反思。它证明了让模型模拟人类认知机制的有效性,为通向更强大、更统一的多模态人工智能开辟了一条充满希望的道路,未来的多模态模型将拥有怎样的“世界观”?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章
相关兴趣推荐