张大妈

DeepSeek 又出神作! AI 的眼睛比脑子更好使

源自小红薯:小大熊猫看AI

02-06 18:30

处理长文本时,大语言模型常因Token消耗巨大而受限。DeepSeek-OCR提出了一种革命性方案:将文本转化为图像,利用视觉模型高效处理。这一创新不仅将Token使用量锐减90%,还通过模拟人类记忆的遗忘机制,为AI开启了近乎无限的上下文理解能力。

DeepSeek 又出神作! AI 的眼睛比脑子更好使智能速览

  • 将文本渲染为图像,实现高达20倍的Token压缩率。

  • 在10倍压缩下,OCR精准度仍能保持97%。

  • 引入视觉遗忘机制,模拟人类记忆以实现无限上下文。

  • 模型结合SAM与CLIP,支持高分辨率图像的低开销处理。

  • 核心技术已开源,为开发者提供了新的技术路径。

DeepSeek 又出神作! AI 的眼睛比脑子更好使精华内容

如何让大模型更高效地处理长文本?DeepSeek-OCR的答案是:让AI不读字,只看图。这项技术的核心,在于颠覆性地将视觉作为文本压缩的媒介,开启了长文本处理的新范式。

颠覆性的文本压缩

传统大语言模型处理文本依赖Token,长文档意味着巨大的计算和显存开销。DeepSeek-OCR另辟蹊径,其核心洞察是将视觉模态作为文本信息的超高比例压缩中介。

通过将数千单词的文本渲染成一张高分辨率图像,再利用视觉编码器进行处理,从而实现了惊人的压缩效果。论文数据显示,该方法的Token压缩率可达7-20倍,直接从根源上解决了长文本处理的资源瓶颈问题。

高压缩下的精准识别

高压缩率是否意味着牺牲准确率?实验数据给出了否定的答案。在实际测试中,DeepSeek-OCR展现了卓越的性能表现。

在10倍压缩比下,模型的OCR精准度高达97%,与原始文本处理几乎没有差距。即使在20倍这种极端压缩情况下,模型依然能保持约60%的召回能力。这证明该技术实现了效率与精度的高度平衡,具备极高的实用价值。

模拟人类的视觉遗忘

为了解决对话历史带来的上下文无限增长问题,DeepSeek-OCR引入了独特的“视觉遗忘机制”。这一设计灵感来源于人类记忆的特点。

模型会随着时间推移,自动降低历史对话截图的分辨率,使近期内容保持清晰,而远期内容则变得模糊,仅保留残影般的轮廓信息。这种机制理论上实现了近乎无限的上下文管理,让AI既能记住长线讨论,又不会因信息过载而“瘫痪”。

高效能模型架构

卓越的性能背后,是其精巧的模型架构设计。DeepSeek-OCR由DeepEncoder编码器和DeepSeek-3B-MoE解码器构成。

其编码器创新性地串联了感知能力强的SAM-base和知识表征丰富的CLIP-large,并加入了16倍卷积压缩模块。这一设计有效降低了激活显存,确保在处理1280x1280甚至更高分辨率的图像时,依然能保持极低的计算开销,实现了性能与资源消耗的最佳平衡。

DeepSeek-OCR不仅是技术上的突破,更为AI理解长文本信息提供了全新视角。通过开源,这项创新将推动整个社区探索视觉-语言融合的更多可能。未来,AI处理信息的方式是否会彻底从“阅读”转向“观看”?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章