百度突然开源这个OCR模型,30亿参数激活5亿,32K长度一次性解析数十页文档
01R-SWA注意力机制:模拟人类“软遗忘”的技术路径
端到端OCR模型在近年迎来新一轮发展热潮,以DeepSeek OCR为代表的方案借助大语言模型(LLM)作为解码器,显著提升了识别精度。然而,这类方案存在内在缺陷:随着输出序列不断增长,KV缓存持续膨胀,既消耗大量显存,又使每一步解码的延迟逐渐拉长。现有模型普遍采用逐页处理的方式,每处理完一页便重置记忆,再切换到下一页,这本质上是一种工程补丁,而非真正意义上的长程理解能力。
人类在抄写长篇文档时,不会持续回看所有已写内容,而是把注意力集中在正在抄写的原文、刚刚写下的少量字符以及即将落笔的下一个字,以“软遗忘”的方式逐渐淡出已写内容的记忆。受此启发,百度团队提出参考滑动窗口注意力机制(Reference Sliding Window Attention,R-SWA),将解码器中的所有注意力层替换为R-SWA,在降低注意力计算开销的同时,在整个解码过程中维持恒定的KV cache。
R-SWA的核心设计逻辑在于将注意力划分为两段:参考段(reference)和解码滑动窗口(decode window)。参考段包含视觉token和提示词(prompt),在整个解码过程中保持全局可见,且不参与状态转移,视觉特征只被编码一次,此后静止不变,避免了普通滑动窗口注意力(SWA)“视觉特征逐步模糊”的问题。解码滑动窗口的宽度固定为128个token,以因果方式向右滑动,每生成一个新token,最早进入窗口的那个token的KV便被驱逐出队列,使解码侧的KV cache规模始终被限定在固定容量之内。对于长序列解码,在输出token数远大于窗口宽度的情况下,R-SWA的cache占用趋向于一个有界常数,而标准多头注意力(MHA)的cache则无上限地增长。5678
人类在抄写长篇文档时,不会持续回看所有已写内容,而是把注意力集中在正在抄写的原文、刚刚写下的少量字符以及即将落笔的下一个字,以“软遗忘”的方式逐渐淡出已写内容的记忆。受此启发,百度团队提出参考滑动窗口注意力机制(Reference Sliding Window Attention,R-SWA),将解码器中的所有注意力层替换为R-SWA,在降低注意力计算开销的同时,在整个解码过程中维持恒定的KV cache。
R-SWA的核心设计逻辑在于将注意力划分为两段:参考段(reference)和解码滑动窗口(decode window)。参考段包含视觉token和提示词(prompt),在整个解码过程中保持全局可见,且不参与状态转移,视觉特征只被编码一次,此后静止不变,避免了普通滑动窗口注意力(SWA)“视觉特征逐步模糊”的问题。解码滑动窗口的宽度固定为128个token,以因果方式向右滑动,每生成一个新token,最早进入窗口的那个token的KV便被驱逐出队列,使解码侧的KV cache规模始终被限定在固定容量之内。对于长序列解码,在输出token数远大于窗口宽度的情况下,R-SWA的cache占用趋向于一个有界常数,而标准多头注意力(MHA)的cache则无上限地增长。5678
02DeepEncoder视觉压缩与MoE解码器的协同设计
Unlimited OCR沿用了DeepSeek OCR的DeepEncoder编码器。DeepEncoder将SAM-ViT与CLIP-ViT级联,在衔接桥处实施16倍token压缩,使一张1024×1024的PDF页面图像最终只产生256个视觉token。这一极高的压缩率意味着即使同时输入数十页文档,prefill阶段产生的视觉token总量也相对可控。
解码器方面,Unlimited OCR采用混合专家架构(Mixture-of-Experts,MoE),总参数量3B,但每次推理只激活约500M参数,实现了性能与资源消耗的平衡。训练方面,Unlimited OCR基于DeepSeek OCR检查点继续训练4000步,冻结DeepEncoder,仅训练解码器,使用了约200万份文档样本,运行在8×16 A800 GPU上。数据配比为单页与多页约9:1,多页样本通过拼接构造。
高压缩率的DeepEncoder负责压缩视觉端,R-SWA负责稳定解码端,两者相结合,共同支撑起Unlimited OCR在32K最大长度限制下一次性解析数十页文档的能力。这种“全局视觉+局部文本”的混合架构,使模型在处理40页以上文档时仍能保持稳定性能。59110
解码器方面,Unlimited OCR采用混合专家架构(Mixture-of-Experts,MoE),总参数量3B,但每次推理只激活约500M参数,实现了性能与资源消耗的平衡。训练方面,Unlimited OCR基于DeepSeek OCR检查点继续训练4000步,冻结DeepEncoder,仅训练解码器,使用了约200万份文档样本,运行在8×16 A800 GPU上。数据配比为单页与多页约9:1,多页样本通过拼接构造。
高压缩率的DeepEncoder负责压缩视觉端,R-SWA负责稳定解码端,两者相结合,共同支撑起Unlimited OCR在32K最大长度限制下一次性解析数十页文档的能力。这种“全局视觉+局部文本”的混合架构,使模型在处理40页以上文档时仍能保持稳定性能。59110
03长文档解析性能与竞品横向对比
在权威的OmniDocBench v1.5和v1.6基准测试中,Unlimited OCR展现了强劲的竞争力。研究团队在OmniDocBench v1.5上对Unlimited OCR进行了评测,模型取得了93.23的Overall分数,相比DeepSeek-OCR提升6.22个百分点。在OmniDocBench v1.6上,Unlimited OCR以93.92%的Overall分数取得端到端方案SOTA,超过了Logics-Parsing-v2(93.33%)、FireRed-OCR(93.26%)等同期工作。
将Unlimited OCR与参数量大得多的多模态模型相比,其优势更加明显。Qwen3-VL拥有235B参数,在OmniDocBench v1.5上的得分为89.15%;Qwen2.5-VL(72B参数)得分为87.02%;Gemini-2.5Pro(未公布参数)得分为88.03%。Unlimited OCR以远低于这些模型的激活参数实现了性能反超,刷新了端到端OCR的SOTA纪录。591112
将Unlimited OCR与参数量大得多的多模态模型相比,其优势更加明显。Qwen3-VL拥有235B参数,在OmniDocBench v1.5上的得分为89.15%;Qwen2.5-VL(72B参数)得分为87.02%;Gemini-2.5Pro(未公布参数)得分为88.03%。Unlimited OCR以远低于这些模型的激活参数实现了性能反超,刷新了端到端OCR的SOTA纪录。591112
| 对比维度 | Unlimited OCR | DeepSeek OCR | DeepSeek OCR 2 | PaddleOCR(传统规则版) |
|---|---|---|---|---|
| 总参数量 | 3B | 3B-A0.5B | 3B-A0.5B | - |
| 激活参数 | 约500M | 约500M | 约500M | - |
| OmniDocBench v1.5得分 | 93.23% | 87.01% | 89.17% | - |
| OmniDocBench v1.6得分 | 93.92% | - | - | - |
| 文本编辑距离 | 0.038 | - | - | - |
| 公式CDM | 92.61 | - | - | - |
| 表格TEDS | 90.93 | - | - | - |
| KV缓存策略 | 恒定(R-SWA) | 增长(MHA) | 增长(MHA) | - |
| 40页解析能力 | 支持,编辑距离<0.11 | 不支持(OOM) | 不支持 | 不支持 |
| 推理速度(6000 tokens时) | 比基线快35% | 基准 | 基准 | 约45秒/40页(不含深度版面分析) |
从长文档处理能力来看,Unlimited OCR实现了质的飞跃。在内部多页文档测试集上,Unlimited OCR支持多页文档一次性解析。处理2页文档时,编辑距离为0.036,Distinct-35达到99.87%;处理5页文档时,编辑距离为0.045,Distinct-35为99.98%;处理10页文档时,编辑距离为0.053,Distinct-35为99.83%;处理20页文档时,编辑距离为0.057,Distinct-35为99.89%;即使输入超过40页,编辑距离仍控制在0.11以下,Distinct-35为96.90%。
这一性能表现解决了传统OCR模型处理长文档时的核心痛点。传统端到端OCR模型每生成1个token,都会扩大KV cache,显存占用和延迟随之上升,导致在用户的感知中,AI解析多页文档后越生成越慢。实测数据显示,当输出6144个token时,Unlimited OCR的处理速度比同类模型快35%,且内存占用不随文档长度的增加而变化。2131112
这一性能表现解决了传统OCR模型处理长文档时的核心痛点。传统端到端OCR模型每生成1个token,都会扩大KV cache,显存占用和延迟随之上升,导致在用户的感知中,AI解析多页文档后越生成越慢。实测数据显示,当输出6144个token时,Unlimited OCR的处理速度比同类模型快35%,且内存占用不随文档长度的增加而变化。2131112
04实测反馈与用户体验
从开发者社区的反馈来看,Unlimited OCR的实际表现获得了一定认可。有开发者描述其处理“天书级”文档的丝滑程度“把我惊到了”。另一名经常处理PDF和手写稿的用户试用后表示,这个模型在处理复杂版式时“确实有点意思”,尤其是百页文档一键解析和消费级显卡可运行的特点较为实用。
在文本编辑距离这一关键指标上,有评测指出Unlimited OCR的结果“几乎不需要怎么改就能直接用”,验证了其转录质量。模型发布后在GitHub和HuggingFace的双榜登顶,也反映了开发者社区对其技术创新的关注度。
不过,也有评测指出了一些局限性。有观点认为Unlimited OCR是专为长文档、复杂版式、红头文件、印章压字等传统OCR难点设计的生成式端到端模型,并非全能替代PaddleOCR或通用多模态大模型。在实际部署中,有开发者提醒环境配置存在一定门槛,需要显式指定PyTorch的CUDA版本并开启内存碎片整理,对于超长PDF还需开启分页流式处理模式。14151617
在文本编辑距离这一关键指标上,有评测指出Unlimited OCR的结果“几乎不需要怎么改就能直接用”,验证了其转录质量。模型发布后在GitHub和HuggingFace的双榜登顶,也反映了开发者社区对其技术创新的关注度。
不过,也有评测指出了一些局限性。有观点认为Unlimited OCR是专为长文档、复杂版式、红头文件、印章压字等传统OCR难点设计的生成式端到端模型,并非全能替代PaddleOCR或通用多模态大模型。在实际部署中,有开发者提醒环境配置存在一定门槛,需要显式指定PyTorch的CUDA版本并开启内存碎片整理,对于超长PDF还需开启分页流式处理模式。14151617
05适用场景与部署要点
基于现有素材信息,Unlimited OCR的典型适用场景包括:企业级后端长文档提取场景,当需要一次性处理数十页的财报、合同、报告等文档时,其版面还原度和复杂表格的精准度优势较为明显;需要将文档转录为Markdown或结构化文本并直接导入笔记工具(如Obsidian)的用户;研究人员和数据分析师需要从PDF中提取公式、表格、参考文献等结构化信息的工作流。
在部署层面,有实测经验的用户指出几个关键注意事项。首先,需要安装对应版本的CUDA(11.8或12.1)的PyTorch。其次,建议设置环境变量"export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True"以优化内存管理。第三,对于40页以上的长文档,建议在配置文件中设置"document_chunk_size: 5"开启分页流式处理模式,避免一次性加载导致内存溢出。此外,复杂表格识别需开启"enable_table_recognition: true"参数。
总体而言,Unlimited OCR在端到端长文档OCR领域展现了显著的技术突破,其R-SWA机制为解决长序列处理的KV缓存膨胀问题提供了新的思路。模型已开源,开发者可通过HuggingFace和GitHub获取完整代码和模型权重。146718
在部署层面,有实测经验的用户指出几个关键注意事项。首先,需要安装对应版本的CUDA(11.8或12.1)的PyTorch。其次,建议设置环境变量"export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True"以优化内存管理。第三,对于40页以上的长文档,建议在配置文件中设置"document_chunk_size: 5"开启分页流式处理模式,避免一次性加载导致内存溢出。此外,复杂表格识别需开启"enable_table_recognition: true"参数。
总体而言,Unlimited OCR在端到端长文档OCR领域展现了显著的技术突破,其R-SWA机制为解决长序列处理的KV缓存膨胀问题提供了新的思路。模型已开源,开发者可通过HuggingFace和GitHub获取完整代码和模型权重。146718
当前文章无评论,是时候发表评论了