小米开源0.8B参数OCR小模型:实拍榜单登顶,本地就能跑

源自53位全网作者

08:31

10月30日晚,小米官方宣布正式发布并开源轻量级全能文档理解模型Xiaomi-OCR-0。 这是一个只有8亿(0.8B)参数的统一视觉语言模型,一套权重同时覆盖文档解析、关键信息抽取和OCR视觉问答三类任务,代码与模型已在GitHub、Hugging Face和魔搭开放下载,采用Apache 2.0协议。微博GitHub

这件热点里真正值得记下的有两点:在最接近日常拍照场景的实测榜单上,第一名属于这个0.8B小模型;而把它搬到自己的电脑上,成本已经低到个人设备可承受。 权重开放后不到一周,社区就做出了GGUF量化版,官方Ollama用的BF16包连视觉模块也只有约1.8GB。arXivGitHub

先校正一个时间线:开源动作其实比热搜早了大约一个月。项目更新日志写明,9月30日技术报告与模型权重即已发布开源,10月8日社区GGUF与NInfer转换版就位,热搜对应的这次事件本身是小米在10月30日晚的官方官宣。GitHub

榜单第一有含金量,但口径要先看清

三项文档解析得分全部采用"两阶段"评测:先由外部版面检测器PP-DocLayoutV3切分区域,再交给模型解析,纯单阶段的整页直出成绩不在同一张对比表里。 这不削弱成绩的分量,但意味着完整部署时也需要带上版面检测这一环。魔搭

Real5-OmniDocBench是对普通用户体验最有参考的一项:6775张文档页重拍图片,覆盖扫描、弯曲、屏幕翻拍、光照不均和倾斜五种条件,小米这个0.8B模型在总分和五个分项上全部排第一,比PaddleOCR-VL-1.6高出2.05分。 用手机拍合同、翻拍票据,对应的就是这条赛道。arXiv

标准榜上看位次:OmniDocBench v1.6得分96.83,仅次于1.2B参数的TeleOCR(96.87)0.04分,但压过了同尺寸的阿里OvisOCR2(96.58)和PaddleOCR-VL-1.6(96.33),所谓"1B以下模型中登顶"的说法在这张表里成立。 Wild-OmniDocBench(反光、摩尔纹、透视变形等恶劣条件)得87.94分,同样次于TeleOCR排第二,但元素阅读顺序的编辑距离全场最低——恶劣场景下最容易还原错乱的恰恰是先后顺序,这项它做得最好。微博arXiv

理解侧的反差更明显:五项OCR相关VQA基准平均83.2分,高于参数量2.5倍于它的Qwen3.5-2B(80.9),也超过8B的MiniCPM-V-4.5(82.6)。公式识别UniMER-Test 97.84分、表格识别PubTabNet 92.27分,均为对比表最高;古籍手写与书法的成熟字体测试得0.73,略高于Seed 2.0 Pro的0.72。GitHub

难的不是参数,是1.7亿条数据

小米-OCR-0从Qwen3.5-0.8B出发,在约1.7亿条OCR中心样本上分三步训练:Q-Mask文本锚定、继续预训练(CPT)、混合任务强化学习(Mix-RL)。 真正的大头在数据引擎:让PaddleOCR-VL-1.6、MinerU2.5-Pro、GLM-OCR、dots.ocr、HunyuanOCR-1.5、TeleOCR、OvisOCR2、Qianfan-OCR八家专家模型对同一批裁切区域独立标注,选出彼此最合得来的三家组成共识小组打分;一致度不达标的,把标签渲染回图片与原图对照修补、最多三轮,重新投票过关才有资格进训练集,过不了关的宁可弃用或交给人工复核。GitHub知乎

报告里最有意思的发现是:给数据喂料的"火候"决定迁移方向——解析能力还没练扎实时,混入理解类数据反而拖累成绩;等解析底子到位,同一批数据才开始加分。 另一组消融则画出了小模型的能力边界:4B教师模型比0.8B学生在解析上只高出约0.15分,在理解上却领先约4.9分——解析这种"照单全收"的活儿可以蒸馏进小模型,理解才是真正吃容量的部分。arXiv知乎

对用户意味着什么:文档不出机器就能OCR

开源的价值最终落在部署成本上。官方仓库给齐了SGLang、vLLM和实验性Ollama三条本地运行路径,还附带一个MCP服务:提示词管理、PDF与图像预处理、可选区域检测、裁剪并发推理和结果组装全部打包,本地Agent接入后即可把"拍图取字、取表"塞进自己的流水线;输出是结构化Markdown(表格转HTML、公式转LaTeX)或按字段抽取的JSON。 对合同、卷宗这类不便上传云端处理的资料来说,本地OCR是刚需——一位处理刑事卷宗的律师用户实测一秒能输出400+字,让本地OCR的速度翻了3倍。 官方也给了使用提醒:版式规整的印刷文档可以用区域解析并发提速,手写笔记、书法、古籍和异形版面请走整页解析,避免切分错误丢上下文。GitHub知乎魔搭

“全能"还不等于"全熟”

抽取能力的整体分数提醒用户别把官宣当成品说明书:内部KIE基准总体准确率59.09%,虽然航班信息抽取以73%对43%、证件字段以77.89%对63.15%大幅领先对比模型,但地址抽取双方都还在45%上下,发票抽取还落后于Qwen3.5-2B(65%对77%)。 报告原文也把地址和发票抽取列为下一步的数据开发重点,这两类恰是报销、寄递里最常用的场景。arXiv

放在更大的棋局里看,这条赛道今年已经挤满玩家:7月24日阿里开源同尺寸文档解析模型OvisOCR2,当时刷新了OmniDocBench v1.6榜单纪录;GLM、PaddleOCR、Tele等厂商的0.9B至1.2B模型也全部列进了小米的对比表。 文档解析正在取代聊天能力,成为小模型证明端侧价值的新战场,连面壁智能都在10月28日给出了"1.3B读、2B验"的可信OCR路线,两模型合计3.3B参数。 小米的站位因此可以概括为三点:实拍场景第一、同参数段领跑、本地工具链给得最全。接下来值得盯三件事:纯单阶段直出的成绩能否追平两阶段;理解侧与4B教师之间那约4.9分的差距会否收窄;这个0.8B模型何时从开发者的显卡,走进手机和办公电脑的系统级功能里。知乎知乎

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章