智谱AI开源的GLM-OCR模型，以其仅0.9B的轻量级体量，在多模态OCR基准测试中取得了94.6分的SOTA成绩。该模型通过独特的架构设计和训练方法，有效解决了手写体、复杂表格等传统OCR难题，为开发者和研究者提供了一个强大的新工具。
智能速览
GLM-OCR模型仅0.9B参数，却在权威榜单上登顶SOTA。
模型采用自研CogViT视觉编码器与轻量跨模态连接层。
引入多Token预测损失和强化学习，提升识别精度。
在手写体、复杂表格、多语言混排等场景表现卓越。
精华内容
一个轻量级模型是如何在复杂OCR任务中超越众多“大块头”的？答案隐藏在其精巧的架构设计与创新的训练策略之中。接下来，深入拆解GLM-OCR的技术内核。
核心架构
GLM-OCR基于GLM-V架构，其核心是编码器-解码器结构。输入层通过PP-Docload V3进行版面分析，能够处理多栏图文、混排旋转文字等复杂文档，精准定位文本、表格和图片区域。
这种前置处理为后续的高精度识别打下了坚实基础。
视觉感知
视觉感知部分采用了自研的CogViT编码器，拥有4亿参数。它结合了CLIP对比学习的优势，不仅能进行精确的文字检测，还能深入理解版面的语义信息。
这使得模型在面对印章、复杂排版等视觉干扰时，依然能保持稳定的识别能力。
跨模态融合
在视觉信息和语言信息之间，是一个轻量的跨模态连接层。该层采用Swiglu激活函数和4倍下采样，其主要任务是高效筛选关键Token并压缩视觉信息。
这种设计在保证信息传递效率的同时，极大降低了模型的计算负担，是实现轻量化的关键之一。
语言解码
解码器部分是一个0.5B参数的GLM语言模型。其训练亮点在于引入了多Token预测（MTP）损失函数和全任务强化学习（RL）算法。
这种组合让模型在输出时能更好地考虑上下文连贯性，从而在结构化文本输出和版式还原方面达到更高精度。
GLM-OCR的出现，证明了小模型也能在复杂任务中达到顶尖水平。其开源特性将进一步推动OCR技术在移动设备、边缘计算等场景的应用。未来，轻量高效的多模态模型是否会成为主流趋势？这值得整个行业持续关注和探索。
