从扫描版PDF复制文字常得乱码,根源在于AI仅将扫描件视为图片。Infinity-Parser提出一种创新方案,通过名为layoutRL的强化学习框架,赋予AI真正的“布局感知”能力,精准解析文档结构,解决了这一长期难题。
智能速览
传统AI难以理解扫描文档,因其仅能识别像素而无法解读布局结构。
Infinity-Parser采用强化学习框架layoutRL,通过奖励机制引导模型学习。
其核心是一种三合一奖励系统,分别评估内容准确性、结构完整性和阅读顺序。
研究团队构建了包含5.5万份文档的Infinity-Doc-55K数据集用于训练。
在多项基准测试中,Infinity-Parser性能显著超越GPT-4o等现有模型。
精华内容
要训练出真正理解文档的AI,关键在于如何教会它“看”懂结构。Infinity-Parser的独到之处,并非简单地增加数据量,而是采用了一种巧妙的强化学习策略,手把手地引导模型掌握布局规律。
强化学习新思路
传统方法分步识别,一步错则步步错。Infinity-Parser另辟蹊径,采用强化学习(RL)框架。这种方法不依赖海量样本灌输,而是像训练宠物一样,当AI做出正确解析时就给予奖励。通过这种正向反馈,模型能主动学习如何正确识别文档布局,从根本上避免了错误累积的问题。
三合一奖励机制
这套系统的精妙之处在于复合奖励机制。首先是编辑距离奖励,逐字比对提取内容与原文的相似度,确保内容准确。其次是数量奖励,检查AI是否遗漏或多出段落,保证结构完整。最后是顺序奖励,确保提取的段落符合人类阅读逻辑。三者结合,为AI的“布局感知”能力提供了全方位的评估标准。
庞大且精巧的训练集
为了支撑上述训练,团队构建了Infinity-Doc-55K数据集,包含超过五万五千份文档。该数据集的设计颇具匠心,88%来自结构复杂的真实世界文档,让AI见识真实场景;12%为完美无瑕的合成数据,提供标准答案。这种双管道机制,让AI既能处理复杂情况,又能学习正确范例。
性能实测与超越
在与主流工具的对比中,Infinity-Parser表现卓越。在处理一个杂志页面时,其输出结果结构清晰,而竞品则顺序错乱。面对学术论文,它精准提取了全部内容,而GPT-4o则遗漏了图表标题。关键指标“总体编辑距离”测试中,Infinity-Parser得分仅为0.134,远低于GPT-4o的0.316,性能实现翻倍式超越。
Infinity-Parser的意义远不止于解决复制粘贴的烦恼。它真正解锁了海量沉睡于扫描件中的信息,让历史档案可被检索,为视障人士提供更准确的屏幕阅读,并推动业务流程自动化。当所有尘封的文档都能被完美理解时,一个全新的知识普惠时代或将到来。