张大妈

用大模型来对比两份文件的不同,算大材小用么?——7款AIGC工具对比测试

源自公众号:小海绵吸水日记

02-02 12:21

面对修订版文件,如何快速找出差异?通过一项对比7款主流AIGC工具的实测,探究它们在文本与格式识别上的真实能力。这项测试旨在为需要高效处理文档的用户,提供一份极具参考价值的工具选择指南。

用大模型来对比两份文件的不同,算大材小用么?——7款AIGC工具对比测试智能速览

  • Deepseek在本次文件对比测试中表现最佳。

  • 所有大模型均无法识别文字颜色与字号变化。

  • 仅有Deepseek识别出了文字的背景色标记。

  • Kimi是唯一发现文档有无页码区别的模型。

  • 部分模型未能发现简单的部门名称缩写改动。

用大模型来对比两份文件的不同,算大材小用么?——7款AIGC工具对比测试精华内容

为了更直观地展现各模型的优劣,测试设计了五处具体改动,下面将详细拆解它们的表现。

冠军Deepseek

在所有参与测试的模型中,Deepseek的表现最为突出。它不仅准确识别了所有的文本内容修改,如将“150Eflops”改为“160Eflops”以及“省人力资源社会保障厅”改为“省人社厅”,还拥有独到之处。它是唯一一个发现“行动方案”四个字被添加了黄色背景色标记的模型,显示出在非文本格式识别上的一定潜力。这项发现让它在综合评价中拔得头筹。

有力竞争者

紧随其后的是豆包文心一言,它们的得分持平。这两款模型成功识别了大部分关键的文本内容改动,例如算力规模目标的数据变更和年份的改动,展现了扎实的文本理解能力。Kimi则凭借一项独特发现跻身前列:它是唯一一个检测出修改稿添加了页码的模型。尽管Kimi未能发现背景色标记,但这项能力使其在特定场景下具有不可替代的价值。

待提升模型

通义千问、MiniMax和元宝三款模型在本轮测试中表现相对落后。它们都发现了数据年份等两处明显改动,但令人意外的是,对于“省人力资源社会保障厅”改为“省人社厅”这一处相对简单的缩写修改,三款模型均未识别出来。这暴露出它们在处理细节和常见缩写方面可能存在不足,影响了对比的准确性。

共同的短板

一个值得所有用户注意的共性问题,是当前大模型在文档格式对比上的普遍无力。无论是将“高质量”三个字标为红色,还是将一级标题字号由三号改为二号,没有任何一款模型能够识别出这些变化。这表明,将大模型用于文件对比时,可以依赖其处理文本内容,但对于颜色、背景、字号等视觉格式差异的识别,目前还不是它们的强项。

此次实测清晰地展示了不同大模型在文件对比任务上的能力边界。Deepseek综合实力最强,但格式识别仍是普遍短板。随着技术演进,未来的AI能否突破这一限制?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章