六大顶流开源多模态大模型,13大场景横向测评实例!

源自公众号:江大白

02-01 19:30

这是一份针对国内六大顶流开源多模态大模型的深度横向测评,通过13个核心场景的全面测试,揭示了不同模型在图像理解、数学推理、表格识别等任务上的真实表现,为选择合适的开源模型提供了重要参考。

六大顶流开源多模态大模型,13大场景横向测评实例!智能速览

  • OCR识别能力普遍较强,各模型均能准确识别手写文本

  • Qwen2.5-VL在表格识别任务中表现突出,其他模型基本全军覆没

  • Skywork-R1V3在数学推理和计算任务上表现最佳

  • 目标对比任务中所有模型均未通过,反映图像切割精度不足

  • Step3和ERNIE在网页复刻任务中审美表现较好

  • 色盲测试显示整体色彩识别能力有待提升

六大顶流开源多模态大模型,13大场景横向测评实例!精华内容

通过13个场景的严谨测试,六大开源多模态模型展现出了各自的技术特点和适用领域,为实际应用提供了明确的选型指导。

基础能力测试

OCR识别作为多模态大模型的基础能力,六大模型均表现出色,能够准确识别手写文本内容。目标识别任务中,大部分模型能够正确识别图片中的对象数量和类别,但InternVL3和ERNIE在计数任务中出现错误。色盲测试结果显示,GLM-4.1V、Step3和ERNIE表现相对较好,但整体而言,开源多模态模型对色彩的把握程度仍有提升空间。

表格与计算

表格识别任务成为分水岭,Qwen2.5-VL是唯一能够准确识别复杂表格结构的模型,包括合并单元格等细节,其他五款模型均未能通过测试。在理解计算任务中,Skywork-R1V3表现最为出色,不仅正确找到GDP最大值省份,还准确计算出占比。GLM-4.1V、Step3和ERNIE虽然找到了最大值,但在计算环节出现错误,而Qwen2.5-VL和InternVL3则完全没有理解第二问的要求。

推理与逻辑

数学推理测试采用2025年高考题,GLM-4.1V和Skywork-R1V3在前两问表现正确,但最后一问均出错。空间逻辑题测试中,仅有InternVL3答对了一道考公逻辑题,其余模型全部错误。图片排序任务考验多图理解和事件顺序推理,Skywork-R1V3在一道题中答对,但在蘑菇幻觉序列题中全军覆没。这些结果反映出当前开源多模态模型在复杂推理链上的局限性。

视觉与理解

网页复刻任务考察审美和代码生成能力,Step3和GLM-4.1V的输出效果最佳,其他模型虽然能够复刻但视觉效果较差。报告分析任务中,除Qwen2.5-VL和InternVL3外,其他四款模型都能提供详细的分析和健康建议。世界知识测试显示,模型表现与训练数据分布相关,多个模型将上海金茂大厦误识别为上海中心大厦,说明数据偏差对识别结果的影响。

空间与变换

空间变换能力测试结果令人失望,仅在基础主视图识别时Skywork-R1V3答对一题,增加难度后所有模型均无法正确处理。目标对比任务中,所有模型在寻找特定位置对象和图片差异对比上全军覆没,部分模型虽然能找出部分差异点,但描述多数错误。这表明当前多模态模型在图像切割精度和细致对比分析上存在明显短板。

六大顶流开源多模态大模型,13大场景横向测评实例!

选型建议

基于实测结果,不同场景下模型选择建议明确:极度节省资源场景选用GLM-4.1V,OCR和表格解析需求首选Qwen2.5-VL,数学和逻辑深度推理推荐Skywork-R1V3,需要均衡性能选择InternVL3,有充足资源部署可选Step3。值得注意的是,Skywork-R1V3在回答时常以英文输出,可能需要额外处理。ERNIE因模型过大,在资源受限场景下不太适合。

六大顶流开源多模态大模型,13大场景横向测评实例!

本次横向测评全面展现了国内开源多模态大模型的技术水平,各模型在不同任务上各有所长,已经进入实用化阶段。虽然在空间理解、图像推理等高阶任务上仍有提升空间,但开源生态的繁荣为开发者提供了丰富的选择。随着技术持续进步,国产开源模型正在成为全球开源社区的重要力量。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章