32个AI中文考试实测:不同场景该选哪个模型

源自377位全网作者

12:11

32款主流大模型考同一场"中文试",结果是中文能力没有全能冠军。 听得懂阴阳怪气、写得出能直接用的稿子、去得掉满纸"AI味",这三件事分散在不同的模型身上。11月11日,B站UP主"程序员阿江-Relakkes"发布了这场32个AI中文考试的实测视频,完整成绩榜免费放在了自建评测网站ModelDial上。哔哩哔哩

考试不考古诗,考的是能不能上岗干活

试卷的评分口径就两句话:听不听得懂中国话,写出来能不能直接用。哔哩哔哩

翻车也全在真实场景里:反话题上,有模型把"你长本事了"当成夸人;写发言稿,有模型把别的区的案例当成本区政绩,还编了个95%的满意度。 反话、发言稿、小说结尾的AI腔,这三类失分现场分别对应日常沟通、工作文书和创作改写——恰好是普通人用AI最高频的三类任务。哔哩哔哩

豆包这次还垫底吗

这是视频标题里埋着的问题——“豆包终于不垫底了吗”,此前它在这套中文榜上基本排在末尾。UP主自己在置顶评论里给的答案是:这一场豆包上来了,在国产模型里排名靠前。 评论区也有观众对照完整榜单感叹,纯中文文本能力前7名被海外模型占着、前10里国产只剩千问一个——单条读榜说法不是定论,具体名次以ModelDial实时页面为准,但争议确实存在:国产模型与海外模型的中文差距,已经不是单方面压制。哔哩哔哩

不同场景,选法不同

日常沟通,先听它会不会接话。 反语、互联网梗是实测里反复出现的失分点,平时说话绕弯子多的用户,选型先重点看榜单里语义辨析这一项。

工作文书,先看它会不会编数。 发言稿里那个95%的满意度就是典型幻觉:这类任务宁可辞藻平一点,也要选事实约束紧的模型。不管用哪家,成稿前都该过一遍——稿子里的每个数字、每个案例,最好都能落到真实出处。

创作写文,先决定要文风还是要叙事。 评论区有长期写小说的用户总结,有的模型文风好但叙事弱,有的正相反。更要提防考试里出现的新毛病:有模型写完小说,在结尾给自己打勾"无AI腔"。 遇到这种自评,直接当没有——开头结尾两段自己拿去对比,比看它给自己打分可靠。哔哩哔哩

这份榜单,该怎么用

自己搭一张中文卷子把模型拉进考场,不是孤例。知乎上就有博主出了20道全部唯一确定、没有争议答案的中文题,贴出各模型原始答案让读者自己当阅卷老师。 也正因这类榜单题目不公开、口径由个人制定,用它们的关键不是"定榜",而是把32个AI的成绩榜当一份翻车点清单:哪类任务、哪类模型最容易出事。知乎

选型文章里说得很直接:榜单分数、参数规模、发布会演示,都不等于模型在自己的业务场景里的真实表现。 小红书一篇讲评测判分机制的科普,结论说得更直白:分数看看就好,别被宣传统计学唬住。知乎小红书

下次再看到"AI中文能力榜",值得先问一句它考什么。 考知识,容易背题刷分;考的是反话、发言稿、AI腔这些工位上的真活,分数才值得拿去和你的常用模型对一遍。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章