86.23% 和 19.2%:GLM-Legal 的两个分数,差的是什么

源自200位全网作者

11-03 17:19

GLM-Legal 发布时,两个数字被反复引用:LegalBench 准确率 86.23%,HarveyLAB 全通过率 19.2%。知乎微博知乎

一个接近满分,一个不到两成。它们不是同一张卷子,也没在量同一件事。

先看 19.2%。HarveyLAB 首版有 1200 多道模拟任务,覆盖 24 个法律业务领域,评分用“全条件通过”:一份任务里的所有检查项必须全部满足,漏一条就算零分。知乎

交付物格式错了,零分。少引一个案号,零分。时间点写错,零分。

LegalBench 考的是合同、并购文件、司法意见书的解析,86.23% 说明它读得懂、答得对。19.2% 说明它把一整件事做完、做到能直接交,只有不到两成。知乎

这条从读材料到交成果的链,恰恰是法律工作的日常。

86.23% 和 19.2%:GLM-Legal 的两个分数,差的是什么

智谱给出的对比很具体。客户要换软件供应商,审合同里的终止和交接条款。底座 GLM-5.3-Flash 的建议是“可以考虑缩短通知期、要求返还数据”。知乎

GLM-Legal 把通知期从 60 天压到 30 天,要求交回全部成果,包括还没做完、还没付款的部分,再加最长 90 天过渡支持。每条都对应回合同现有条款。知乎

86.23% 和 19.2%:GLM-Legal 的两个分数,差的是什么

另一个任务是 40 份项目材料。对外报告写完成 60%,内部记录是 41%。底座模型也能发现这个矛盾,然后建议进一步审查。知乎

GLM-Legal 把 9 月 30 日的报告、9 月 8 日“里程碑无法达成”的警告、管理层要求压住风险继续开票的邮件串成一条线,标上文件编号,再提醒先核对原件。知乎

86.23% 和 19.2%:GLM-Legal 的两个分数,差的是什么

三组官方演示里还有一个跨境合规任务:网站要在新加坡、马来西亚、印尼上线,它把义务拆成带优先级的清单,附上三国具体法条。知乎

86.23% 和 19.2%:GLM-Legal 的两个分数,差的是什么

发现矛盾是整理信息。把矛盾连成一条可主张的论证路径,才是律师的活。

这也是“垂直模型”真正的意思:不是多背几本法条,是把一个岗位的交付标准写进训练里。

代价和成绩都摆出来了。Vals AI 的独立评测给 19.17%,单任务成本 0.15 美元。10 月 12 日榜单上排第七,前十名里最便宜。知乎

成绩相近的 Gemini 4 Argon 每项测试成本约是它的 70 倍,但快近半小时。知乎

发布后,一位法律从业者从 GitHub 找了四道题做独立测试。GLM-Legal、GLM-5.3、Kimi K3 的账单分别是 5 元、50 元、218 元,质量的差距没有价格那么大。小红书

另一位拿模拟卷宗跑了一遍,说它在证据分析和管辖问题上与 Claude 不相上下。小红书

但 19.2% 的另一面是 80.8%。在最严的口径下,大多数任务它仍然没有全部达标。智谱自己的定位是协作助手,不是替代律师。知乎

法条引用、证据编号、合规清单,每一项都可能出错。签字负责的还是人。

现在这版法律模型已经进了 AutoClaw,能调用北大法宝、天眼查等六个法律数据库,Word 插件里可以直接改合同、查法条。小红书

Beta 阶段的价格、能否私有化、数据放在哪,官方还没完全说清,这几项比跑分更该先问。

智谱做法律模型不是第一次。2023 年它和幂律智能做过 PowerLawGLM。知乎

86.23% 和 19.2%:GLM-Legal 的两个分数,差的是什么

今年 8 月,Harvey 也用 Kimi K3 后训练出了 Tenet。通用底座加行业任务,正在成为一条固定路线。知乎

对不碰法律的人,GLM-Legal 也提供了一个看模型的尺子:单项通过率再高,也不等于能把活交出去。真正值得盯的,是那个更低的数字。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章