什么值得买App下载 App ›
连续签到专享现金活动

Eval只拿0.33分,三次全挂,查出是评分官错了

年底复盘季,很多人的 PPT 快收尾了:“今年我们 LLM 应用的 eval 分数从 60 分提到了 85 分。”

先别急着写完。最近工程圈流传一句不好听但真实的话:eval 分数只能证明"评分器和模型意见不一致",证明不了是谁错了。

0.33 分"冤枉"一个 Agent 的真事

知乎上有工程师分享过一次亲历:给 Agent 加了个新技能跑 eval,最小的模型三次全拿 0.33 分,两个大点的模型三次全拿 0.67 分。按常规思路该去改技能的提示词了,但他先打开了 transcript——然后尴尬了:

三次运行里 Agent 每件事都做对了:数量对、选行对、该跳过的列清楚了、如实报告了没接上的集成,有一次甚至先检查了网络。三次都做对,三次都没及格。

Eval只拿0.33分,三次全挂,查出是评分官错了

查下来,这个 eval 的三个评分器里有两个写错了。一个是正则写死了测试数据里的示例邮箱,可 harness 以"真实用户"身份跑,Agent 用用户的真实邮箱反而被扣分;另一个是 LLM 评委的评分标准照着生产环境写,而测试环境里那台服务器是 mock 的、可用,Agent 如实说"可用"被判错。知乎

最讽刺的是:两个大模型多拿分,靠的是照抄示例邮箱——越会应试,分越高。把评分器重写后,Agent 代码一行没动,小模型直接从 0.33 变成 1.0,三次都是。知乎

当然,不是每个失败都赖评分官:同一轮 eval 里,有个请求压根不在技能条件内、按设计该拒绝,小模型却照跑了——这条就是技能的真实 bug,加了一句"匹配不上就停"修掉的。可怕的是真 bug 会被假失败盖住,最后你"修"的是让 Agent 学会作弊。

为什么年底该先查评分官

因为改 prompt 改的不是字,是行为。LLM 是概率系统,你没法像单元测试那样断言"输出等于某个字符串"。一个公开复盘里的事故很硬:某团队只往系统提示里加了个 concise,模型"简洁"到跳过预订确认环节,当周预订营收跌了 11%。知乎

能拦住这种"静默回退"的,只有评测集。没有评测集,你年底的所有"效果提升"数据,都建立在"我感觉没问题"上。上线要测的也从来不止模型答得准不准:功能与信号卡、幻觉与内容安全、权限与越权、成本与容量,四条主线都得进清单。知乎知乎知乎

给你的评分官体检:四步行动清单

  1. 测试没过,先看 transcript,再决定改不改 Agent。 评分器也是代码:写得快、没人 review、照着不存在的环境写,它跟被测对象一样会出 bug。

Eval只拿0.33分,三次全挂,查出是评分官错了

  1. 评分器照着 harness 的实际运行环境写。 正则别写死示例数据里的具体值,用各方言都认的写法;评分标准要短到评委模型能稳定判分。

  2. 建四桶黄金评测集: 真实流量抽样 60%、历史失败 case 20%(每个修过的线上 bug 都是免费的回归用例)、边界样本 10%、对抗样本 10%(prompt 注入、越权试探)。25~50 条起步,质量比数量重要。知乎

Eval只拿0.33分,三次全挂,查出是评分官错了

  1. 把 eval 接进 CI,分数下降阻断发布;线上每次翻车,trace 回流成回归用例。 可疑样本多跑几次看方差——有人用 33 道业务黄金题实测电商 RAG 评测,修到 97.0% 后最近一次全量复跑又掉回 93.9%,单次分数本来就不可全信。知乎

最后送年底复盘一句话:先校准评分官,再讨论学生的分数。 PPT 上写"效果提升 25%"之前,先回答自己一句:评分官,查过吗?

Eval只拿0.33分,三次全挂,查出是评分官错了

评论

评论区空态插画

当前文章无评论,是时候发表评论了