城门的镜子：99%准的镜子，为什么主要在生产冤案

📖 虾哥数据寓言 · 第 6 期

城门的镜子

上个月公司开 AI 选型会，供应商放了一段演示视频：摄像头扫过货架，一个戴帽子的人伸手摸了商品，屏幕立刻圈出红框——"疑似偷窃行为，置信度 99%。"会议室一片赞叹。我坐在后排没说话，脑子里却冒出一个老问题：这一幕，我好像在哪见过。

后来我想起来了。那面会发光的"镜子"，我二十年前在另一座城门口见过。

从前有个城邦。

商路通衢，南来北往的人多得数不清。但有个毛病——夜里盗贼出没，搅得百姓不安。国王为此头疼了很久。

一天，来了个方士，献上一面镜子。

"此镜能照人心。"方士把镜子立在城门正中，"每个人进出城门，镜面会亮。绿光，便是良民；红光，便是盗贼。准确率，百发九十九中。"

他当场演示。叫一个已知坐过牢的盗贼走过，镜面红光大作；叫一队商旅走过，通体绿光。满朝称奇。

国王大喜，下旨：守城军只需看镜抓人——亮红灯的，当场拿下，不必多问。

头几个月，确实"成效显著"。被抓的"盗贼"名册一天比一天厚。国王看着名单，觉得自己终于治住了盗患。

直到老军师求见。

"陛下，臣核了这三个月的卷宗。被镜面亮红抓回来的两千余人，经审理定罪的，不足二十。其余都是无辜商旅，白白关了牢房、赔了生意、记了恨。"

国王皱眉："镜子九十九准，怎会错这么多？"

军师铺开一张草图，慢慢算给国王听。

"全城每日过城门的人，约莫一万。真正的盗贼，一年不过十来个——摊到每天，还不到万分之三。镜子认贼的错判率，是百分之一。也就是说，每天一万人里，约有一百个良民被它冤亮红灯；而真盗贼，每天也就零点零几个被它认出来。"

"所以每天被抓的那一百来人里，真正的盗贼往往还不到一个。守军在一百人堆里捞那一个，等于大海捞针；剩下九十九个无辜者，白白受了冤。"

国王愣住了："镜子不是九十九准吗？"

"九十九准，是真话。"军师点头，"但它说的是——'他真是盗贼时，镜子亮红灯的概率'。陛下您要的，却是另一件事：'镜子亮了红灯，他真是盗贼的概率'。这两件事，天差地别。因为盗贼本来就极少，少到哪怕镜子只错百分之一，错抓的人，也远多于真抓的人。"

国王沉默了很久。

"方士没骗朕。是朕把'镜子多准'，当成了'被抓的人多坏'。中间还差着一个数——盗贼本来有多少。这个数，叫基础率。"

他当即改了法度：镜子留下，但亮红灯的，只做重点盘查，不再直接拿人；真有贼迹的，另派暗探摸排办案。冤案骤减，真盗贼反而一个个落了网。

这个故事讲的是什么

把角色对号入座：国王就是任何一个看到"准确率99%"就拍板的人——老板、采购、或者明天的你。方士是卖你系统的供应商。镜子是那个"AI/模型/检测工具"。红灯，是被它判定为"有问题"的警报。

基础率谬误（Base Rate Fallacy）。

说人话：当一件坏事本来就极少见时，哪怕你的检测工具再准，它报出来的"嫌疑犯"里，绝大多数也是冤枉的。你盯着"准确率"看，却忘了先问一句：这件事，本来发生的频率有多高？

故事里藏着一道数学题，叫贝叶斯定理。两个概率，被国王混为一谈了：

一个是"灵敏度"：他真是盗贼时，镜子亮红灯的概率——方士给的 99%，这个确实高。

另一个是"阳性预测值"：镜子亮了红灯，他真是盗贼的概率——这才是国王真正要付成本的东西。它等于 灵敏度 × 基础率 ÷（所有亮红灯的情况），而基础率极低，把分子直接压没了。

用数字算一遍最清楚。每天过客 10000，真盗贼 0.03 个（万分之三）。镜子漏抓率 1%（放走真盗贼的概率），误抓率 1%（良民被亮红灯的概率）：

每天被亮红灯的人 ≈ 10000 × 1% ≈ 100 个；其中真盗贼 ≈ 0.03 个。所以被抓的 100 人里，真盗贼还不到千分之四。你花全力去审这 100 人，捞到的真贼不到一个，代价是 99 个无辜者。

这不是寓言夸张。1978 年，哈佛大学医学院做了一道题发给在校生：某种病在人群中的患病率是千分之一，有一种检测，患者测出阳性的概率是 100%，健康人误报阳性的概率是 5%。如果一个人测出阳性，他真患病的概率有多大？大多数医学生答：95%。正确答案是：约 2%。因为千分之一的基础率，把"阳性"的水分撑得极大——这就是基础率谬误最著名的实验（Casscells 等，1978，发表于《新英格兰医学杂志》）。

故事里军师干的那件事，正是贝叶斯：他没被"99%准"晃住，而是先把"盗贼本来有多少"摆上桌，再算"红灯里真贼占多少"。

到处都是城门的镜子

不用翻教科书。只要你在零售干过，脑子里都存着几面"镜子"：

AI 防盗摄像头。公司花大价钱上了一套"行为识别小偷"的系统，供应商PPT写"识别准确率 99%"。一家店日均客流几百到几千，真小偷一年可能就几个。99% 准 = 1% 误报。这一算，系统每天报警的"疑似小偷"里，绝大多数是正常顾客——店员按报警去盯，盯了一堆无辜的人，真小偷反而被噪声淹了。基础率太低，再高的准确率也主要在生产误报。

交易异常/作弊检测。系统说"这笔交易异常，疑似飞单"。但飞单在全部交易里占比极低，报警里绝大多数只是正常波动或操作习惯。风控同学天天在误报里捞针，真问题反而被淹。

会员流失预警。模型说某会员"80% 要流失"。但会员基数大、真流失率小，被标"高危"的一大片里，大量是误报。运营照着名单瞎发券，钱花出去，人照样走。

连"反诈APP"也是同一面镜子：某地系统标"高风险来电"每天拦几万通，可真诈骗占比极低，大量正常通话被切，用户骂声一片。准确率再高，挡不住基础率太低带来的海量误伤。

四个场景，同一条公式：坏事情本来就极少 → 你上了个很准的检测 → 它报的"嫌疑"里绝大多数是冤枉 → 你盯着冤枉的忙活，真问题溜了。不是系统坏了。是你忘了问"这件事本来有多少"。

怎么防

基础率谬误没有"关掉镜子"的解法——检测工具该用还得用。但四件事能让国王少抓冤枉：

看任何"准确率"之前，先问基础率。对方说"识别率 99%"，你回一句："这个事在您的数据里，本来发生的频率是多少？"答不上来的，先别签单。

分清两个概率。供应商给你的是"它是X时系统说X"（灵敏度），还是"系统说X时真是X"（阳性预测值）？前者高不代表后者高。直接要后者，那是你真要付的成本。

低基础率场景，别迷信高准确率。高准确率 + 极低基础率 = 海量误报。这时该看的是"召回了多少真的"和"误报一个的成本多大"。防盗误报的成本是顾客体验，流失预警误报的成本是营销费——都实打实。

用"报警里有多少是真的"倒推。别盯着系统多准，去数它报的人里真有问题的比例。这个比例才是你要养的团队、要赔的体验、要花的钱。镜子亮不亮不重要，亮了之后你抓对几个才重要。

📚 参考来源

Kahneman, D. & Tversky, A. (1973) — "On the psychology of prediction", Psychological Review, 80(4), 237–251

Casscells, W., Schoenberger, A. & Graboys, T. B. (1978) — "Interpretation of clinical laboratory results by medical students", New England Journal of Medicine, 299(18), 999–1001

Bar-Hillel, M. (1980) — "The base-rate fallacy in probability judgments", Acta Psychologica, 44(3), 211–233

— END —

👇 关注「亮虾哥」，一个在连锁零售做了20年IT的老司机，用算账的眼光看AI

#数据寓言 #基础率谬误 #贝叶斯 #零售数据分析 #AI识别