Visa测了22个AI买手，42.8%没及格：错的里头一半照样下了单

22 个 AI 买手，15 道购物题。没及格的占 42.8%，而这些没及格的里头，54% 照样把单下了。

出这张考卷的是 Visa。11 月 5 号，它发布了第一份 Agentic Commerce Benchmark，说白了就是给 AI 买手出的第一张统一考卷，12 家实验室的 22 个模型来应考，总通过率 57.2%。有意思的是出题人的身份，Visa 是全世界最卖力推「让 AI 替你刷卡」的公司之一，就在这次测试前后脚，OpenAI 上线了 ChatGPT Wallet，接的三家卡组织里就有它。一边把付款的口子往外开，一边自己出题考，考出来四成多不及格。对正琢磨给哪个助手绑张卡的人来说，这份成绩单比发布会上的演示值钱。

两个数一乘，差不多每四次里就有一次，AI 会买一件不对的东西给你，而且买得毫不犹豫。

不是它挑不到货，是它没问清楚就敢下单。

题的难度在这里。Visa 故意把需求藏了一半，你说想买台电视，顺口提了亲戚推荐的牌子，说手里有张会员卡，剩下的都得它自己问出来，客厅多大，预算多少，家里孩子那几台设备支持什么格式。问全了还不够，要是问完发现没一件合适的，正确答案是不买。

敢不敢说「这钱别花」，才是这张考卷真正在考的东西。

那到底差在哪？

按提问多少一分组，答案就出来了。问得最多的五个模型通过率 70.2%，问得最少的五个只有 44.4%，差了快 26 个点。按价格分也差不多，贵的那组 67.1%，便宜的那组 50.2%。

我更在意前一组。差距不在脑子快不快，在肯不肯多问一句。会问的像个导购，不会问的像台收银机，你说什么它扫什么。

还有个数字比总通过率更该盯。

同一个模型，同一道题，考三遍，三遍全过的组合只有 34.2%。你今天问它买电视，它老老实实把尺寸和预算问全了；过两天再问一遍，它可能直接甩三个链接过来，顺带夸你眼光好。买东西这件事上，稳不稳比聪不聪明要紧得多。一次答对，证明不了它次次答对。

话说回来，这考卷是 Visa 自己出的。已经有研究者提醒过，一家做支付的公司测 AI 购物，结果多少要打个问号。它考的也只是摸清需求和该不该买这一段，结账、支付、下单都还没进来，按它的计划以后才加。全程模拟，没真扣过一分钱。那份材料也只给了最好 82.2%、最差 28.9%，具体哪家模型排第几并没公布，网上流传的榜单是二手货，别当官方成绩单看。

这几条不是替谁开脱。就算把分数整体打个折，「四成多不及格、不及格的还照样下单」这个方向，跟你在国内 AI 购物上的真实体感是对得上的。

有位用户写了篇长帖，说 10 月初拿淘宝桌面版给外部 AI 开的工具比外套的价。淘宝那边的文档写得很明白，比价必须点进详情页拿真实 SKU 价。AI 照着规则点了没几件，终端里就接连弹未登录、弹验证，有几个关键词再搜直接变成 0 条。他怕把攒了多年订单和收货地址的大号搞封了，衣服看了一半就停了手。等双 11 想再试一回，入口没了，客户端更到 3.0.1，那个配置项在 10 月 22 号被一纸通知关掉，理由是系统维护，恢复时间待定。通知里还专门提了一句，之前配置过的用户，通道关闭后可能弹风控提示，并非账号异常。

关个口子都要提前安抚你别慌，这条路自己也没理顺。留在客户端里的是自带的 AI 对话和「帮我挑」，千问和淘宝要打通的消息也一直在传。

也就是说，国内眼下的形态是 AI 帮你挑，你自己下单。Visa 考的恰好就是「帮你挑」这一段，而这一段现在的水平是四成多不及格。

那这功能是不是就不能用了？

不是。想让 AI 搭把手的人有道理，双 11 那晚对着五页优惠规则算到头晕的事，谁都不想再来一遍。Visa 同一批材料里还带了个信任调查，72% 的人用过 AI 助手，愿意让它替自己付钱的只有 23%。多数人的本能是对的，让它出主意，别让它掏钱。

真要用，先把三个数写死给它，预算上限、必须有的规格、绝对不能忍的毛病。别指望它替你想起来，你写下来它才对得上。

再考它一道买不成的题。Visa 那套出题思路可以直接抄，给一个预算内根本买不到合适货的场景，或者干脆塞两个互相冲突的条件进去，看它是硬推一个「最接近的」，还是能把为什么没有合适的讲明白。上来就甩链接、一路顺着你的，这一步别省，换一家再问。

绑卡代付现在就犯不上了。等结账和支付那几段也考完，等哪天三遍全过的比例从 34.2% 往上爬出个像样的数，再说这事不迟。

22 个 AI 买手考完，最值得记住的不是那个 82.2% 的状元，是 54%。没及格的那批里头，超过一半照样把单下了，根本没打算回头。它不是不会下单，是没学会说这台你别买。