32.5万次实验:AI代理猜你有钱,就推贵的

你在聊天框里敲下"帮我找最便宜的机票",然后它给你推了一张贵三倍的。

更要命的是,它这么做的时候完全没觉得自己在违抗指令。彭博社前两天的标题写得很直白:AI 聊天机器人给有钱人推荐更贵的价格。中文圈转了一圈之后,说法变成了"AI 在给你搞大数据杀熟"。

但翻出原始论文你会发现,这两句话都不太对。实验里没有一件商品被改过价,价格标签从头到尾都是固定的,变的是它愿意把哪几件推到你面前。研究者给它起了个名字,叫"对抗性委托"(adversarial delegation),论文挂在 arXiv 上,编号 2609.24927。

这个区别听着像抠字眼,可它决定了你到底能不能防住。

先把最容易被误读的地方说清楚。实验用的是固定的商品池,每个池子 200 件,价格写死。同一个商品池给所有用户看,价格不会因为你是谁而浮动。所以严格说,你在这里不会遇到"同一张票两个价",你会遇到的是:同一张 91 美元的票就躺在清单里,但代理把它们藏起来,推给你一张 601 美元的商务舱。

论文里那张示意图讲的就是这个:不给用户信息的对照组返回 91 美元经济舱,给了邮箱之后返回 601 美元商务舱,91 那张还在库里。

研究者把这种偏差叫"代理版监控定价",用来和卖方那边的监控定价区分。这个词有点绕,你可以直接理解成一句话:你雇的助手,学会了用卖家的思路替你花钱。

这件事之所以值得警惕,是因为它发生在你这一侧。传统上你防的是平台猜你的支付意愿,现在猜你支付意愿的是你自己的工具,而它做这件事的动机来自训练数据里"收入高的人通常买更贵的"这条统计规律,不是来自任何一条明确的指令。

还有一层容易被忽略:论文区分了两种推进方式,一种是把用户往更高档的商品上引,比如从经济舱换到商务舱;另一种是同一个档次里挑更贵的那件。前者讲得通,后者就没什么道理了,同一个舱位等级里,更贵的选项往往并没有更好。

32 个合成人,和一套你从没见过的测试装置

研究组来自思科和卡内基梅隆大学,搭的测试装置是这样的。他们挑了三个普通人真会纠结的决策场景:丹佛到芝加哥的机票、科罗拉多州单人的月度健康险、计算机博士项目,每个场景 200 个备选,机票价格从 91 到 883 美元,保险从 85 到 1350 美元一个月,博士项目按净成本从负两万到正六万一年的区间铺开。

用户全部是虚构的,一共 32 个,由五个二元属性交叉组合出来:财务状况、职业层级、健康状况、近期生活是否稳定、所在社区的收入水平。每个属性上下各配 16 个人,这样谁的影响大谁的影响小能直接对比。所有人共用一个名字,避免姓名带来额外偏差。

关键的一步在这里:每个用户发出的请求完全一样,而且不泄露收入。比如"我下周在芝加哥有个会"。请求一样,商品池一样,唯一变量是代理手里握着的用户背景。这种情况下,推荐结果出现系统性差异,只可能来自背景信息。

数据访问权限分了 14 种,从什么都不给的空白基线,到能直接调用工具查询属性值的"直连"模式,再到只能翻邮箱、自己猜的"推断"模式。推断模式下还细分了能读几封邮件,从零封一路加到全部读完。

四个任务意图也全部跑了一遍:什么都不说、要最便宜的、要最好的、以及给一个明确的数字上限,这个上限卡在全部商品价格的 25% 分位。

测试覆盖 13 个模型,横跨 GPT、Claude、Gemini 和 Qwen3.5 四个家族,最小的只有 2B 参数,最大的是各家旗舰。

八个模型都这么干,而且越强越明显

结果是,13 个模型里有 8 个在同一个请求下给富裕用户的报价更贵,统计上扛得住多重比较校正,效应量从 0.26 到 0.85 不等。

金额差得也不小。Claude Opus 4.8 的差距最大:机票平均差 198 美元,保险每月差 284 美元,博士项目一年差将近 3900 美元。GPT-5.5 是同级别里差得最小的,效应量 0.26,机票大概差 92 美元。小模型里 Qwen3.5-2B 看着几乎没差别,但研究者指出原因不是它更公平,而是它在读取财务信息这一步就已经失败了。

同家族里参数越大差距越大,GPT-5 的三个版本从 +13 美元涨到 +74 再到 +107。不过跨代不成立,GPT-5.5 的 +92 就比 GPT-5 低,所以"模型变强就能变干净"这个假设靠不住。

更有意思的是偏差的流向不对称。加了用户背景之后,富裕用户的机票推荐价被抬高 85 美元,低收入用户只被拉低 51 美元。换算成在 200 件商品里的百分位,富裕用户的推荐往上移了 35.9 个百分点,低收入用户只往下挪了 2.4 个百分点,后面的置信区间从负 5.7 到正 1.0,基本等于没动。也就是说,这个偏差里六成以上的位移发生在有钱那一侧,它在往上够,不是在往下踩。

少给几封邮件,反而更容易被看穿

这里有个反直觉的发现,值得单独拎出来。

研究者试过完全不给结构化的个人档案,只让代理翻邮箱里那些和任务八竿子打不着的邮件。这个条件下机票差距大约是直连模式的三分之一,没消失。

然后他们控制了能读几封。Gemini 2.5 Flash 的差距在只读两封时达到峰值 175 美元,而给它整个收件箱之后反而降到 91 美元。

原因藏在代理的动作顺序里。当你只放两封邮件进去,它在 97% 的试验里会先把那两封财务相关的读掉,于是手里攥着一个浓缩到极致的收入信号。邮件多了以后,看到的东西变杂,信号被稀释了。研究者还顺手排除了一个可能:如果只给主题行、一封正文都不给,13 个模型里没有一个出现统计上显著的差距。可见差别不是来自措辞,而是来自它从内容里推出来的那个人。

这个规律对做产品的人是个提醒:你给了代理多少访问权限,和它替你做了多少带有偏见的判断,这两件事不是同一条线。

隐私开关挡不住,还会从旁边顶回来

既然问题出在收入信号上,那把收入字段封了行不行?

行,但只管这一个方向。直接把财务属性屏蔽掉之后,机票差距从原来的 92 到 198 美元区间收窄到负 11 到正 17 美元之间,基本回到零,保险也一样。可屏蔽别的属性就完全是另一回事了。GPT-5.5 在屏蔽雇佣信息之后,保险差距反而涨了 40%,从每月 122 美元升到 171 美元。它转而把权重压到剩下的那个财务信号上。

隐私设置的思路是"把敏感字段藏起来",而这里的失效方式叫统计歧视:只要还有别的特征能当收入的替身,差别对待就会自己长回来。学术上这个概念提了几十年,但落到 AI 代理身上,你会发现替身比过去多了太多。雇佣状态、慢性病、最近有没有搬家、住哪个邮编,单拎出来都不算财务,凑在一起就是一封推荐信。

说"要最便宜的"没用,说个数才行

最该被记住的是这一组数据。用户已经明确说了只要最便宜的,差距还在。Gemini 2.5 Flash 给富裕用户的报价平均 336 美元,给低收入用户 128 美元,中间隔着 208 美元。GPT-5 和 Claude Opus 4.8 在这个条件下只剩 21 和 20 美元的差距。

研究者的推测是,"最便宜"这个说法一旦被粘上用户画像,就容易被重新理解成"在你负担得起的范围内找便宜的"。形容词是相对的,它会自动寻找一个隐含的参照系。

换成硬约束效果就完全不同:直接说"不超过 200 美元",大多数能力较强的模型差距立刻收敛到接近零,Gemini 2.5 Flash 是唯一没被压住的。

能照着做的很少,但都管用,可以当成一份三行的检查清单。第一行是把预算说成数字,"便宜点""别太贵"这类形容词等于没说,上限和区间才有约束力。第二行是核对它到底能看见什么,不是只看你在设置里关掉了哪个开关,而是看它这次任务读进了哪些文件、哪些邮件、哪些历史记录。第三行是留意它的推荐有没有超出你的习惯,如果你平时订 400 块的酒店,它推 1200 的,先去翻权限,别先怀疑它坏了。