你花钱把AI搬回家,淘宝把AI塞进你手机让你交电费

源自105位全网作者

10:30

你纠结了三天要不要上4090把AI搬回家,淘宝已经把自己的AI搬进了你手机——显卡不用你买,电费还得你交。

11月16日,知乎一个话题被顶上热榜:有爆料称淘宝App在用户手机里部署了端侧AI导购模型,用你的手机算力预测你的购物意图。这爆料不算空穴来风:阿里MNN技术负责人的简历里写过,团队已在淘宝信息流、购后推荐、商品重排和闲鱼消息理解等生产环境部署端侧LLM,覆盖千万级用户。知乎知乎

手机里跑着别人家的AI手机里跑着别人家的AI

听着玄乎,其实就一句话:传统推荐是"买了这手机的人也买了壳",端侧模型是先把你的行为翻译成一句话——比如"他刚买了S25,他大概率想要个透明防摔壳"——再让App拿这句话去搜,这套玩法对应的论文叫RecGPT-Mobile。区别就是:一个像猜你喜欢,一个像看穿你。知乎

而且这模型不是什么绝密。11月6日,淘宝MNN团队开源了MNN-Pocket-0.3B:INT4量化后部署文件只有173MB,比多数手游安装包还小,在iPhone 18 Pro上离线解码约350 token/s。本地部署党天天自己折腾量化、折腾显存,回头一看,端侧部署的标准答案早就挂在别人家门口的公告栏上了。小红书小红书

端侧小模型离线运行端侧小模型离线运行

真正吵起来的是评论区,两派都有道理:

  • 宽心派认为:模型在本地跑、分析结果不出手机,和把行为数据整包传云端比,这反而接近"隐私计算"的教科书实现。知乎

  • 担心派认为:问题不在传不传——跑模型的是你的SoC、吃的是你的电池,用户协议有没有明说、开关能不能关,才是关键。

还有个更讽刺的注脚:有人用开源项目Fauxx在安卓上专门制造假记录污染广告画像,这套架构下直接变成小丑——画像是你自己手机里分析出来的,你糊弄谁去?知乎

给值得买用户三条实操:

  1. 看耗电榜:购物App在你不逛的时候还疯狂吃后台电量,你的算力大概率正在上班;

  2. 查开关和协议:设置里翻个性化推荐和AI相关条款,知情权和可关闭是你该要的权利;

  3. 调整预期:意图那句是在你手机上生成的,但拿它去检索商品库、完成推荐的,仍然是淘宝的整套服务端体系。手机上的"本地"只能少传点原料,真正的算力主权只能在你自己的电脑上成立——这才是这个社区坚持买卡装机的原因。

台式机显卡本地部署台式机显卡本地部署

截至发稿,"生产环境部署"的说法来自简历、论文和开源动态,淘宝官方尚未给出更细的披露,结论只能先走到这里。但有一点已经确定:本地部署的军备竞赛,从此多了一个不戴显卡的对手。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章