你还在算显存,淘宝已经把AI装进你手机:5亿参数,白用你的算力

源自58位全网作者

10:05

你还在算显存,淘宝已经把AI装进你手机:5亿参数,白用你的算力

搞本地部署的人,看到这条新闻大概会愣一下:你的手机已经被淘宝"本地部署"了,而你并不知情。

你App的目录里,住着一个模型

有小红书用户排查手机存储时,在淘宝私有目录一个叫NGUserIntent的文件夹里挖出了一套模型文件,系统提示词写得明明白白:“你是一个淘宝购后场景电商推荐系统的导购专家”。知乎热议的问题描述里给的信息是:一个约5亿参数的Qwen2模型,设定用设备GPU做本地推理,文件占用接近1GB。知乎知乎

你还在算显存,淘宝已经把AI装进你手机:5亿参数,白用你的算力

0.5B,这个数字在本地AI玩家眼里不算事。但这事的分量不在大小,在于部署的主体换了。你装模型是为你服务,平台装模型是给你的手机派活。

不是野路子,是一篇有论文的工程

顺着扒RecGPT-Mobile这篇论文,端侧小模型只干一件事:结合你近期的行为,预测你"下一个想搜什么"——买了手机,它就琢磨你会搜手机壳还是快充。知乎用户还扒出阿里MNN技术负责人的简历写着:端侧LLM早已落地信息流、购后推荐、商品重排和闲鱼消息理解,覆盖千万级用户。知乎知乎

你还在算显存,淘宝已经把AI装进你手机:5亿参数,白用你的算力

有意思的是,论文里抠的工程问题,跟你们每天抠的是同一套:输入压到200-400个token(300条原始行为直接上端侧,内存会崩、推理能拖到十几秒);意图漂移超过阈值才触发推理,行为平稳时不白跑;后台异步推理、结果写本地缓存,平均延迟从3秒压到0.76秒。给手机省电降发热的手段,和你把模型量化塞进16G卡的手段,没有区别。知乎

但论文也没回避动机:不是隐私,是零网络延迟、实时感知、零云端成本,外加线上GMV提升2.5%。也有认真读完论文的作者泼冷水:端侧流量占比仍不高,小模型智力有限、发热是硬伤,这波更像实验性质,别急着阴谋论。知乎

评论区吵的,其实是三层问题

  • 行为没出门,画像出门了。原始行为确实只在本地算,可预测出的意图还得上传,不然没法给你推商品——手机变成了"画像加工车间",成品照走云端。

  • 衍生数据没人管。有知乎回答点得比较深:由原始行为衍生出的画像,是现有法律几乎没约束到的次级隐私数据,维权都找不到抓手。知乎

  • 成本转嫁。你的电费、手机发热,换平台的服务器开销——论文原话是服务器算力成本为0。有网友把它类比成"挖矿",措辞过激,但不舒服是真的:资源被用了,没人和你协商过定价权、拒绝权,甚至知情权。知乎知乎

你还在算显存,淘宝已经把AI装进你手机:5亿参数,白用你的算力

讽刺的是,另一边开源社区刚火了个Fauxx项目:自动在安卓上制造假记录,污染广告画像。用户还在研究怎么卑微地对抗画像,人家已经把分析你的模型直接搬进你家了。知乎

给本地部署党的三句实话

"数据不出门"这六个字,只有在模型服务的是你时才成立。服务对象一换,“本地"就从保护伞变成观察窗——平台看你,从"你打开App的时刻"扩展到"手机在后台运行的任何时刻”。

现在能做的:一是去App协议里搜"端侧""本地推理"相关条款,看它有没有提前告知;二是用文件管理器进App数据目录看看这套模型的体积,心里有数;三是有没有单独的关闭开关——目前没有任何公开信息说提供,只能等平台回应或监管表态。监管的参照也有:Meta曾因未经同意使用用户数据训练AI,被意大利竞争管理局罚款8.05亿欧元,技术和知情同意的边界,在国外是有价签的。知乎

所以这轮事件给本地部署圈最大的提醒不是生气,是换了个视角。世上有两种"本地AI",一种算你的数据,一种算你怎么被算。你把Ollama配完觉得隐私翻身做主了——回头一看,别人早就在你手机上完成了本地部署。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章