跑本地大模型的人,这两天大概率刷到了这条:奥特曼说,往电脑里插内存跑开源模型,是个"糟糕的主意"。
10月29日,OpenAI CEO山姆·奥特曼上了一档Stripe联合创始人主持的播客,第二天相关话题#奥特曼需要所有内存#就冲上了微博。他原话的意思很直白:"很多人想跑本地推理,他们以为这个东西堪用了——开源模型加本地运行,以后就不需要数据中心了。"而他的结论是:内存紧缺的时候,让每个人电脑里插一堆内存、95%的时间闲着,“相当糟糕”;真缺货,内存就该放进云端把利用率拉满。他还补了一刀:“大多数人的直觉正好相反。”知乎微博知乎微博
翻译一下就是:别在家养模型了,你们那是在浪费全人类的内存。

但先看看说这话的人站在哪。 同一时间,媒体在扒的背景是:#三星明年所有内存产量已售空#,而OpenAI去年和三星、SK海力士签的是每月90万片晶圆的采购意向书。一个自己手握90万片晶圆意向书的买家,劝大家"内存别留在自己电脑上"——这话对不对是一回事,听不听是另一回事。微博评论区的阴阳相当精准:“云端内存利用率拉满,科技界的环保小能手。”微博新浪财经
平心而论,奥特曼的算术没错一半。闲置算力确实是浪费,本地玩家自己也不否认:有人算过账,本地部署的实际成本比调API贵不少。这条言论下面最中肯的评论是:“集中到云端利用率确实高。但另一面,是普通人手里的算力和数据都更依赖几家公司了。”。问题就在这儿:本地人跑模型,账本上写的从来不是"内存利用率"。微博微博

B站那条"蓝色大肥鱼桌宠"视频,把4B本地模型装进电脑,不用API Key、不吃token,播放33万、点赞1.1万。一条160赞的置顶评论,一句话点破这群人的心思:"你的AI,是租来的,还是养在家里的?"下面一条回复更扎心:“按句扣钱的时候没感觉,自己扛电费和显存才知道肉疼。”——知道肉疼,还是养了,这就是答案。哔哩哔哩

小红书上402赞的帖子标题写得直接:本地部署大模型的第一需求是安全,不是省钱。微博一条850赞的老帖底下,评论区把理由列得很整齐:“自由,以及隐私”、中转站能看到所有聊天内容、“确保数据在本地,不管实际上还是心理上”。有条我觉得最准的评论是:本地跑大模型买的未必是性价比,而是"选择权"——云端买的是结果,本地买的是边界控制。你能决定数据往哪走、什么内容不出门、断网那天还能不能用。这逻辑NAS党三年前就吵过一轮:云盘更划算,可家庭相册还是自己存着踏实。小红书微博

所以奥特曼那句"大多数人的直觉正好相反",恰恰说对了重点——只是他保护的那种"直觉",和普通玩家的直觉,压根不是一种东西。他要的是全球内存利用率的最大化,你要的是这一句话不出我这台电脑。两个目标不冲突,但也没法互相说服。微博
内存你拿去建你的数据中心,没意见。只是下次再劝"别在家跑"之前,先解释清楚:为什么一个囤了90万片晶圆的人,比我还心疼我插槽里那32G内存闲着。
我的AI是养的,不是租的。这笔账,从头到尾就没在奥特曼的算盘上。