奥特曼说往PC插内存跑大模型是坏主意,可我的AI是养的不是租的

源自154位全网作者

17:43

跑本地大模型的人,这两天大概率刷到了这条:奥特曼说,往电脑里插内存跑开源模型,是个"糟糕的主意"。

10月29日,OpenAI CEO山姆·奥特曼上了一档Stripe联合创始人主持的播客,第二天相关话题#奥特曼需要所有内存#就冲上了微博。他原话的意思很直白:"很多人想跑本地推理,他们以为这个东西堪用了——开源模型加本地运行,以后就不需要数据中心了。"而他的结论是:内存紧缺的时候,让每个人电脑里插一堆内存、95%的时间闲着,“相当糟糕”;真缺货,内存就该放进云端把利用率拉满。他还补了一刀:“大多数人的直觉正好相反。”知乎微博知乎微博

翻译一下就是:别在家养模型了,你们那是在浪费全人类的内存。

奥特曼说往PC插内存跑大模型是坏主意,可我的AI是养的不是租的

但先看看说这话的人站在哪。 同一时间,媒体在扒的背景是:#三星明年所有内存产量已售空#,而OpenAI去年和三星、SK海力士签的是每月90万片晶圆的采购意向书。一个自己手握90万片晶圆意向书的买家,劝大家"内存别留在自己电脑上"——这话对不对是一回事,听不听是另一回事。微博评论区的阴阳相当精准:“云端内存利用率拉满,科技界的环保小能手。”微博新浪财经

平心而论,奥特曼的算术没错一半。闲置算力确实是浪费,本地玩家自己也不否认:有人算过账,本地部署的实际成本比调API贵不少。这条言论下面最中肯的评论是:“集中到云端利用率确实高。但另一面,是普通人手里的算力和数据都更依赖几家公司了。”。问题就在这儿:本地人跑模型,账本上写的从来不是"内存利用率"。微博微博

奥特曼说往PC插内存跑大模型是坏主意,可我的AI是养的不是租的

B站那条"蓝色大肥鱼桌宠"视频,把4B本地模型装进电脑,不用API Key、不吃token,播放33万、点赞1.1万。一条160赞的置顶评论,一句话点破这群人的心思:"你的AI,是租来的,还是养在家里的?"下面一条回复更扎心:“按句扣钱的时候没感觉,自己扛电费和显存才知道肉疼。”——知道肉疼,还是养了,这就是答案。哔哩哔哩

奥特曼说往PC插内存跑大模型是坏主意,可我的AI是养的不是租的

小红书上402赞的帖子标题写得直接:本地部署大模型的第一需求是安全,不是省钱。微博一条850赞的老帖底下,评论区把理由列得很整齐:“自由,以及隐私”、中转站能看到所有聊天内容、“确保数据在本地,不管实际上还是心理上”。有条我觉得最准的评论是:本地跑大模型买的未必是性价比,而是"选择权"——云端买的是结果,本地买的是边界控制。你能决定数据往哪走、什么内容不出门、断网那天还能不能用。这逻辑NAS党三年前就吵过一轮:云盘更划算,可家庭相册还是自己存着踏实。小红书微博

奥特曼说往PC插内存跑大模型是坏主意,可我的AI是养的不是租的

所以奥特曼那句"大多数人的直觉正好相反",恰恰说对了重点——只是他保护的那种"直觉",和普通玩家的直觉,压根不是一种东西。他要的是全球内存利用率的最大化,你要的是这一句话不出我这台电脑。两个目标不冲突,但也没法互相说服。微博

内存你拿去建你的数据中心,没意见。只是下次再劝"别在家跑"之前,先解释清楚:为什么一个囤了90万片晶圆的人,比我还心疼我插槽里那32G内存闲着。

我的AI是养的,不是租的。这笔账,从头到尾就没在奥特曼的算盘上。

内容由AI生成

精选参考来源

1. 奥特曼两晚没睡:不是模型又强了,是“人类旧地图”开始失效了

2. 【#奥特曼需要所有内存#】#三星明年所有内存产量已售空#OpenAI首席执行官山姆·奥特曼在播客节目中谈到内存紧缺话题,他认为将内存装在PC中供开源模型使用是一

3. 奥特曼称「PC装内存跑开源模型是糟糕的主意」,如何看待这一言论?

4. 奥特曼说电脑插内存是浪费。Stripe联创的播客上他说:很多人想在自己电脑上跑开源模型,但从全球分配看,让每个人电脑里插一堆内存、95%的时间闲着"相

5. 对大部分人来说,本地运行大模型从经济上讲都是不划算的。除了技术研究需要外,自己跑模型主要有两个意义:1、能使用去除了限制的模型。2、能确保数据完全在本地。简单地说,自由。

6. 蓝色大肥鱼桌宠:4B本地模型装进电脑,不用APIKey、不吃token(4060实测)

7. 本地部署大模型的第一需求是安全,不是省钱

8. 本地跑模型,模型服务和聊天界面到底差在哪?

9. 大肥鱼的自我介绍

10. 01|桌面住了个二次元

11. DDR5内存又暴涨了|显卡日报9月11日

0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章