当前位置:
AIGC文章详情

小米玄戒O100实测295 tokens/s:算完这笔账,泼三盆冷水,别交订金

源自39位全网作者

08:12

8月24日,小米开了一场玄戒芯片技术沟通会,一口气发了三颗芯片:手机SoC玄戒O3、端侧AI加速芯片玄戒O100、智驾芯片玄戒D100。知乎三颗芯片里,讨论度最高的反而是2027年才商用的O100。微博

原因很简单:它的首次演示太抓人了。一条拆解视频41万播放、2.1万赞、3800多条评论。哔哩哔哩博主路探社的两条现场体验视频,播放量也合计超过8万。微博

小米玄戒O100实测295 tokens/s:算完这笔账,泼三盆冷水,别交订金

现场这台原型机是阔折叠形态,机身还内置了散热风扇。微博它由玄戒O3与玄戒O100双芯协同,重构主板、搭载风冷散热,跑的是端侧MiMo大模型,推理速度实测295 tokens/s。哔哩哔哩

295 tokens/s是什么概念?中文场景下1 token大约对应1.4~1.6个汉字,295 tokens/s相当于每秒往外吐400~500个字。普通人阅读速度大约每秒5~10个字——模型"说话"的速度,是你阅读速度的40~90倍。对端侧大模型来说,这是个分水岭式的数字:以前端侧AI不是不能用,是太慢,问一句话要等好几秒;到了295 tokens/s,"速度"这个变量本身被消掉了,等待体验直接不存在。

但关键问题是:这个速度从哪来的?很多人第一反应是制程,答案恰恰相反。O100用的是6nm工艺,放在今天一点都不先进——同时发布的玄戒O3已经是3nm。真正的杀招在封装:O100用晶圆级垂直堆叠(WoW),把一层计算die和两层DDR存储die直接叠在一起,层间打了约2.87万条互联。哔哩哔哩

小米玄戒O100实测295 tokens/s:算完这笔账,泼三盆冷水,别交订金

小米集团副总裁朱丹在中新社采访里披露的细节是:通孔直径只有0.7微米、互联间距1.4微米,用混合键合工艺连接。哔哩哔哩这也是全球首个在6nm制程下实现晶圆级垂直堆叠的芯片。微博

把存储叠到计算die头上,解决的是"内存墙"。端侧大模型推理的瓶颈从来不是算力,是带宽——每生成一个token,都要把整个模型权重从内存读一遍,读多快,就只能生成多快。堆叠之后,O100的片上带宽做到1.22TB/s。知乎

这里可以做个算术验证:原型机里的MiMo是3B参数,量化到INT8约3GB;3GB ÷ 1.22TB/s ≈ 2.5毫秒,也就是理论上每2.5毫秒就能喂出一个token,对应理论上限约400 tokens/s。36氪实测295,达到理论上限的七成以上——说明这个速度是硬件结构的必然结果,不是提前调好的演示魔术。这大概是整场发布会里最值得消化的一条信息。

当然,冷水也得泼,有三件事不能跟着兴奋。

第一,6nm不是优势。拆解社区对此判断很一致:O100的制程并不领先,真正有看点的是先进封装。微博晶圆级堆叠的良率也是社区争论的点,有人悲观,也有人认为有兜底。微博2027年的量产表现,还得再看。

第二,3B模型有智能上限。端侧跑的3B参数模型,再快也和云端几百上千亿参数的大模型不是一个智力量级。端侧大模型的价值在隐私(数据不出手机)、离线(没网能用)、零时延,不是替代云端。指望"这颗芯片让手机不再需要云端AI",方向就错了。

第三,也是最实际的:O100要到2027年才商用。这台原型机本质是一台演示装置,官方展示的就是离线状态下的端侧推理速度,基本做到无延时输出。36氪现场实测的博主也确认"视频无加速,设备无联网"。哔哩哔哩官方口径下,双芯协同的推理速度最高可以到330 tokens/s。知乎别把O3的账算到O100头上,更别以为O100现在就能用上。

小米玄戒O100实测295 tokens/s:算完这笔账,泼三盆冷水,别交订金

那到底要不要等?分两种人。

普通用户想买手机的:不用等O100。9月发布的小米18 Fold是阔折叠形态、首发搭载O3。36氪你要权衡的是折叠屏的价格、折痕和软件适配,这是O3的账,跟O100没关系。100元订金可退,对18 Fold本身感兴趣可以先下订再观望。知乎但如果你的订金是"为O100下的",那大可不必。

AI爱好者、隐私敏感用户:O100值得追,但别追热闹,追三个信号。一是MiMo端侧版的迭代和开源动向——硬件定了,生态看模型;二是O100的首发商用产品是什么,官方至今没确认,已经亮相的AI Cube原型机是集成O3、O100、D100三芯的形态。哔哩哔哩三是三芯拼起来的最终产品形态——O3管日常、O100管端侧大模型、D100管智驾,小米布的是一整套端侧算力基座。知乎单颗芯片的参数,不决定全局。

最后给三条可以直接带走的谈资。其一,O100证明了端侧大模型的瓶颈是带宽不是制程,战场正在从"算力"转向"带宽";其二,295 tokens/s不是口号,是能用小学数学验证的数字(3GB ÷ 1.22TB/s ≈ 2.5ms/token,理论上限400),经得起算术检验的现场演示并不多;其三,6nm是刻意选择不是落后——堆叠的价值恰恰在于绕开了制程军备竞赛,赌的是先进封装的成熟度和成本。

端侧AI的战场从算力转向带宽,是这场沟通会留给行业最大的信息。至于O100能不能在2027年兑现,到时候见分晓。现阶段普通人不用为它买手机,更不用交订金。

内容由AI生成

精选参考来源

1. 雷军连发三颗玄戒芯片:小米不等苹果,先把9月的桌子占了

2. #微博声浪计划##听见微博#2026年8月24日,小米发布全球首个6nm晶圆级垂直堆叠芯片玄戒O100

3. 三层堆叠芯片?拆解玄戒O100的先进封装:混合键合与硅通孔

4. 折痕去哪了?玄戒O100原型机现场体验

5. 玄戒O100这风扇造型,有点似曾相识啊,跟K90Max长得一样而且我专门数了一下,都是9条竖向的开孔

6. 卢伟冰晒出玄戒O100原型机,由玄戒O3与玄戒O100双芯协同,重构主板并搭载风冷散热,内置MiMo大模型,推理速度可达每秒295Tokens。

7. 三芯齐发!雷军十年五百亿造芯,为何突然提速?

8. 小米O100全球首个晶圆级垂直堆叠芯片

9. 刚刚,小米发布AI芯片全家桶,雷军曝光隐藏彩蛋:芯片很贵,别拆

10. 小米玄戒,磨剑十二年

11. 谈三圈做了玄戒O100的拆解,其实这枚6nm的芯片制程上没什么优势,但确实是国内半导体行业实现先进封装工艺的首次尝试

12. 倒也不用对玄戒O100良率这么悲观,有一种技术叫RW,良率有兜底

13. 小米低调发布三个芯片,不止瞄准AI手机|最前线

14. 快的离谱!玄戒O100原型机现场体验。

15. XiaomiAICube原型机,航空铝一体机身,150W。集成玄戒O3、O100、D100,搭载80GB统一内存,支持大模型运算,为个人AI超级计算终端。

0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章