8月24日,小米开了一场玄戒芯片技术沟通会,一口气发了三颗芯片:手机SoC玄戒O3、端侧AI加速芯片玄戒O100、智驾芯片玄戒D100。知乎三颗芯片里,讨论度最高的反而是2027年才商用的O100。微博
原因很简单:它的首次演示太抓人了。一条拆解视频41万播放、2.1万赞、3800多条评论。哔哩哔哩博主路探社的两条现场体验视频,播放量也合计超过8万。微博

现场这台原型机是阔折叠形态,机身还内置了散热风扇。微博它由玄戒O3与玄戒O100双芯协同,重构主板、搭载风冷散热,跑的是端侧MiMo大模型,推理速度实测295 tokens/s。哔哩哔哩
295 tokens/s是什么概念?中文场景下1 token大约对应1.4~1.6个汉字,295 tokens/s相当于每秒往外吐400~500个字。普通人阅读速度大约每秒5~10个字——模型"说话"的速度,是你阅读速度的40~90倍。对端侧大模型来说,这是个分水岭式的数字:以前端侧AI不是不能用,是太慢,问一句话要等好几秒;到了295 tokens/s,"速度"这个变量本身被消掉了,等待体验直接不存在。
但关键问题是:这个速度从哪来的?很多人第一反应是制程,答案恰恰相反。O100用的是6nm工艺,放在今天一点都不先进——同时发布的玄戒O3已经是3nm。真正的杀招在封装:O100用晶圆级垂直堆叠(WoW),把一层计算die和两层DDR存储die直接叠在一起,层间打了约2.87万条互联。哔哩哔哩

小米集团副总裁朱丹在中新社采访里披露的细节是:通孔直径只有0.7微米、互联间距1.4微米,用混合键合工艺连接。哔哩哔哩这也是全球首个在6nm制程下实现晶圆级垂直堆叠的芯片。微博
把存储叠到计算die头上,解决的是"内存墙"。端侧大模型推理的瓶颈从来不是算力,是带宽——每生成一个token,都要把整个模型权重从内存读一遍,读多快,就只能生成多快。堆叠之后,O100的片上带宽做到1.22TB/s。知乎
这里可以做个算术验证:原型机里的MiMo是3B参数,量化到INT8约3GB;3GB ÷ 1.22TB/s ≈ 2.5毫秒,也就是理论上每2.5毫秒就能喂出一个token,对应理论上限约400 tokens/s。36氪实测295,达到理论上限的七成以上——说明这个速度是硬件结构的必然结果,不是提前调好的演示魔术。这大概是整场发布会里最值得消化的一条信息。
当然,冷水也得泼,有三件事不能跟着兴奋。
第一,6nm不是优势。拆解社区对此判断很一致:O100的制程并不领先,真正有看点的是先进封装。微博晶圆级堆叠的良率也是社区争论的点,有人悲观,也有人认为有兜底。微博2027年的量产表现,还得再看。
第二,3B模型有智能上限。端侧跑的3B参数模型,再快也和云端几百上千亿参数的大模型不是一个智力量级。端侧大模型的价值在隐私(数据不出手机)、离线(没网能用)、零时延,不是替代云端。指望"这颗芯片让手机不再需要云端AI",方向就错了。
第三,也是最实际的:O100要到2027年才商用。这台原型机本质是一台演示装置,官方展示的就是离线状态下的端侧推理速度,基本做到无延时输出。36氪现场实测的博主也确认"视频无加速,设备无联网"。哔哩哔哩官方口径下,双芯协同的推理速度最高可以到330 tokens/s。知乎别把O3的账算到O100头上,更别以为O100现在就能用上。

那到底要不要等?分两种人。
普通用户想买手机的:不用等O100。9月发布的小米18 Fold是阔折叠形态、首发搭载O3。36氪你要权衡的是折叠屏的价格、折痕和软件适配,这是O3的账,跟O100没关系。100元订金可退,对18 Fold本身感兴趣可以先下订再观望。知乎但如果你的订金是"为O100下的",那大可不必。
AI爱好者、隐私敏感用户:O100值得追,但别追热闹,追三个信号。一是MiMo端侧版的迭代和开源动向——硬件定了,生态看模型;二是O100的首发商用产品是什么,官方至今没确认,已经亮相的AI Cube原型机是集成O3、O100、D100三芯的形态。哔哩哔哩三是三芯拼起来的最终产品形态——O3管日常、O100管端侧大模型、D100管智驾,小米布的是一整套端侧算力基座。知乎单颗芯片的参数,不决定全局。
最后给三条可以直接带走的谈资。其一,O100证明了端侧大模型的瓶颈是带宽不是制程,战场正在从"算力"转向"带宽";其二,295 tokens/s不是口号,是能用小学数学验证的数字(3GB ÷ 1.22TB/s ≈ 2.5ms/token,理论上限400),经得起算术检验的现场演示并不多;其三,6nm是刻意选择不是落后——堆叠的价值恰恰在于绕开了制程军备竞赛,赌的是先进封装的成熟度和成本。
端侧AI的战场从算力转向带宽,是这场沟通会留给行业最大的信息。至于O100能不能在2027年兑现,到时候见分晓。现阶段普通人不用为它买手机,更不用交订金。