过去一周，大模型本地部署的讨论区里被一个数字刷屏了：330 Tokens/秒——一部智能手机跑大模型的输出速度。作为对照，B站上周最火的桌面实测里，一张24G显存的7900XTX配上64G内存，跑125B MoE模型调到极限也就稳态20出头；很多人挂在嘴边的"本地提速"，也就每秒二三十个token的量级。
但我把小米官方微博、知乎两篇高赞技术拆解、36氪现场报道和B站桌面实测这四路信源交叉翻了一遍，结论是：330这个数字大概率没造假，可它跑在一台"量产不了"的机器上，而且和你九月能买到的任何一部手机都没关系。今天就把这三百三、一百二、二十九五这几个数字，一次拆干净。
330是怎么来的：一场带宽的"明牌"
8月24日，小米用一场没有线上直播、雷军也没到场的40分钟技术沟通会，一口气发了三款玄戒芯片：3nm旗舰SoC玄戒O3、端侧AI加速芯片玄戒O100、智驾芯片玄戒D100。
真正和"大模型推理"有关的是O100。官方口径的参数很直接：行业首颗6nm晶圆级垂直堆叠（Wafer-on-Wafer）AI芯片，Hybrid Bonding混合键合、1.4微米键合间距，把两层DRAM晶圆和一层NPU计算晶圆压在一起，换来1.22TB/s的内存带宽——雷军原话是"16倍于传统旗舰手机"，端侧推理速度"最高可达330TPS"。微博
这个数字为什么可信？知乎回答者Gemfield（那篇回答7.3万浏览）把端侧推理的底裤扒了个干净：手机解码生成是典型的内存带宽受限任务，每吐一个字都要重新读一遍模型权重。过去PoP封装时代，旗舰机带宽从6.4GB/s一路卷到68-100+GB/s，但跑一个3B参数、8-bit量化的端侧模型，实际生成速度只有14-18 Tokens/秒——“日常用基本无法接受”。知乎 WoW堆叠把带宽直接乘了十几倍，3B小模型的"内存墙"被一脚踹穿，330就是这么来的。
这里藏着一个反常识：端侧跑不动大模型，这些年真凶从来不是算力不够，NPU的TOPS早就过剩，过剩的算力一直在等内存喂数据。36氪管这叫AI芯片的"剪刀差"，而小米给O100定的架构名字更直白——近存计算。36氪
但330前面，有三层折扣
第一层：模型尺寸。330对应的是3B级小模型。卢伟冰晒的原型机实测是每秒295 Tokens——跑的Xiaomi MiMo端侧模型，不是你在云端用的那种235B、125B的"大脑"，更不是你桌面上折腾的那颗93GB的IQ4。微博
第二层：设备形态。这台"原型机"为端侧大模型而生，代价是把影像模块整个砍掉、主板推翻重制，塞进一套最高支持10瓦功率的主动风冷散热。同期亮相的另一台Xiaomi AI Cube更夸张：航天铝机身、33874个CNC散热孔、150瓦持续性能释放、80GB统一内存，能同时挂120B大模型和3B端侧模型玩快慢切换——但那是一台插座供电的迷你主机。而官方通稿里有一句被多数人忽略的话：两款原型机均处于技术验证阶段，暂无量产计划。知乎
第三层：时间。官方口径明确——玄戒O3已开启规模量产，O100和D100"已经研发完成，明年正式商用"。也就是说，330是一个明年才开始兑现的数字。
九月首发的是O3，和O100不是一个量级
这是最容易买错的地方：9月随小米18 Fold首发的自研芯片是玄戒O3——一颗3nm旗舰SoC，240亿晶体管、安兔兔522万、行业首颗支持LPDDR6，带宽113.8GB/s。36氪知乎 注意这个数：113.8GB/s对1.22TB/s，十倍差距。Fold那台机器当然也能跑端侧小模型，而且比上代快近一半带宽加持，但"330 Tokens每秒"的体验，不在九月的任何一家小米门店里。
拉个横截面：端侧295，桌面20，硬盘4.8
把本周四路真实跑分摆在一起，谁在哪个赛道一目了然：
场景 | 硬件 | 模型 | 速度 | 来源 |
|---|---|---|---|---|
手机原型机 | 玄戒O3+O100，砍摄像头+10W主动风冷 | MiMo端侧小模型 | 实测295 TPS | 卢伟冰微博 |
桌面单卡 | 7900XTX 24G+64G内存，MTP投机采样 | Qwen3.8-Flash-Next 125B MoE | 稳态20-22.8，峰值33.2 TPS | B站玩客笔记 |
桌面穷折腾 | 32G内存+SSD卸载 | 93GB IQ4超大MoE | 4.8 TPS | B站ZZ是画渣 |
现役旗舰手机 | PoP封装LPDDR，68-100GB/s | 3B@8-bit | 14-18 TPS | 知乎Gemfield |
一句话总结：带宽问题正在被端侧解决，容量问题还是桌面的主场。3B的"无延时输出"和125B的"能跑但喘"，解决的是两个完全不同的需求——前者是随时在线的小秘书，后者是你真正想替掉云端订阅的那个东西。小米自己也没把话吹满：36氪引的口径是"自研芯片聚焦端侧AI推理"，训练芯片不碰。
这周的日历：所有人都在抢"堆内存"
有意思的是，端侧带宽这仗不是小米一家在打。8月23日，光羽芯辰宣布首颗3D堆叠（多层DRAM堆叠）AI芯片TC1000量产；8月24日小米三芯齐发；8月25日，苹果发布M6（首次2nm，主打端侧AI任务）和走多芯片封装的M5 Ultra；高通骁龙8E6号称安兔兔483万断层领先，下月发。更早一点，"端侧大模型第一股"面壁智能8月13日提交IPO辅导，估值200亿，MiniCPM已经在三星手机上出货。36氪那篇投资向文章的说法我很认同：芯片定价权正在从峰值算力和tokens/s，转向能装下多大的模型、每个有效Token花多少钱。36氪 跑分时代没死，但推理时代的新KPI是带宽和每Token成本。
谁该等，谁别等，盯哪三个信号
适合等的，是这几类人：对隐私敏感、想要离线会议纪要/翻译/轻量Agent的用户；准备2027年换机、想一步到位买"原生AI手机"的观望党；以及被云端高峰涨价和配额折腾烦了、但需求本来就在3-7B小模型范围内的用户。
不适合等的也很清楚：想拿手机替代云端大模型体验的——3B端侧模型的智力水平和你的235B云端模型不是一回事，等O100量产也不会变；以及看到"330 TPS"就准备为它买单的——那个数字挂在无摄像头、带风扇、明确"暂无量产计划"的演示机上。
接下来值得盯的三个信号：一是量产版O100的持续功耗和散热规格，手机热预算比10瓦风冷演示机残酷得多，那才是330打几折的答案；二是随O100商用的MiMo模型尺寸和量化档位，决定端侧"聪明"的上限；三是D100那套"多芯片融合、单芯160GB、200B+模型本地部署"会不会真做成个人盒子——知乎有条高赞评论喊出了所有人对本地部署硬件的心声：“唯愿把本地大模型部署的价格打到四位数”。知乎
330 Tokens/秒最大的意义，不是让你手里的手机变快，而是宣告端侧推理的游戏规则换了：从"能不能跑"，正式进入了"跑多小的模型、烧多大的电、什么时候轮到量产"。对做本地部署功课的人来说，这一年真正的好消息是——内存墙这件事，终于有人开始认真砌了。
