麒麟9050端侧跑30B大模型:不用联网,手机到底能干什么

源自116位全网作者

16:41

华为把「手机不联网跑一个300亿参数大模型」变成了官方事实。11月11日,华为麒麟官方公众号发文介绍首款「逻辑折叠」技术τ芯片——麒麟9050系列,其新一代达芬奇架构NPU性能提升140%、功耗降低66%,官方明确它支持30B大模型端侧运行,不用联网、不用等云端。在这颗芯片的定位里,最关键的一句是实现了业界首个30B MoE大模型端侧运行,用户无需联网即可使用。微博微博

不联网的手机,AI能干什么?华为给出的落地清单对应四类日常感知场景:感知屏幕—AI屏幕朗读、感知影像—Xmage智拍2.0、感知人眼—AI眼动翻页、感知位置—熄屏地图2.0。翻译成使用体验就是:长文章让AI读给自己听,拍照不用等网络传回云端就能完成调校,看书看累了眼神一瞥就能翻页,熄屏状态也能看到路线导航。这些能力的共同前提是,干活的是手机内部的模型,而不是机房里的服务器——高铁上、地下车库、台风天断电的信号盲区,AI照常可用,你的聊天记录和照片也不必先上传云端才能被理解。微博

30B为什么现在才「跑得动」

手机端跑大模型,卡在算力、功耗和内存三道坎上,麒麟9050系列的变化是从芯片结构上把地基抬高。新芯片首次采用「逻辑折叠」方案,将原本平铺的逻辑电路改为上下两层,通过混合键合和垂直互连缩短信号传输距离;官方数据显示,其混合键合数量超过5000万,有效信号互连超过500万条,晶体管密度提升53.5%。模型这一侧,华为没有把300亿参数做成全量激活的稠密结构,而是选择MoE——参数总量300亿,每次应答只激活其中一部分「专家」,再配合低比特量化和多级存算协同优化,把计算量和内存占用压进手机的预算里。此前发布会信息也早有铺垫:据多位博主对现场的转述,30B参数量的盘古大模型计划在今年秋天进入麒麟手机,模型吞吐率提升超过5倍。微博微博

这不只是麒麟一家的赛道

几乎同一时间,高通在夏威夷骁龙峰会发布了第六代骁龙8超级至尊版,安卓旗舰芯片的整体重心都在往端侧AI转移。科技博主已经放出实测视频,展示新款骁龙旗舰本地运行300亿参数大模型,并把速度拿来和云端API对比。行业媒体把这轮变化概括为:手机跑300亿参数大模型,端侧算力竞争已经换挡。对用户而言,这意味着端侧AI已经从个别品牌的亮点,变成下一轮旗舰机的主战场——比的不再只是「能不能跑」,而是耗电多少、占多少内存、能普及到多少机型。36氪微博哔哩哔哩

哪些机型能吃到,哪些期待要降温

麒麟9050系列的上机节奏是分层的。华为此前发布的Mate XT 2非凡大师,首发搭载了麒麟9050 Pro芯片。随后推出的Mate 90系列虽然都搭载麒麟芯片,但不同版本使用的芯片并不相同:标准版用麒麟9030、Pro版用9035,顶配Pro Max才用上麒麟9050 Pro。36氪微博

分层直接反映在AI体验上:Mate 90 Pro Max搭载麒麟9050 Pro,配合30B MoE全模态端侧大模型,让小艺具备了图片、语音、文本打通的多模态理解和生成能力,而且数据在端侧处理,隐私更安全。已经有用户在社区反馈,买了Mate 90 Pro并更新到最新系统后,发现只有基础大模型,不清楚增强版是否只给顶配机型预留。微博小红书

最后要划清一条边界:端侧运行不等于云端失去价值。实时资讯检索、超长内容生成这类重任务,短期内仍会交给云端;端侧真正接管的,是「没信号也能用、不用等网络回传、数据不离开手机」这三类高频场景。按目前官方已披露的信息,这套30B能力在不同机型和地区的开放节奏还没有公布——更准确的表述是:行业首个30B大模型已经装进了手机,而不是所有手机都已经能用上它。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章