盘古2.1-Pro升级推理优化,高并发AI应用能省多少算力?

源自426位全网作者

11-15 23:49

11月15日晚,华为云MaaS模型即服务平台正式上线开源盘古模型openPangu-2.1-Pro,官方公告对推理优化只给了一个定性表述:通过关键算子和推理链路优化,在典型部署场景下实现吞吐效率大幅提升,以更高的资源利用效率支撑高并发应用。而标题里“能省多少算力”这个问句,恰恰是华为没有回答的部分。这轮升级此前已通过小艺Work以“鸿蒙任务增强”的卖点小范围亮相,官方对参数量、激活量、上下文等规格一直没有公开说明。也就是说,截至发稿,“省多少”只有官方确认的方向,没有可引用的倍数或百分比——吞吐提升、单位算力承载更多并发是事实,任何具体数字目前都属于推算。微信公众平台知乎

这轮升级到底改了什么

官方把2.1-Pro的升级拆成Agent开发、AI编码和推理优化三大方向,落地场景是深度研究、鸿蒙系统操控、鸿蒙APP开发、昇腾算子生成和推理链路优化。Agent侧,新模型基于10万余条专项数据优化Skills触发、工具选择与调用能力;后续它还将接入智果AgentArts、码道CodeArts、果办OfficeAce,覆盖智能体开发、AI编码和企业办公。前代openPangu-2.0分Pro和Flash两个版本,Pro总参数505B、激活参数18B,Flash总参数92B、激活6B,这种“大总参、小激活”的MoE结构本身就是为推理效率服务的——解码时只需读取激活的那部分权重。微博微信公众平台知乎

省算力这道题,眼下只能算出逻辑、算不出倍数

盘古2.0发布时,华为给出的核心卖点是昇腾硬件上单卡推理吞吐率可达业界主流开源模型的2倍,这是厂商在自家硬件环境下的自报口径。更具体的一档公开数据来自上一代:Pro版本在128K上下文长度下,最低TPOT(每输出一个token的时延)为9.55毫秒,TPOT放宽至20毫秒时单卡吞吐约1326 tokens/s;Flash版本15毫秒TPOT目标下单卡吞吐1846 tokens/s。高并发服务的成本账就建立在TPOT这类延迟约束上:同一批并发请求、同一个时延上限,单卡每秒多吐多少token,就等比例少占多少卡。所以“吞吐效率大幅提升”一旦兑现,对应的就是同等并发下卡片数的等比下降;但2.1-Pro相对2.0的提升比例、测试条件与SLO口径均未披露,现在可以确认省算力的方向成立,却给不出省多少的倍数。今日头条知乎

等不及评测的用户,先记住迁移时间表

比省算力更紧迫的是服务切换:华为云11月1日已公告,openPangu-2.0-Flash和2.0-Pro的托管服务11月6日停止销售、11月30日0点正式下线。公告给出的替代方案是Flash转投DeepSeek-V4.1-Flash-1017、Pro转投GLM-5.3——把自研模型客户导向第三方模型厂商,在行业内相当罕见。留给已接入2.0 API的高并发应用的时间只剩两周,接口迁移、业务适配和重新测试都要预留窗口。MaaS平台预置了模型API、调用限流、用量统计和性能监控,切换后可以用同一套流量做灰度对比。今日头条知乎

“能省多少算力”的可验证答案,要等两个节点:官方是否公布2.1-Pro的参数规格与技术报告——2.0系列开源时模型卡都附了TPOT和吞吐数据,2.1-Pro目前只有一份定性公告;以及昇腾生态上第三方评测能否复现吞吐改善。在此之前,任何“省一半”“效率倍增”的说法都不是披露,而是把“大幅提升”四个字往具体倍数上猜。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章