摩尔线程适配Kimi-K3.1 Pro:跑通图文推理,但还没到能算账的时候

源自130位全网作者

10:06

11月6日,摩尔线程宣布完成Kimi-K3.1 Pro的Day-0适配。

载体是AI训推一体智算卡MTT S5000和MUSA软件栈,打通模型加载、服务启动,以及文本、图片两条基础推理链路。集微网

官方口径是“3万亿级”。模型卡更具体:总参数 2.8 万亿,每词元激活 1040 亿,上下文 104 万词元,权重 96 个分片约 1.56 TB。 这决定了它必须多卡部署。知乎

适配先要解决模型切分、显存放置和卡间通信。

它还是原生多模态模型,视觉编码器MoonViT-V2占401M参数。 适配因此不只是跑语言模型,还要接图像预处理、视觉编码和图文混合批处理。知乎

但公开信息里没有图像理解精度、分辨率上限,也没有图文混合请求的吞吐。这些恰恰是判断“图文可用”的关键。

从公开时间线看,月之暗面11月4日公布完整权重,摩尔线程11月6日宣布完成适配。 官方把这叫Day-0;能核对的是两天的间隔。IT之家

但通稿只说到“基础推理链路”,没有卡数、精度、并发,也没有首token延迟、decode吞吐,第三方实测也缺位。

对比之下,昇腾CANN在950DT、32卡、100K输入、Batch 32下,给出平均Decode时延低于10 ms/token(仅模型耗时)。 两组信息颗粒度不同:一个证明能跑,另一个回答跑得怎么样。昇腾CANN

这也不是它第一次接Kimi:7月29日就发过“率先完成Kimi K3适配”的Day-0公告。 从K3到K3.1 Pro,模型改了注意力结构,适配仍按天算。小红书

当Day-0成为常规动作,竞争点就会移到吞吐、成本和稳定性。

这次适配的真实分量,是让“国产GPU跑3万亿级多模态模型”这件事落在了模型开源后两天,而不是证明“跑得好、跑得便宜”。

接下来值得看的不是又一张Day-0海报,而是第一份公开的部署配方和第三方压测:多少张S5000、什么精度、多长上下文、每token多少钱。跑通是入场券,算得清账才是竞争力。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章