美团LongCat-2.5模型正式开源:1.6万亿参数 支持国产算力部署

美团LongCat-2.5模型正式开源:1.6万亿参数 支持国产算力部署

2026-11-09 22:32:35 0点赞 0收藏 0评论

快科技11月9日消息,美团今天官宣开源LongCat-2.5,采用MIT协议,支持商用推理部署与二次训练且无需额外授权,定位是面向长程智能体任务的原生多模态模型。

规模上总参数1.6万亿,每个token激活约480亿参数,支持100万上下文,官方称其在复杂代码库开发、完整项目构建、Visual Coding与专业办公场景的端到端交付能力都有明显提升。=

长程能力的提升来自整条训练链路而不是单点改动,数据侧加入更多长程轨迹,并把真实Agent的失败轨迹转成可复现、可验证的训练任务。

美团LongCat-2.5模型正式开源:1.6万亿参数 支持国产算力部署

强化学习侧采用partial rollout异步训练,让没跑完的长任务保存后续再跑,过采样率按通过率动态调整以过滤全对全错的样本组,同时对跨checkpoint的旧轨迹做梯度校正,降低陈旧偏差。

训练时任务环境会断网、清除git历史与文件缓存,由LLM judge监督轨迹,并对重复思考、重复工具调用与过度思考施加约束,目的是让模型专注完成任务而不是钻空子。

视觉方面没有外挂独立模块,而是把视觉信号表示为多层级离散token,对原生分辨率特征做残差向量量化逐级补足细节,视觉码本与主干联合训练,视觉与文本共享同一套参数、在同一语义空间里协同完成理解与代码生成。

美团LongCat-2.5模型正式开源:1.6万亿参数 支持国产算力部署

推理采用W4A4方案,专家权重与激活同时量化到4bit,通过原生INT4矩阵乘法单元执行计算,官方称已评测的下游任务表现与量化前保持相当。

针对显存与带宽受限的国产算力做了协同优化,在单卡显存不足80GB的环境下用分片把压力分散到超节点内多卡,配合混合词表并行、MoonEP动态专家复制与零拷贝通信,长序列SFT的单卡吞吐量较DDP基线提升86%。

编辑:建嘉

【本文结束】如需转载请务必注明出处:快科技

展开 收起
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

相关文章推荐

更多精彩文章
更多精彩文章
京东京享红包
距结束::
领京东现金红包 天天领3次 最高26888元
红包按钮
最新文章 热门文章
0
扫一下,分享更方便,购买更轻松