Arcee 开源的 Trinity Large (400B) 模型值得关注。它不仅以激进的高稀疏度实现了 2-3 倍的推理提速，更展示了在有限成本（约 2000 万美元）下完成超大规模模型训练的可行性。同时，其提供的纯预训练版本 TrueBase，为 AI 研究社区提供了宝贵的基准资源。
智能速览
Trinity Large 是一个 400B 参数的稀疏 MoE 模型，每个 token 仅激活 13B 参数。
通过高稀疏度设计，其推理速度比同级模型快 2 至 3 倍。
总训练成本约为 2000 万美元，使用了 2048 张 B300 GPU 训练 33 天。
提供了 Preview、Base 和适合研究的 TrueBase 三个版本。
架构上采用了局部+全局注意力交错和新的负载均衡策略 SMEBU。
原生支持 512k 超长上下文，当前 API 版本提供 128k。
精华内容
这款模型的亮点远不止跑分，其架构设计与训练思路揭示了大型模型实现成本与效率平衡的可行路径。
稀疏架构设计
Trinity Large 采用了稀疏 MoE（Mixture of Experts）架构，总参数量高达 400B，但在处理每个 token 时仅激活其中 13B 的参数，即从 256 个专家中选择 4 个。这种设计使得推理成本大幅降低。
在具体实现上，模型融入了多项创新技术，包括局部与全局注意力的交错使用、门控注意力机制、Sandwich Norm 以及 Sigmoid 路由。此外，团队还为 MoE 设计了名为 SMEBU 的新负载均衡策略，确保了训练的稳定性，整个过程没有出现 loss spike。
训练规模与成本
该模型的训练规模相当庞大，总计处理了 17T token 的数据，其中包含 8T 的合成数据。整个预训练过程在 2048 张 B300 GPU 上运行，耗时 33 天完成。
根据推算，这次训练的总成本大约在 2000 万美元左右。这个数字对于训练一个 400B 级别的模型而言，是相对有限的，展示了通过技术和策略优化控制超大规模模型成本的可能性。
推理效率与表现
推理效率是 Trinity 项目的核心优势之一。依靠其激进的高稀疏度设计和高效注意力机制，在同等参数量的模型中，其推理速度能够达到 2 到 3 倍的提升。
目前开放的 Trinity-Large-Preview 版本在多项基础 benchmark 测试中，表现与 Llama-4-Maverick Instruct 大致处于同一梯队，证明其在保持高效率的同时并未牺牲模型的核心能力。
版本定位与应用
Arcee 提供了三个不同的模型版本以满足不同需求。Preview 版本经过轻度的后训练，可直接用于聊天、写作、角色扮演和语音助手等场景，也适合接入 Agent 工具链。
Base 版本是完整的 17T token 预训练模型，而 TrueBase 版本则是经过 10T token 纯预训练的检查点，不含指令微调和退火处理，非常适合用作学术研究对比。在上下文支持上，模型原生可达 512k，当前 API 版本则提供 128k（8bit 量化）。
Trinity 项目的价值，在于它为行业提供了一个高性价比的超大规模模型训练范例。其对研究社区的开放态度，尤其是 TrueBase 版本的发布，将激发更多关于稀疏模型和训练效率的探索。未来，这种高效率、低成本的路径会如何影响 AI 发展格局？
