GLM-5正式发布，采用MoE架构实现技术突破。总参数量从3550亿跃升至7440亿，激活参数达400亿，预训练数据扩充至28.5T tokens。通过集成DeepSeek稀疏注意力技术和自研异步强化学习框架，GLM-5在保持长上下文能力的同时显著降低部署成本，为复杂工程任务提供更高效的解决方案。
智能速览
GLM-5总参数量翻倍至7440亿，激活参数提升至400亿
集成DeepSeek稀疏注意力技术DSA，降低部署成本
自研异步强化学习框架Slime优化训练效率
预训练数据从23T扩充到28.5T tokens
专为复杂工程任务和AI智能体应用优化
精华内容
GLM-5的发布标志着大模型技术的又一次跃进，不仅在参数规模上实现了翻倍增长，更在架构设计和训练效率上实现了关键突破。
参数规模跃升
GLM-5在参数规模上实现了显著增长，总参数量从GLM-4.5的3550亿翻倍至7440亿，激活参数从320亿提升到400亿。这一增长使得模型能够处理更复杂的任务和更丰富的语义信息。
预训练数据也从23T tokens扩充到28.5T tokens，为模型提供了更广阔的知识基础。这种规模化的升级为模型在复杂工程任务上的表现奠定了坚实基础。
技术创新亮点
GLM-5集成了DeepSeek的稀疏注意力技术DSA，这一技术突破在保留强悍长上下文能力的同时，有效降低了模型的部署成本。DSA技术的引入使得模型在处理长文本时更加高效。
针对大模型强化学习训练效率偏低的行业痛点，智谱为GLM-5专门自研了一套异步强化学习框架Slime。该框架从底层优化了训练效率，显著提升了模型的性能表现。
架构优化
GLM-5继续采用MoE（Mixture of Experts）架构，这种架构允许模型根据输入动态选择最适合的专家网络，从而在保持大模型能力的同时控制计算成本。
通过MoE架构的优化，GLM-5能够在推理时只激活部分参数，实现高效推理。这种设计使得模型在处理不同类型的任务时能够更加灵活和高效。
应用场景
GLM-5特别针对复杂工程任务进行了优化，在算法工程师、深度学习、后端开发等领域展现出强大潜力。模型的升级使得它在AI智能体和AI编码等应用场景中表现更加出色。
对于需要进行复杂逻辑推理和代码生成的任务，GLM-5提供了更强大的支持。这使得它成为开发者和研究人员的理想工具。
GLM-5的发布展现了大模型技术在参数规模、架构设计和训练效率方面的全面进步。通过技术创新和架构优化，GLM-5为复杂工程任务提供了更强大的解决方案，未来在AI智能体和编程辅助等领域的应用值得期待。
