智谱AI与华为联合开源的GLM-Image模型,不仅实现了在国产昇腾芯片上的全程训练,验证了国产算力的巨大潜力,更通过创新架构攻克了图像生成中的文字渲染难题。这标志着国产AI生态在迈向“认知型生成”的道路上取得了重要突破,为开发者和社区带来了宝贵的实践经验。
智能速览
GLM-Image是首个在国产昇腾芯片上完成全流程训练的SOTA图像生成模型。
采用“自回归+扩散解码器”混合架构,解决了传统模型在文字渲染上的缺陷。
在CVTG-2K和LongText-Bench等多个文字生成权威榜单中达到开源SOTA水平。
模型原生支持从1024x1024到2048x2048等任意比例的高分辨率图像生成。
智谱希望通过开源分享技术路径,推动国产AI计算生态的发展。
精华内容
GLM-Image的核心价值在于其架构创新与国产化实践,它不仅验证了国产算力的可行性,更在技术上实现了突破。接下来,将深入解析其技术架构、性能表现以及对国产AI生态的意义。
混合架构突破
为解决传统模型在复杂指令理解与精准文字绘制上难以兼顾的问题,GLM-Image创新性地采用了“自回归+扩散解码器”混合架构。该架构融合了一个9B的自回归模型与一个7B的DiT扩散解码器。
其中,9B自回归模型凭借其语言模型底座优势,专注于提升对指令的语义理解与画面全局构图能力。而7B的DiT扩散解码器则配合Glyph Encoder文本编码器,专注于还原图像的高频细节和文字笔画,显著改善了模型“提笔忘字”的现象。
文字渲染SOTA
基于上述架构创新,GLM-Image在文字渲染的权威评测中表现出色,达到了开源SOTA(State-of-the-art)水平。在CVTG-2K(复杂视觉文字生成)榜单中,其Word Accuracy(文字准确率)达到0.9116,NED(归一化编辑距离)指标为0.9557,两项均位列开源模型第一,表明其生成的文字错字、漏字情况极少。
在考察长文本渲染能力的LongText-Bench榜单上,GLM-Image同样以英文0.952、中文0.979的成绩摘得开源模型榜首,证明了其在招牌、海报等文字密集场景下的强大实力。
高分辨率适配
GLM-Image通过改进Tokenizer策略,能够自适应处理多种分辨率,原生支持从1024x1024到2048×2048尺寸的任意比例图像生成任务,且无需重新训练。
这为用户在不同应用场景下生成高质量图像提供了极大的灵活性。此外,在API调用模式下,生成一张图片的成本仅需0.1元,速度优化版本也即将更新,进一步提升了其实用性。
全栈国产实践
GLM-Image是首个在国产芯片上完成全流程训练的SOTA多模态模型,其意义远不止于技术本身。该模型的自回归结构基座从数据预处理到大规模预训练,全流程均在昇腾Atlas 800T A2设备上完成,并依托昇思MindSpore AI框架。
通过运用动态图多级流水下发、高性能融合算子、多流并行等技术进行深度优化,智谱自研的训练套件极致优化了端到端流程,成功验证了在国产全栈算力底座上训练高性能多模态生成模型的可行性。
GLM-Image的开源,不仅为社区贡献了一个工业级的图像生成模型,更重要的是,它用实践证明了国产全栈算力完全有能力支撑世界级前沿模型的训练。这一突破将激励更多开发者探索国产算力的潜能,共同推动“认知型生成”时代的到来。未来,国产AI生态将如何演化?