智谱开源的GLM-Image模型采用创新混合架构，在文字渲染和知识密集场景表现突出。作为首个在华为昇腾芯片训练的工业级开源模型，它为中文图像生成带来新突破。
智能速览
GLM-Image采用160亿参数混合架构，自回归+扩散解码器协同工作
文字渲染能力在CVTG-2k测试中准确率达0.9116，碾压竞品
支持文生图、图生图、风格迁移等多种功能，一个模型全搞定
采用解耦强化学习策略，专门优化手部绘制问题
推理成本较高，需要80GB以上显存支持
API调用方式提供云端使用选项
精华内容
GLM-Image通过创新的架构设计，解决了传统扩散模型在文字渲染和语义理解方面的痛点，为图像生成领域带来新可能。
架构创新
GLM-Image采用90亿参数的自回归模块与70亿参数的扩散解码器组成的混合架构。自回归部分基于GLM-4-9B初始化，负责产出低频语义token；扩散解码器沿用CogView4的DiT结构，负责精细化高频细节。这种设计将语义理解与细节生成解耦，显著提升了复杂指令遵循能力。
模型采用语义VQ作为主要token化策略，通过XOmni的tokenizer方案实现更优的语义相关性。在渐进式生成策略中，系统先生成约256个低分辨率token决定整体布局，再逐步增加细节，有效提升了高分辨率生成的可控性。
技术突破
文字渲染是GLM-Image最突出的优势，在CVTG-2k基准测试中，Word Accuracy达到0.9116，NED达到0.9557。特别是中文渲染能力，得分0.979，远超GPT Image 1的0.619。这得益于引入的轻量级Glyph-byT5模型进行字符级编码，大幅提升了中文字符的准确性。
针对AI绘图常见的手部畸形问题，团队专门开发了手部评分模型，在强化学习阶段进行专项优化。通过解耦的GRPO算法，分别优化自回归模块的低频奖励（美学评分、文字准确性）和扩散解码器的高频奖励（感知相似度、手部评分）。
使用指南
本地部署需要从源码安装transformers和diffusers最新版本。文生图使用GlmImagePipeline，支持自定义分辨率（需被32整除）、推理步数和引导尺度。图生图功能支持单张或多张输入图片，可用于背景替换、风格迁移等场景。
对于不想本地部署的用户，智谱提供了API调用方式。使用时建议用引号括起需要渲染的文字，并推荐用GLM-4.7增强prompt以获得更好效果。默认采样参数temperature=0.9，top_p=0.75，可根据需求调整平衡多样性与稳定性。
性能评估
在通用文生图基准测试中，GLM-Image表现与主流扩散模型持平，但文字渲染优势明显。推理成本方面，基于单张H100，生成2048×2048分辨率图像需252.59秒，峰值显存45.08GB；1024×1024分辨率需64.34秒，峰值显存37.82GB。目前仍需80GB以上显存或多卡设置。
模型特别适合需要中英文海报、社交媒体配图、食谱卡、信息图等大量文字内容的生成场景。对于需要复杂语义理解和信息表达的任务，GLM-Image展现出显著优势。
GLM-Image的开源为图像生成领域带来了新的可能性，特别是对中文用户来说，其文字渲染能力解决了长期存在的痛点。虽然推理成本仍需优化，但其专业场景的适用性已证明其价值，未来有望在更多垂直领域发挥重要作用。
