厉害了！SANA：一种能够高效生成高分辨率图像的文本到图像框架，其性能远超 Flux。该项目即将开源。

全文概述

SANA是一种高效的文本到图像框架，能够生成高达4096×4096分辨率的高质量图像。通过深度压缩自动编码器、高效线性DiT和仅解码器的文本编码器等创新技术，SANA在计算效率和图像质量上远超现有模型，适用于云设备和边缘设备。

SANA的核心技术创新

SANA采用深度压缩自动编码器（AE-F32）实现32倍压缩，显著减少计算量。引入线性DiT替代传统自注意力机制，降低计算复杂度至O(N)，并使用Mix-FFN模块增强局部信息捕捉能力。此外，SANA还创新性地去除了位置嵌入，并利用Triton加速技术进一步提升训练和推理速度。

SANA的文本编码器优化

SANA选择Gemma作为文本编码器，因其具备更强的文本理解和推理能力。通过提取Gemma-2最后一层特征并添加归一化层，解决了直接使用LLM带来的训练不稳定性问题。同时，设计复杂人类指令（CHI）以提高图像-文本对齐能力。

SANA的高效训练策略

SANA采用多标题自动标注管道和基于CLIP分数的标题采样器，确保高质量文本标注。通过级联分辨率训练方法，跳过256px预训练，直接从512px开始，逐步微调至4K分辨率。此外，基于流的训练/推理策略进一步提高了收敛速度和性能。

SANA的实际应用与部署

SANA在设备端进行了优化，采用8位整数量化激活和权重，保留部分全精度层以最小化运行时开销。在RTX-4090 GPU上测试，生成1024px图像时实现了2.4倍加速，保持了几乎无损的图像质量。SANA不仅在性能上表现出色，在实际应用中的可操作性和效率也得到了极大提升。