AI生成吉普力风格化纹理
在利用AI生成PBR(基于物理的渲染)纹理的实践中,通过深度图预测法线贴图是当前的核心技术路径之一。这一过程涉及多个模型的协同工作与逻辑转换,从原图生成到法线重建,再到风格化处理,形成了一套完整的生成工作流。以下将详细拆解该流程的核心逻辑、模型对比及具体实现步骤。
01核心逻辑:深度预测法线
生成PBR纹理的关键在于从平面图像中重建几何信息。目前的通用逻辑是利用模型对原图进行深度预测,随后基于深度数据推算出法线贴图。为了验证纹理在不同光照环境下的表现,工作流中引入了HP节点的光照模型,并在Torch框架中集成了GGX模型,以模拟真实的光照物理特性。
02模型对比:DepthAnything V3 vs Chord
在深度预测与法线重建环节,对比测试了字节的DepthAnything V3与育碧的Chord模型。两者在逻辑上均遵循“原图预测深度→深度推法线”的路径,但在具体表现上存在差异。
| 对比维度 | DepthAnything V3 (字节) | Chord (育碧) |
|---|---|---|
| 法线来源 | 从深度图重建法线 | 直接预测法线 |
| 视觉效果 | 捕捉不同深度差异下的变化率 | 效果接近Shader生成的法线 |
| 光照适应性 | 表现较好 | 在捕捉深度变化率方面较弱 |
两种模型在法线重建与光照表现上的差异
测试结果显示,育碧Chord模型生成的法线与Shader生成的效果相似,但在捕捉不同深度差异下的变化率方面表现不足,而DepthAnything V3则能较好地保留深度变化的细节。结合两者优势尝试混合使用,可能获得更优效果。
03工作流拆解与模型应用
- 原图生成
使用阿里的ZImage Turbo模型生成基础图像。该模型实测非常适合生成真实纹理,且支持中文提示词输入,因其编码器基于千问(Qwen)。 - 风格化转换
使用蒸馏版Flux Klein 9B模型进行风格化处理。该模型同样采用千问文本编码器,支持图像编码到注意力层。在不使用LoRA的情况下,也能生成高质量的风格化纹理。 - PBR纹理生成
最后将处理后的图像输入前述的深度预测与法线重建流程,生成最终的PBR纹理。后续将重点解决粗糙度与金属度贴图的生成问题。
当前文章无评论,是时候发表评论了