什么值得买App下载 App ›
连续签到专享现金活动

AI生成吉普力风格化纹理

在利用AI生成PBR(基于物理的渲染)纹理的实践中,通过深度图预测法线贴图是当前的核心技术路径之一。这一过程涉及多个模型的协同工作与逻辑转换,从原图生成到法线重建,再到风格化处理,形成了一套完整的生成工作流。以下将详细拆解该流程的核心逻辑、模型对比及具体实现步骤。
01核心逻辑:深度预测法线
生成PBR纹理的关键在于从平面图像中重建几何信息。目前的通用逻辑是利用模型对原图进行深度预测,随后基于深度数据推算出法线贴图。为了验证纹理在不同光照环境下的表现,工作流中引入了HP节点的光照模型,并在Torch框架中集成了GGX模型,以模拟真实的光照物理特性。
02模型对比:DepthAnything V3 vs Chord
在深度预测与法线重建环节,对比测试了字节的DepthAnything V3与育碧的Chord模型。两者在逻辑上均遵循“原图预测深度→深度推法线”的路径,但在具体表现上存在差异。
对比维度DepthAnything V3 (字节)Chord (育碧)
法线来源从深度图重建法线直接预测法线
视觉效果捕捉不同深度差异下的变化率效果接近Shader生成的法线
光照适应性表现较好在捕捉深度变化率方面较弱

两种模型在法线重建与光照表现上的差异

测试结果显示,育碧Chord模型生成的法线与Shader生成的效果相似,但在捕捉不同深度差异下的变化率方面表现不足,而DepthAnything V3则能较好地保留深度变化的细节。结合两者优势尝试混合使用,可能获得更优效果。
03工作流拆解与模型应用
  1. 原图生成
    使用阿里的ZImage Turbo模型生成基础图像。该模型实测非常适合生成真实纹理,且支持中文提示词输入,因其编码器基于千问(Qwen)。
  2. 风格化转换
    使用蒸馏版Flux Klein 9B模型进行风格化处理。该模型同样采用千问文本编码器,支持图像编码到注意力层。在不使用LoRA的情况下,也能生成高质量的风格化纹理。
  3. PBR纹理生成
    最后将处理后的图像输入前述的深度预测与法线重建流程,生成最终的PBR纹理。后续将重点解决粗糙度与金属度贴图的生成问题。

评论

评论区空态插画

当前文章无评论,是时候发表评论了