AI生成艺术级的3D网格 SOTA框架介绍,百度生图模型ERNIE-Image介绍,字节OmniShow带货视频方法
近期AI领域在3D生成、文生图及视频生成方向均有重要技术更新。本文将分别介绍香港大学提出的3D网格生成SOTA框架SATO、百度开源的文生图模型ERNIE-Image,以及字节跳动研发的人机交互视频生成方法OmniShow,涵盖核心原理、模型架构及实测表现。
01SATO:艺术级3D网格生成SOTA框架
SATO(Strips as Tokens)框架由香港大学等机构联合提出,旨在解决自回归3D网格生成中难以兼顾高质量拓扑结构、多种网格类型以及UV分割的难题。该成果已被SIGGRAPH 2024接收。
- 条带式序列化核心
SATO的核心在于其条带式序列化方法,即将网格转化为一条连贯的顶点链。这种方法受三角条带启发,通过构建连续面链,显式编码UV边界,自然保留了艺术家创建网格的有序边缘流和语义布局。 - 统一表示与解码
在解码阶段,同一3D模型和Token序列可以任意切换成三边面或四边面输出。这种统一的表示形式允许联合训练:大规模三角数据提供基础结构先验,而高质量四边数据则增强输出的几何规律性。 - 原生UV分割
该框架能够在自回归生成过程中自动分割UV图表,无需依赖破坏连续边缘流的补丁式启发式策略,从而满足专业建模的生产应用要求。
02百度ERNIE-Image:开源生图模型解析
百度正式开源了其生图模型ERNIE-Image,在开源领域榜单中表现优异,被视为Zimage或Klein等模型的潜在竞争对手。
| 评估维度 | ERNIE-Image表现 |
|---|---|
| 开源排名 | 进入开源前三 |
| 总显存占用 | 约32GB |
| 模型基座 | 混元2.1 |
| VAE组件 | Flux |
| Text Encoder | Mistral 3 (约9B参数) |
| 其他组件 | PE (Ministral 3) |
ERNIE-Image模型架构概览
在官方Demo的实测测试中,模型具备自动扩写提示词的功能。以“宇航员”场景为例,模型生成的画面细节丰富,但在光影处理上存在特定倾向。
- 场景一:月球漫步
提示词为“月球天空看到月球”。模型虽生成了具有电影感的画面,但因未呈现月球、未佩戴头盔及表现风动效果,被判定为逻辑减分。光影方向勉强合格,但面部光影处理过猛。 - 场景二:火星登陆
将场景改为火星后,得益于提示词扩写带来的内容充实,出图质量整体提升。画面色调以深红、岩石和锈色为主,营造出荒凉的地表质感。然而,面部光感依然存在用力过猛的问题,数据集特调方面与Zimage相比仍有差异。
03字节OmniShow:人机交互视频生成
OmniShow是字节跳动提出的统一人机交互视频生成多模态条件方法,其核心应用场景是“帮你带货”。
OmniShow 技术特性
技术优势
生成高保真外观与自然交互
- Reference-to-Video Generation (R2V):通过注入参考图像,实现高保真外观生成。
- 相比HunyuanCustom、HuMo-17B、VACE和Phantom-14B等方法,OmniShow在物体交互的自然度和细节还原上表现更优。
开源状态
代码审查中,开源存疑
- 目前代码正在接受内部审查。
- 能否最终开源尚存不确定性,需等待进一步确认。
当前文章无评论,是时候发表评论了