探索AI生成3D动作的完整流程,利用GENMO与GVHMR模型,即可通过文本或视频快速创建动画。本文详述了从云端部署到Blender内应用的每一步,为动画创作提供了新思路,尽管手部捕捉尚待完善。
智能速览
GENMO与GVHMR模型已部署至云算力平台,可供使用。
支持通过文本描述或上传视频两种方式生成3D动作。
生成动作可导出为NPZ文件,并通过插件导入Blender。
当前模型存在缺陷,无法精确捕捉手部动作。
在Blender中需对动作进行旋转矫正,并烘焙NLA片段后导出。
精华内容
通过AI生成3D动作,正从概念走向实践。以下将逐步拆解如何利用云平台的GENMO和GVHMR模型,将创意文本或参考视频转化为可用的动画序列,并导入专业软件进行二次创作。
云端平台接入
首先需要通过文件传输工具连接至云算力平台。在主机地址栏填入SFTP协议开头,并复制粘贴对应的SSH主机码、用户名、密码和端口信息,完成快速连接。连接成功后,右侧会显示用于存放视频文件的路径。
为确保操作界面可用,需先点击启动JupyterLab。等待其后台服务完全启动后,再返回操作UI界面点击刷新,此时GENMO/GVHMR动作生成控制台便会加载完成,可以进行下一步操作。
动作生成与下载
平台提供两种动作生成方式:文本生成和视频生成。文本生成时,建议输入英文描述以获得更佳效果,例如“Climbing stairs alone”。点击创建任务后,系统会开始处理。
若选择视频生成,则需将视频文件直接拖拽到平台指定的文件夹中,传输完毕后点击刷新列表以查看文件。之后点击开始提取,等待处理完成。无论哪种方式,生成的动作都需要点击“转为NPZ”进行格式转换,随后通过“资源下载”获取NPZ文件,以便在Blender中使用。
Blender内导入调整
在Blender中,需要先安装平台提供的Python插件。之后,导入一个FBX骨骼网格体作为基础。在右侧工具栏勾选插件功能,左下角切换到动画摄影表和动作编辑器。
选中骨骼后,通过插件功能导入之前下载的NPZ动作文件。导入后,动画序列的指针默认在0帧,人物模型可能出现倒置等情况。此时需要点击“旋转矫正”功能,对动作姿态进行调整,使其恢复正常。实际测试显示,生成的大幅度动作效果很好,但手部细节动作未被捕捉。
动画导出与验证
动作调整完毕后,准备导出。在左下角选择“非线性动画”(NLA),此时编辑器中会出现NLA动作片段。导出前,务必同时选中人物模型和骨骼。
在导出FBX的选项中,需勾选“选定物体”“骨骼”“网格”,并且关键的是在下方勾选“烘焙动画”和“NLA片段”选项。导出后,可以新建一个空白场景,导入刚刚生成的FBX动作文件进行最终测试。验证结果显示,整体动画流程完整,效果符合预期。
这套AI动作生成方案为3D动画师提供了高效的生产力工具,大幅降低了动作制作的门槛。虽然手部捕捉的缺失是个遗憾,但其整体的便捷性和实用性已初显威力。随着模型的迭代,未来能否实现全身精细动作的生成,值得期待。