张大妈

GENMO 加 GVHMR ai模型已经部署到云算力平台方便使用 文生动作和视频生成动作 并附上操作流程

源自UP主:UE安卓大佬

02-06 01:43

探索AI生成3D动作的完整流程,利用GENMO与GVHMR模型,即可通过文本或视频快速创建动画。本文详述了从云端部署到Blender内应用的每一步,为动画创作提供了新思路,尽管手部捕捉尚待完善。

GENMO 加 GVHMR ai模型已经部署到云算力平台方便使用 文生动作和视频生成动作 并附上操作流程智能速览

  • GENMO与GVHMR模型已部署至云算力平台,可供使用。

  • 支持通过文本描述或上传视频两种方式生成3D动作。

  • 生成动作可导出为NPZ文件,并通过插件导入Blender。

  • 当前模型存在缺陷,无法精确捕捉手部动作。

  • 在Blender中需对动作进行旋转矫正,并烘焙NLA片段后导出。

GENMO 加 GVHMR ai模型已经部署到云算力平台方便使用 文生动作和视频生成动作 并附上操作流程精华内容

通过AI生成3D动作,正从概念走向实践。以下将逐步拆解如何利用云平台的GENMO和GVHMR模型,将创意文本或参考视频转化为可用的动画序列,并导入专业软件进行二次创作。

云端平台接入

首先需要通过文件传输工具连接至云算力平台。在主机地址栏填入SFTP协议开头,并复制粘贴对应的SSH主机码、用户名、密码和端口信息,完成快速连接。连接成功后,右侧会显示用于存放视频文件的路径。

为确保操作界面可用,需先点击启动JupyterLab。等待其后台服务完全启动后,再返回操作UI界面点击刷新,此时GENMO/GVHMR动作生成控制台便会加载完成,可以进行下一步操作。

动作生成与下载

平台提供两种动作生成方式:文本生成和视频生成。文本生成时,建议输入英文描述以获得更佳效果,例如“Climbing stairs alone”。点击创建任务后,系统会开始处理。

若选择视频生成,则需将视频文件直接拖拽到平台指定的文件夹中,传输完毕后点击刷新列表以查看文件。之后点击开始提取,等待处理完成。无论哪种方式,生成的动作都需要点击“转为NPZ”进行格式转换,随后通过“资源下载”获取NPZ文件,以便在Blender中使用。

Blender内导入调整

在Blender中,需要先安装平台提供的Python插件。之后,导入一个FBX骨骼网格体作为基础。在右侧工具栏勾选插件功能,左下角切换到动画摄影表和动作编辑器。

选中骨骼后,通过插件功能导入之前下载的NPZ动作文件。导入后,动画序列的指针默认在0帧,人物模型可能出现倒置等情况。此时需要点击“旋转矫正”功能,对动作姿态进行调整,使其恢复正常。实际测试显示,生成的大幅度动作效果很好,但手部细节动作未被捕捉。

动画导出与验证

动作调整完毕后,准备导出。在左下角选择“非线性动画”(NLA),此时编辑器中会出现NLA动作片段。导出前,务必同时选中人物模型和骨骼。

在导出FBX的选项中,需勾选“选定物体”“骨骼”“网格”,并且关键的是在下方勾选“烘焙动画”和“NLA片段”选项。导出后,可以新建一个空白场景,导入刚刚生成的FBX动作文件进行最终测试。验证结果显示,整体动画流程完整,效果符合预期。

这套AI动作生成方案为3D动画师提供了高效的生产力工具,大幅降低了动作制作的门槛。虽然手部捕捉的缺失是个遗憾,但其整体的便捷性和实用性已初显威力。随着模型的迭代,未来能否实现全身精细动作的生成,值得期待。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章