一张图变3D,本地19秒出结果:Idol够快,但那半个背面是猜的

源自245位全网作者

13:36

拍一张物体的正面照,等几十秒,拖一下鼠标,模型在屏幕里转了起来——背面也在。

最近本地图生3D的圈子里多了一个新名字:Idol。Sperid Labs 在 10 月底开源,Apache-2.0。小红书

给它一张物体图,输出一个能拖着转的 3D 高斯点云。官方标的峰值显存 7.2GB,8G 显卡就能跑。核心生成部分 0.66B 参数,算上图像编码器和 VAE,完整链路约 1.8B。小红书

一张图变3D,本地19秒出结果:Idol够快,但那半个背面是猜的

速度得看卡,不是看宣传语。官方说能跑到 2 秒以内,但没讲配置。知乎

同样的 262,144 个高斯点、50 步,RTX 4090 要 19.1 秒,RTX 3080 要 46.2 秒,这是 8 张图的中位耗时。小红书微博

点数最高能到 1,048,576,边缘更细,文件也更大。8G 卡跑 7.2GB 的峰值,余量不到 1G,跑的时候别同时开着游戏和浏览器。小红书

真正决定它能不能用的,是背面。

一张正面照只提供了一个方向的信息,剩下的侧面和背面,靠的是模型学到的三维先验:对称、类别常识、轮廓约束。知乎

瓶子、杯子、球这类左右对称的东西,猜出来几乎能以假乱真;人形角色、载具、带背面结构的家具和机械道具,就容易“看着对、结构错”。最典型的翻车是转过去背面糊成一片,或者肩后多出一块说不清的结构。

这不是模型坏了。是信息本来就不在。

一张图变3D,本地19秒出结果:Idol够快,但那半个背面是猜的

还有个容易忽略的点:它输出的是高斯点云,不是网格。标准 3DGS 的 .ply 文件,用常见查看器打开就能拖着看,能当参考,但没有碰撞体,不保证水密,官方也没承诺尺寸准确或能直接 3D 打印。小红书知乎

要进 Blender、游戏引擎或者绑定,还得再转一道网格。输入时也要选对模式,实拍照片用 real,渲染图和 AI 生成图用 synthetic,裁剪留边不一样。小红书

想自己在本地跑,门槛不算高但也不是解压即用:Python 3.10 以上、PyTorch 2.5 以上、NVIDIA 显卡和 CUDA。

两个编码器要先去 Hugging Face 同意条款,登录后再下载。ComfyUI 那边已经有现成的模型和社区节点。小红书知乎

一张图变3D,本地19秒出结果:Idol够快,但那半个背面是猜的

我的判断是,把它当“立体照片”最合适。做素材预览、视频道具参考、电商页面里转一圈看个大概,它省下的时间很实在。要拿去 3D 打印、绑骨做动画、或者当仿真资产,就得老老实实补拍多视角,或者接受后期手修。

它省掉的是起形,不是判断。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章