H3本地2K解锁了:英伟达开源精修模型,细节真涨,脸也真会换

源自135位全网作者

08:28

8月MiniMax H3开源那会儿,本地用户其实只收到了其中一块:33B的H3-Base能跑,但原生画面短边停在768p。想要真2K,得走官方Regenerate-2K API——换句话说,得掏钱。这是H3社区被催更最狠的问题,一等就是近三个月。知乎知乎

H3本地2K解锁了:英伟达开源精修模型,细节真涨,脸也真会换

现在,英伟达把锁开了。

开源了什么

由英伟达与MIT研究人员组成的Efficient-Large-Model团队,日前在Hugging Face发布了Open-H3-Regenerate-2K的模型权重,推理代码放在NVlabs/Sana仓库开放,除了2560×1440的2K输出,最高还支持3840×2160的原生4K重生成。注意「重新生成」这四个字:它不是传统超分那种放大加锐化,而是拿着草稿当参考,把画面重新画一遍。官方给的参考任务,是把一张1344×768、121帧的H3草稿,经过潜空间放大和三步细化,输出为2K视频。演示也更直观:把高清片段降质再放大回原尺寸,丢掉的细节就是回不来。科创板日报微博Hugging Face知乎NVIDIA官方项目页

H3本地2K解锁了:英伟达开源精修模型,细节真涨,脸也真会换

上线次日,B站就出现了实测视频,播放量最高的一支已接近2万,标题直言「Minimax H3开源了2K版?是2K,但是。。」。社区手速也快,ComfyUI圈的老熟人Kijai随后提供了其中Refiner部分的ComfyUI格式LoRA,下载155MB的量化版塞进现有H3工作流就能用。想尝鲜的门槛,一下子降了下来。哔哩哔哩知乎

这次开源的家底也不薄:精修LoRA、3D latent放大器、快速VAE解码器,连运行和加速代码都给了。知乎

但先别急着喊真香

第一盆冷水是海外用户泼的。有人拿5090实测:默认参数下,一段768p草稿精修成2K要3分15秒,细节是猛,但视频里人物的脸和一只波士顿梗犬直接被「换头」;改成0.7噪声、只跑2步,2分28秒搞定,SSIM拉到0.83,人脸和狗都稳了,原版音频也完整保留。结论很直白:这是会「编细节」的重绘,参数决定它是补细节还是换脸。官方对比图里,草稿上手部的蜡感糊化,精修后重新长出了皮肤纹理和织物细节——前提是你调对了。微博

H3本地2K解锁了:英伟达开源精修模型,细节真涨,脸也真会换

H3本地2K解锁了:英伟达开源精修模型,细节真涨,脸也真会换

第二盆冷水是成本。国内AIGC博主Easy实测社区移植版:效果不错,但精修成本约为生成原片的3倍;参考信息没配好,补出来的细节就是幻觉。至于完整版,他直言硬件不够测不动。微博

还有个容易忽略的点:它是替代品,不是官方Regenerate-2K本尊,效果不会完全一致;而H3里负责提示词改写的Context-IR,至今仍没开源。知乎

谁值得上手

已经在本机跑H3-Base、苦768p久矣的朋友,值得试:从Kijai的LoRA版入手,降噪声、减步数,先拿短片段测稳再出成片。

只想把画面放大变清晰的,B站评论区有人指了条更实在的路:原片符合预期的话,Topaz这类传统超分体积更小,也够用。

还没部署过H3的,先解决「跑得动」的基本盘,别为一个模型急着装全套。

回头看,本地AI视频这块拼图今年是一块块补上的:8月H3-Base开源,10月社区方案把本地显存门槛压到了8GB。如今2K精修也开了源,对照下面这张H3完整架构图,还闭着的只剩提示词改写那一块——MiniMax打算锁到什么时候?微博

H3本地2K解锁了:英伟达开源精修模型,细节真涨,脸也真会换

内容由AI生成

精选参考来源

1. 【英伟达与MIT团队基于MiniMax H3发布开源视频增强方案】《科创板日报》30日讯,由英伟达与麻省理工学院研究人员组成的Efficient-Large-Model团队,在Hugging Face发布视频增强项目Open-H3-Regenerate-2K的模型权重,配套推理代码已在NVlabs/Sana仓库开放。该方案基于MiniMax H3,将低分辨率视频草稿重新生成为高分辨率视频,支持2560×1440的2K输出,最高可实现3840×2160的原生4K重生成。 (科创板日报记者 黄心怡)

2. 英伟达 开源 了Open-H3-Regenerate-2K!外网老哥用 5090 本地把 768P 的 MiniMax 视频拉到 2K(2560×1440)做了个对比: 事实证明千万别无脑信官方默认参数——默认跑完要 3 分 15 秒,细节虽猛但直接把美女的脸和波士顿梗犬给“换头”了;改成 0.7 噪声跑 2 步后,2 分 28 秒搞定,SSIM 飙到 0.83,人脸和狗子稳得一批,连原版音频都保留得干干净净。#Minimax##AI创造营##英伟达##ChatGPT被指致用户死亡# 赛博超频的微博视频

3. #Easy的AIGC学习笔记# Minimax H3 Step4 这种本地模型也能跑出不输 Seedance 的高清细节了?NVIDIA 刚开源了 Open-H3-Regenerate-2K,这个模型可以用来做低清模型的精修,替代 H3 官方的 Regenerate API。我们实测下该模型的 ComfyUI 社区移植版(完整版测试硬件不够),效果还不错,但真要用起来,得自己把参考问题搞定,不然补充的细节都是幻觉。另外测试下来精修的成本是我们生成 step4 视频的 3 倍 详细内容请看视频。 Easy的微博视频

4. 只要有8G显存加16G内存就可以跑Minimax M3 🥹。FreeVideo,让你在低至 8GB 显存的电脑上本地跑 MiniMax H3 做视频以前想跑 MiniMax H3,得依赖大显存卡或云端服务。FreeVideo 把本地推理引擎接进了 ComfyUI,通过调度显存、内存与磁盘,把门槛降到低至 8GB 显存和 16GB 内存。已经在用 ComfyUI 流程的创作者,在熟悉的画布里丢进一张首帧或写下一句提示词,就能直接让本机跑出视频,生成的片段拖回画布还能还原当时的提示词、种子与参数。🔗 链接:网页链接🌐 作品展示:网页链接💻 下载:网页链接📄 Video DeltaNet:网页链接Mac 还是实验预览。文档里 24GB 的 M5,10 秒 1344×768 大约要 42 分钟,更早的芯片更慢。

5. MiniMax H3 开源了,但是限制美欧英韩使用

6. MiniMax在Reddit上把H3的老底都掀了

7. MiniMax H3 本地部署保姆级教程:8G显存就能跑的开源视频模型

8. MiniMax-H3 视频变清晰!minimaxH3的视频高分辨率细化方案:英伟达团队开源Open-H3-Regenerate-2K,让视频生成直达2K!

9. Minimax H3开源了2K版?是2K,但是。。

10. Open-H3-Regenerate-2K(模型卡README)

11. Open-H3-Regenerate-2K: High-Resolution Video Refinement with Few-Step Diffusion

0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章