FFmpeg 新增硬件插帧！N 卡免费把 30 帧视频拉到 60 帧

8 月 29 日，FFmpeg 开发主线正式合并 fruc_vulkan 滤镜，RTX30、40、50 系列显卡可以直接调用硬件光流单元给本地视频做插帧，30 帧素材直接提升到 60 帧，这项能力完全免费，用的就是显卡本身自带的硬件单元。

这个滤镜全名是光流加速插值滤镜，已经并入 FFmpeg 的 master 开发主线，未来新版本会直接内置。

想要正常启用有两个硬性条件，显卡驱动需要支持 VK_NV_optical_flow 这套 Vulkan 扩展，同时硬件要支持双向光流。这里要注意，现在大家普遍在用的 FFmpeg 9.0.1 稳定版，分支早在这次合并之前就已经切出，稳定版本里找不到这个滤镜，只能等待后续正式版本更新。

它的工作原理，是把视频相邻两帧交给显卡光流硬件，分别计算正向、反向光流场，识别画面里物体移动方向与位移，再按照目标时间点合成运动补偿中间帧。

30 帧视频生成 30 张插值帧之后，输出就变成 60 帧。这种中间帧属于算法计算生成，并不是摄像机真实拍摄出来的画面，遇到快速运动、物体遮挡的场景，画面效果好坏，还得靠实际测试才能判断。

其实早在 2023 年，就已经有开发者提交过同类补丁，不过当时依赖英伟达专有运行库，开源许可不达标，补丁一直没能合入主线。这一次改用驱动自带的 Vulkan 光流扩展，不需要引入任何私有闭源库，才顺利完成合并。这套 Vulkan 扩展属于英伟达专属功能，AMD、Intel 显卡暂时无法使用。

有意思的是，RTX20 显卡芯片本身就搭载独立光流加速器，运算时不占用 CUDA 核心，平时大多处于闲置状态，却不在支持列表当中。

问题不在于硬件本身，而是接口限制，英伟达直到 2023 年才开放 Vulkan 光流接口，最低支持安培架构，图灵架构的 20 系不在开放范围内。fruc_vulkan 只走 Vulkan 这条通道，硬件具备能力但是接口不开放，就无法启用。RTX20 用户想要给老视频补帧，只能继续使用 RIFE、SVP 这类软件方案，目前也没有消息显示官方会向下兼容。

上手使用之前，还有两个关键参数需要调整。perf 性能档位分为 slow、medium、fast 三档，默认是画质最好但是速度最慢的 slow 模式，优先保证画面质量，追求速度可以手动切换档位。grid 网格参数控制光流向量的采样粒度，可选 1、2、4、8 像素，网格数值越大，运算量和显存占用越低，但运动细节会丢失，auto 选项会自动选用硬件支持的最细网格。输出帧率也可以自由配置，默认输出 60 帧，借助 fps 参数还可以设置倍率，24 帧电影直接两倍输出 48 帧，不用强行统一所有素材的输出帧率。

开发者提交记录里也给出参考，4K 24 帧素材开最高画质，没办法做到实时处理。手上有 4K 素材，要么降低画质档位，要么就要接受离线慢慢转码。不同档位之间速度差距、画质损耗，官方没有给出量化数据，需要大家结合自己显卡实测。

想要体验这个新滤镜，不能直接下载普通稳定版安装包，需要获取 FFmpeg 主线开发构建版本。Windows 平台可以下载第三方维护的 master 自动构建压缩包，解压之后把 bin 目录路径加到系统环境变量，打开命令行就可以直接调用。

Linux 用户可以下载对应静态构建包，或是直接拉取源码本地编译。运行前确认英伟达显卡驱动更新到较新版本，保证 Vulkan 光流扩展正常生效。

基础转码命令示例，输入源视频替换为自己的文件路径，即可完成硬件插帧输出：ffmpeg -init_hw_device vulkan=vk:0 -filter_hw_device vk -i input.mp4 -vf "format=yuv420p,hwupload,fruc_vulkan=fps=60,hwdownload,format=yuv420p" output.mp4

很多人手里存着演唱会录像、老番、手机拍摄的 30 帧视频，这个工具刚好派上用场。不过插值画面终究是算法生成，遇到高速运动画面，会出现伪影、画面撕裂的情况，不要指望所有视频都能得到完美效果。

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～