AI加持的惠民技术！NVIDIA VSR（视频超分辨率）详解

日前英伟达的官方博客放出了VSR技术（视频超分辨率）的介绍，揭示了这个AI加持的惠民技术的一些细节。

如今近 80% 的互联网带宽是流媒体视频。其中 90% 的内容以 1080p 或更低的分辨率流式传输（其实很容易理解，网络带宽都是钱，每年都要花掉这些平台几十亿的费用），包括来自 Twitch.tv、YouTube、Netflix、Disney+ 和 Hulu 等热门来源的内容，国内则是B站和优酷等等。

RTX 视频超分辨率的工作原理

借助 RTX VSR，GeForce RTX 40 和 30 系列 GPU 用户可以利用 AI 将低分辨率内容升级至 4K，以匹配其显示分辨率。RTX VSR 是 AI 像素处理领域的一项突破，可在边缘检测和特征锐化之外显着提高流媒体视频内容的质量。

块状压缩伪影是流媒体视频中的一个长期存在的问题。无论是服务器、客户端还是内容本身的故障，问题往往会随着传统的升级而被放大，给观看流媒体内容的人留下不太愉快的视觉体验。

RTX VSR 减少或消除由压缩视频引起的伪影——例如块效应、边缘周围的振铃伪影、高频细节的冲刷和平坦区域的条带——同时减少丢失的纹理。它还可以锐化边缘和细节。

该技术使用深度学习网络，可在单次通过中执行放大和压缩伪影减少。网络分析较低分辨率的视频帧并预测目标分辨率下的残差图像。然后将此残差图像叠加在传统的放大图像之上，校正伪影错误并锐化边缘以匹配输出分辨率。

VSR本质上是一个AI推理的过程

深度学习网络在具有各种压缩级别的广泛内容上进行训练。它了解低分辨率或低质量视频中存在的压缩伪影类型，这些压缩伪影在未压缩图像中不存在，作为网络训练的参考。采用广泛的视觉评估以确保生成的模型对几乎所有现实世界和游戏内容都有效。（这个模型由NVIDIA本身维护，训练的原理和DLSS相似，都是基于NGX）

如何开启

RTX VSR 需要 GeForce RTX 40 或 30 系列 GPU，并且可以处理几乎所有在 Google Chrome 和 Microsoft Edge 中流式传输的内容。

该功能还需要更新到今天可用的最新GeForce Game Ready 驱动程序，或 3 月份发布的下一个NVIDIA Studio 驱动程序。Chrome（版本 110.0.5481.105 或更高版本）和 Edge（版本 110.0.1587.56）最近都已更新以支持 RTX VSR。

1.Edge(CAN版本）在地址栏edge://flags/#edge-video-super-resolution进行开启，
2.Chrome可以右键加入启动参数--enable-features=IntelVpSuperResolution进行开启。

驱动面板可以已经可以打开，我这张是RTX3050

要启用它，请启动 NVIDIA 控制面板并打开“调整视频图像设置”。选中“RTX 视频增强”下的超分辨率框，然后从 1 到 4 中选择一个质量——从对 GPU 性能的最低影响到最高级别的升级改进。

根据一些网友的测试，VSR大概会增加1GB显存的消耗。

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～