NVIDIA在科隆游戏展推出的DLSS 3.5，厉害在什么地方？

在过去五年中，NVIDIA DLSS已经历经了数个重要版本更新，从DLSS1协助提升光追性能，到DLSS 2引入新的神经网络模型，DLSS 2.3改进运动细节表现，DLSS 3将帧生成、Reflex等多项技术进行整合。就算是在上周进行的《黑神话：悟空》的千人试玩活动中，“大力水手”DLSS也早已成为游戏讨论之余无法绕过的话题。

但NVIDIA没有满足于此，在正在进行的科隆游戏展2023上，NVIDIA正式公布了全新的DLSS 3.5技术，目标是将实时光线追踪技术提升到全景光线追踪级别，也就是我们常说的路径追踪。

在DLSS 3.5中，光线追踪将会获得光线重建加速，利用全新的AI模型，实现游戏中的密集光追和应用中创建更高质量光线追踪图像效果。而NVIDIA也在DLSS 3.5发布的同时，确认了如下游戏对新技术的支持，其中包括：

《心灵杀手 2》(Alan Wake 2)将于10月27日发布，支持 DLSS 3.5、全景光线追踪和Reflex；
《赛博朋克 2077》(Cyberpunk 2077)和《赛博朋克2077：往日之影》(Cyberpunk 2077: Phantom Liberty)将于今年9月发布，支持DLSS 3.5、全景光线追踪和Reflex；
《传送门》RTX版 (Portal with RTX) 将于今年秋季支持 DLSS 3.5；
《心灵杀手 2》(Alan Wake 2)、《赛博朋克 2077：往日之影》 (Cyberpunk 2077: Phantom Liberty)将在GeForce Now上同步发布，同一天，DLSS 3.5也将登陆GeForce NOW。

在专业专业软件领域，D5渲染器和NVIDIA Omniverse也都会在今年秋季率先对DLSS 3.5提供支持。

在上周的媒体沟通会中，NVIDIA已经大方展示了即将上线的DLSS 3.5带来的光线追踪效果，在维持高帧率的同时，还能获得更为清晰、准确的画面。特别是对于GeForce RTX 40系列的用户而言，光线重建与帧生成结合，能够获得新游戏的最佳体验。同时，GeForce RTX 20和GeForce RTX 30系列用户，则可以通过光线重建与超分辨率、DLAA同时开启，以获得不错的效果。

那么DLSS 3.5是如何实现的？

让我们先来简单复习一下光线追踪是如何工作的。在游戏引擎生成场景的几何图形、材质中，其实都包含有物理属性，这些物理属性会影响到场景中的物品外观、光线之间的交互方式。依靠游戏视角发射的采样光线，最终确定场景中的光源属性、射线、材质反应，以生成反射、漫反射、折射等多种效果。最简单的例子，就是在游戏中用光照镜子生成的反射射线。

在这个过程中，如果对屏幕中每个像素发射光线计算都提出很高的要求，那么一帧游戏画面很可能需要几分钟甚至数小时来运行，这样游戏是没法玩的。现在常规的光线追踪做法就是通过光线采样，在各个场景中采集少量的光线，作为场景照明、反射率、阴影表现的样本。

由于采样率不多，画面中的光线表达不准确、噪点、离奇光线实际上是无法避免的。因此在完成一帧游戏画面渲染之后，还需要额外的进行降噪计算来弥补光线追踪采样率过少所带来的画质损失。

因此降噪在光线追踪技术中成为了不可或缺的一部分。通常而言，降噪器会采用两种不同的方式实现降噪。一种是通过多帧累计像素，另一种则是提供空间插值并与相邻的像素混合在一起，以实现最终的画面效果。这两个方式均属于人工调整的降噪器范围。

降噪器的干预下，光线追踪画面确实有了质的提升，但也增加了开发成本和复杂程度。比如，当你想获得一个质量更高的画面时，多个降噪器同时工作将意味着拉低实际运行游戏时的帧率。因为每个降噪器都需要累积多帧以增加细节，从根本上而言，这样的方式仍然难以消除鬼影、动态效果不准确的情况。

而我们知道DLSS本质的过程是让GPU渲染相对低分辨率的画面，并通过AI的手段获得与目标分辨率近乎相同的画质。当光线追踪照明管线在DLSS中被放大之后，也意味着原本的瑕疵也会跟着被放大，前面提到基于人工调整的降噪器局限性在这里被进一步拉大。

DLSS 3.5：用AI代替人工

正如开头所言，最新版本的DLSS 3.5引入一套名为光线重建技术，将AI驱动的神经渲染器变成GeForce RTX GPU光追中的一部分，原本人工调整的降噪器被替换成AI网络实现，也就是由GPU接手游戏制作过程中，本应该是创作人员手动添加的那一部分。

从数据量上来看，DLSS 3.5训练数据是DLSS 3的5倍，可以识别出不同的光线追踪效果，并通过时间、空间数据做出更明智的决策，通过保留高频信息实现高质量的光线追踪图像升级。

而与前辈们一样，光线重建也是一项离线图像训练技术，它可以从训练数据中识别光照模式，包括全局光照、环境光遮蔽等情况，前面提到的全景光线追踪实现起来也变得更为轻松。

例如在《传送门RTX》中，如果关闭DLSS，降噪器是难以处理空间插值的，进而无法混合足够的像素，导致最终画面产生大量不准确光线造成的斑点。而在DLSS 3.5中，则可以直接识别与反射相关的特定模式，时刻保持图像稳定，实现混合相邻像素之间的高质量光照反射效果。

同样在《赛博朋克2077》中，可以看到车灯的照射方向由于人工调整降噪器的采样不准确，表现效果与实际情况是相违背的。而在DLSS 3.5中，能够很好的解决这一点。

同样的效果在广告牌、霓虹灯反射的积水路面上，也有了更清晰的效果。

在专业应用领域，DLSS 3.5也可以提供很好的效果。比如在预览内容时，借助AI神经网络对场景识别，可以避免数个小时的最终渲染，就能获得非常直观的效果。其中D5渲染器宣布将会在今年秋季开始支持DLSS 3.5。

光线重建（RR）与DLSS生成帧（FG）技术搭配，便成了DLSS 3.5质变的原因，根据NVIDIA演示，结合了超级分辨率（SG）、光线重建（RR）与DLSS生成帧（FG）之后，相对于原生的4K游戏华民，《赛博朋克2077》表现可以提升5倍，并且光影效果也有了质的改变。

可以这么理解，原本需要创作人员手动添加的多重降噪器以后会被一套光线重建神经网络取代，在性能成本损失代价较少的前提下，提升光线追踪质量、帧率，从而获得更好的游戏画面体验。当然，前提是你需要GeForce RTX 40系列以后的GPU，对DLSS 3.5提供完整支持。RTX 20和30系列需要依靠光线重建、超分辨率、DLAA同时开启来实现部分效果。