看了几个NVIDIA AI Demo：与NPC自然对话，大模型加速，RTX GPU无所不能

AI应用无疑已经成为当下最热门的话题，动辄数百元的在线AI服务对隐私和成本似乎都没有那么友好。有没有一些利用现有资源，不花钱就能免费获得的功能？NVIDIA的回答是，还真有，只要你有GeForce RTX 30或者GeForce RTX 40系列GPU就行。

就在近期进行，我们有幸参加了NVIDIA RTX for AI技术品鉴会上，除了展示CES 2024期间上线的DEMO，更多生成式AI加速，中文化本地AI应用部署也已经成为可能，原来我们手中的GeForce RTX GPU，还可以做到这些功能。

AIGC创作：更快更智能

AI生成式创作首先少不了Stable Diffusion应用。作为当下最主流的图生图、文生图应用之一，GeForce RTX GPU从Stable Diffusion 1.0版本到最新的SDXL，都给做了最充足的适配，每一款GPU在加速计算之前，都可以进行针对性的优化，确保Stable Diffusion可以充分的利用CUDA Core、Tensor Core以及显存资源。

以现场展示DEMO的GeForce RTX 4090 D为例，一张高清分辨率文生图流程，历经图片生成、分辨率提升过程，凭借着24GB GDDR6X超大显存以及AD102核心，一张图片生成的时间仅需要几秒钟，这是再快的CPU也无法比拟的。

在现场NVIDIA使用了Stable Diffusion XL作为案例，通过TensorRT加速，可以让Stable Diffusion XL在RTX GPU上获得更快的加速效果，将RTX GPU性能提升2倍以上。TensorRT本来是应用在数据中心的技术，通过对Stable Diffusion的U-Net模型的加速矩阵乘法累加运算，从而达到图像快速生成的效果。现在这项技术已经可以在RTX GPU上使用，意味着每一台拥有RTX GPU的PC也已经可以轻松通过TensorRT实现更快的加速效果。

现场演示的青龙生成，几乎是在一瞬间完成了图像生成和分辨率提升的，这样效率对于熟练的Stable Diffusion用户而言非常友好。利用RTX GPU的高新更表现，设置连续生成数十张AIGC内容，在相同风格和思路下寻找更多的可能性。

当然这还远远不够，利用PC的摄像头现场抓去照片，通过需求识别出图片中的人物轮廓或者景深，再让Stable Diffusion在极短的时间内生成数张不同风格的图生图内容。

凭借着Stable Diffusion开源的优越性，Stable Diffusion也衍生出了诸如ComfyUI的扩展应用。同样是基于Stable Diffusion，但每一个关键词设置更为直观，并且依附于RTX GPU在后台的快速运算。每一次关键词的修改，图片都会在一瞬间生成，完全没有任何等待的时间，这是非常夸张的。

NVIDIA ACE：给NPC人设，AI来演

在CES 2024上亮相的NVIDIA ACE (Avatar Cloud Engine)也同样出现在了NVIDIA RTX for AI品鉴会现场，所不同的是，在相隔2个月后NVIDIA ACE再度获得了升级，现在不仅可以听得懂英文和日语，中文对话和发音也可以实现了。

NVIDIA ACE具体来说是一款借助生成式AI为NPC创作更多交互可能性的技术，现场这项名为NVIDIA Kairos ACE demo融合了NVIDIA与Convai合作的自动语音识别技术ACE Production Microservices，通过话筒进行自然语音对话，就可以从NPC身上获取信息和物品，这是以前游戏中都不敢想象的。

NVIDIA ACE厉害的重点在于自然，无论你对NPC说什么内容，NVIDIA ACE都会让NPC依照预定人设对你说的话进行回答，哪怕你的提问不着边际，NPC也能具备高情商的ChatGPT一样，可以顾及游戏剧情需要和你的感受。更确切的说，NVIDIA ACE让NPC看起来真的像现实世界中由真人在剧本杀中扮演的NPC，相当带劲。

比如你对着餐厅店长说饿了，有什么可以吃的。店长会向你推荐拉面，如果你认可，对方就会走到后厨为你准备饮料、拉面。甚至，如果你觉得店内的氛围不够，还可以让店长把店铺的灯光再关掉一些，店长会不耐烦的絮絮叨叨，但还是按照玩家的要求去后台关灯。

整个过程NVIDIA ACE对中文语境的理解已经可以对答如流，虽然中文语音发音仍然是基于英语语境，但已经像模像样。要知道这DEMO仍然属于最初的测试阶段，如果往后继续升级，相信还会有更好的表现。如果真的能应用在游戏中，以后开放世界的NPC，真的不再是简单几句台词和在街上无所事事行走那么简单了。

Chat with RTX：私人助理唾手可得

Chat with RTX是NVIDIA在近期发布，类似于本地离线运行的ChatGPT助手。它的特点就是利用GPU加速实现完全的本地运行，做到信息与隐私的安全。当然，如果有必要，也可以用Chat with RTX实现一些联网操作，从而形成一套本地+在线的混合大模型加速的应用。

Chat with RTX中的模型并非来自NVIDIA，而是来自GitHub等开源的大模型，比如来自Meta的Llama 2。Chat with RTX更像是一个大模型打包集合Demo，为用户本地AI智能助手应用展示更多可能性。

其中一个最大特点就是信息整理。比如整理上市公司财报，数百页的财报内容可以直接放入Chat with RTX中，Chat with RTX在瞬间就可以对财报完成理解，并回答任何你对财报的疑问，以及提供信息来源，具体到哪个报表，哪一页内容。

同样的，你也可以将网络上整理到的旅游信息扔进Chat with RTX，让它帮你做一个目的地的旅游规划。只要是你想整理的信息，只要提供对应的内容，Chat with RTX就能在一瞬间帮你解决信息整理的过程，非常方便。

有意思的是，信息来源可以是网页、PDF或者DOCX文档，大多数的文字内容格式，Chat with RTX似乎都可以提供很好的兼容性。当然，与ChatGPT一样，资料的真实性Chat with RTX是不能判断的。

还有一招：NVIDIA App

所有NVIDIA GeForce用户在安装驱动的时候都可能遇到过选择困难症，默认的NVIDIA控制面板UI设计已经有差不多20年历史，与现在主流审美不符。但GeForce Experience的设置功能没有NVIDIA控制面板那么全面。现在NVIDIA终于迈出了那关键一步，就是将NVIDIA控制面板和GeForce Experience融合在一起，变成NVIDIA App。

类似于蓝厂和红厂只有一套驱动设置界面，现在前往GeForce Experience下载页面，就已经能够看到NVIDIA App测试版的下载链接。不过这项工作不会一蹴而就，在未来一段时间，新版和旧版还会共存，直至NVIDIA App已经能够同时胜任NVIDIA控制面板和GeForce Experience的功能，最终将两者代替。

这意味着未来只需要安装一套NVIDIA App，就能同时获得完整的NVIDIA控制面板设置，以及GeForce Experience带来的游戏增强体验。

在现场演示的天选笔记本上，我们可以看到NVIDIA App已经可以很好的运行，如果你有兴趣，也可以前往NVIDIA官网下载这套应用，看看是不是你喜欢的菜。

最后：游戏与AI进阶时

再过一周左右时间，GDC和GTC的召开意味着GPU、显示技术、AI都会再度向上进阶一级。这次NVIDIA RTX for AI技术品鉴会展示的DEMO也不过是NVIDIA向应用层面加速AI推广的冰山一角，很快我们就会看到NVIDIA ACE、AIGC等技术还会在短时间内发生质变升级，并很快投入到真正的游戏和应用中。