现在边缘端的NV显卡也能跑生成式AI

来自官网博客的报道，NVIDIA最近发布了Jetson Generative AI Lab，使开发者能够在实际环境中利用NVIDIA Jetson边缘设备探索生成式AI的无限可能性。与其他嵌入式平台不同，Jetson能够在本地运行大型语言模型（LLMs）、视觉转换器，并具备稳定的扩散能力。这包括在Jetson AGX Orin上以交互速度运行最大的Llama-2-70B模型。

Generative AI在边缘计算方面备受关注，尤其是以下几点：

1. LLMs： 能够进行类似人类对话的交互。

2. 视觉语言模型（VLMs）： 通过摄像头感知和理解现实世界。

3. 扩散模型： 能够将简单文本提示转换为引人注目的视觉作品。

然而，这些先进的AI模型通常依赖云计算和数据中心进行处理，而边缘应用则因需要高带宽低延迟数据处理而受到限制。现在，越来越多的人将LLMs和其他生成模型运行在本地环境中，而Jetson Generative AI Lab则为开发者提供了运行这些模型和应用的平台和教程。利用Jetson Generative AI Lab，开发者可以在Jetson设备上运行以下令人兴奋的生成式AI应用：

1. 稳定扩散Web界面： 提供用户友好的界面，可通过文本提示生成图像。

2. 文本生成Web界面： 提供与LLMs的互动对话，无需训练即可下载模型。

3. Llamaspeak： 通过NVIDIA Riva ASR/TTS实现与LLM的口头对话。

4. NanoOWL： 实时对象检测，可通过文本提示探测物体。

5. Segment Anything Model（SAM）： 精确定位和分割图像内的对象，无需训练。

6. Track Anything Model（TAM）： 追踪和分割视频帧中的对象。

7. NanoDB： 多模态代理架构，用于实时检索和交互处理数据。

所有这些应用都能在Jetson设备上运行，为生成式AI提供了无限可能性。Jetson Generative AI Lab提供了易于遵循的教程和预构建容器，方便开发者快速测试最新的AI模型和应用。不断涌现的LLMs和量化库的进展，使得NVIDIA意识到提供最新信息和高效工具的重要性。他们提供了易于使用的教程和预构建容器，允许开发者快速测试最新的AI模型、库和应用。通过jetson-containers项目，他们提供了用于Jetson设备的容器，无需配置底层工具和库，您就可以轻松测试最新的AI模型、库和应用。

以上所有应用和教程都能在Jetson设备上运行，让您探索生成式AI在实际环境中的无限可能性。如果您在Jetson上构建了自己的生成式AI应用，并有兴趣分享您的想法，请在Jetson项目论坛上展示您的作品。此外，他们还将于2023年11月7日举办网络研讨会，深入探讨本文中讨论的许多主题，并进行现场问答。

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～