NVIDIA发布全新Omniverse工具，开启生成式AI在3D虚拟世界中的新时代

NVIDIA在2024年的SIGGRAPH大会上宣布了一系列基于USD（Universal Scene Description，通用场景描述）的生成式AI和NVIDIA加速开发工具，这些工具基于NVIDIA Omniverse平台。这些进展将扩展OpenUSD在机器人技术、工业设计和工程等领域的应用，使开发者能够快速构建高度精确的虚拟世界，以推动下一代AI的发展。

## OpenUSD与NVIDIA Omniverse的结合

OpenUSD是一个用于3D和仿真工作流程的开源框架和数据交换格式。其多功能性使开发者能够构建高度精确、AI驱动的虚拟世界以及实现这些世界的工具。

通过新的基于OpenUSD的生成式AI和NVIDIA加速开发工具，更多行业的开发者可以创建用于可视化工业设计和工程项目的应用程序，或用于模拟环境以构建下一代物理AI和机器人。新开发工具包括：

- NVIDIA NIM微服务和工作流程指南：用于OpenUSD语言、材料、空间智能和物理AI。

- OpenUSD Exchange SDK和USD连接器：支持包括机器人技术和工业仿真格式在内的行业特定数据。

- NVIDIA Omniverse Kit SDK和开发工具：用于从头开始构建和部署基于OpenUSD的应用程序。

## 将生成式AI引入OpenUSD工作流程

目前，生成式AI在文本和数字应用中相对容易实现，但要在3D场景中实现生成式AI，AI需要具备空间智能和物理智能。NVIDIA NIM USD微服务为OpenUSD语言、材料、空间智能和物理AI引入了生成式AI，使开发者能够将精细调整的生成式AI助手和代理集成到3D工作流程中，从而扩大USD在制造、汽车和机器人等新行业的应用。

### 可用的NIM微服务

1. USD Code NIM微服务：一个最先进的大语言模型（LLM），可以回答OpenUSD知识查询并生成USD-Python代码。

2. USD Search NIM微服务：使用文本或图像输入进行OpenUSD数据、3D模型、图像和资产的AI驱动搜索。

3. USD Validate NIM微服务：验证OpenUSD资产与RTX渲染的兼容性并进行基于规则的验证。

### 早期采用者

- WPP：全球最大的营销和传播公司，使用USD Search和Code加速全球范围内创意活动的迭代。

- HOMEE AI：计划使用USD Search NIM微服务为其AI驱动的空间规划用户提供智能搜索。

- Aireal：计划使用USD NIM微服务，包括USD Search，开发AI驱动的工具以革新室内设计行业。

即将推出的其他NIM微服务包括USD Layout NIM（用于从一系列文本提示中组装基于OpenUSD的场景的生成式AI模型）和USD SmartMaterial NIM（用于为3D对象应用逼真的材料）。

## 使用NVIDIA Omniverse构建USD原生应用

开发者可以使用Omniverse从头开始构建OpenUSD原生应用——利用Omniverse Kit SDK和开发工具快速入门。最新版本Omniverse Kit SDK 106提供了新的工具和增强的功能，使开发工作流程更加轻松和可控。Omniverse Kit现在已全面上市，并通过Omniverse Enterprise许可提供企业支持。

## 连接行业特定数据到OpenUSD

为了进一步推进OpenUSD生态系统的扩展，NVIDIA宣布了OpenUSD Exchange SDK，该SDK将于今年晚些时候在GitHub上发布。通过该SDK，开发者可以构建自己的OpenUSD数据插件、转换器和交换器。NVIDIA还在构建和支持从关键格式到OpenUSD的连接器，例如统一机器人描述格式（URDF），使机器人技术人员能够无缝地将其机器人数据跨应用程序从设计、仿真到强化学习。

此外，NVIDIA还宣布了新的开发工具和API，通过NVIDIA图形传输网络（GDN）将大规模OpenUSD场景流式传输到Apple Vision Pro（早期访问）。

这些新工具和功能将显著提升开发者在多个行业中创建和部署复杂3D和AI应用的能力。