英伟达开源物理AI大模型Cosmos 3,机器人和自动驾驶迎来新拐点
- 06月17日 06月15日
- 06月09日
- 查看全部进展
01英伟达正式发布Cosmos 3
2026年6月21日,英伟达于本月早些时候在台北GTC大会上正式发布NVIDIA Cosmos 3,这是全球首款全开源、全模态的物理人工智能(Physical AI)基础大模型。该模型基于创新的混合Transformer架构,集成了视觉推理、世界生成与动作预测三大核心能力,能够原生理解并生成文本、图像、视频、环境音效及动作轨迹等多模态内容。英伟达创始人兼首席执行官黄仁勋表示,多模态推理、语言与视觉模型的接连突破,标志着物理AI的变革时代已经到来。Cosmos 3旨在解决机器人、自动驾驶车辆和视觉智能体在真实环境中泛化能力不足的核心难题,将物理AI系统的训练与评估周期从数月大幅缩短至数日。123
02混合架构实现物理级精度
Cosmos 3采用由推理Transformer与生成Transformer组成的混合架构(Mixture-of-Transformers)。推理模块首先解析物体之间的交互关系、运动规律及时空关联,生成模块则在此基础上输出符合物理规律的视频内容与动作轨迹。这种“先理解、再生成”的设计逻辑,显著提升了模型对复杂物理场景的建模能力。该模型在包含数十亿条样本的多模态物理AI数据集上完成预训练,涵盖文本、图像、视频、声音及动作轨迹,为开发者提供强大的基础模型支持。在多项权威评测中,Cosmos 3在世界生成精度、动作策略能力及视觉理解方面均位居开源模型榜首,包括Artificial Analysis、Physics-IQ、PAI-Bench、R-Bench、RoboLab、RoboArena、VANTAGE-Bench和TAR等八大基准测试。456
03三版本覆盖全场景需求
- Cosmos 3 Super:旗舰版本,参数规模达646亿,面向高精度物理仿真与大规模合成数据生成,适用于机器人整机训练、自动驾驶整车仿真等云端场景。
- Cosmos 3 Nano:轻量版本,参数约157亿(或按16B规格描述),可在工作站级GPU上实现亚秒级视频解析与动作推理,适合中小团队快速验证与部署。
- Cosmos 3 Edge:即将上线的边缘端版本,专为车载芯片、嵌入式机器人等低功耗设备优化,支持实时本地推理,进一步拓展物理AI在终端的应用边界。
04生态联盟加速产业落地
为推动下一代世界模型技术发展,英伟达同步发起成立NVIDIA Cosmos Coalition(宇宙联盟),首批成员包括Agile Robots、Black Forest Labs、Generalist、LTX、Runway及Skild AI等全球领先的人工智能研发机构。该联盟旨在构建开放协作的物理AI开发生态,促进模型、工具链与应用场景的深度融合。此外,三星、LG电子、理想汽车、宇树科技等企业已开始基于Cosmos 3平台开发新一代机器人与智能驾驶系统。英伟达还发布了Isaac GR00T人形机器人参考设计,整合宇树H2 Plus本体与Sharpa Wave灵巧手,计划于2026年底上市,进一步打通从模型到硬件的全栈能力。1310
05实际影响与行业价值
当前文章无评论,是时候发表评论了