如何让AI学会玩上千款不同的游戏？传统方法因依赖专用数据而泛化能力弱。英伟达提出的NitroGen模型另辟蹊径，通过分析4万小时公开游戏视频，自动学习玩家操作，构建了一个通用游戏智能体。该方法显著降低了训练成本，并展现出强大的跨游戏迁移能力，为通用具身智能研究开辟了新道路。
智能速览
构建了覆盖1000余款游戏、长达4万小时的视频-动作数据集。
利用统一的视觉-动作Transformer模型进行大规模行为克隆训练。
在新游戏上微调后，任务成功率最高提升52%。
模型能适应格斗、平台跳跃和探索等多种游戏类型。
已公开数据集、评测环境和模型权重以促进社区发展。
精华内容
NitroGen的突破不在于某个游戏中的超人表现，而在于其通过海量数据学习到的通用性。它展示了如何利用互联网上的公开资源，高效训练出能跨域解决问题的AI智能体。
传统AI的瓶颈
当前的游戏AI领域面临一个核心挑战：泛化能力不足。无论是依赖强化学习在《星际争霸II》中达到超神表现的智能体，还是基于行为克隆在特定游戏中学习操作的模型，它们大多被“困”在单一或少数几个游戏中。
这些智能体的训练不仅需要昂贵的、人工标注的演示数据，还严重依赖专门的模拟器和游戏内部状态，导致它们无法像人类玩家一样，将一款游戏的经验快速迁移到另一款全新的游戏中。这种“只见树木，不见森林”的训练模式，极大地限制了通用游戏智能体的发展。
海量数据的构建
为突破数据瓶颈，NitroGen项目构建了一个前所未有的互联网规模数据集。该数据集时长高达40,000小时，覆盖了超过1000款不同的商业游戏。
其关键创新在于，它并非通过人工收集，而是设计了一套自动化流程，直接从YouTube等平台公开的游戏视频中提取玩家的按键行为，并将其与视频画面对应起来。这种方法极大地降低了数据获取成本，并确保了数据来源的多样性和丰富性。
统一的视觉模型
有了海量数据，NitroGen采用了一个统一的视觉-动作Transformer模型进行训练。这个模型能够直接处理原始游戏画面，并预测对应的玩家操作。
通过大规模的行为克隆，模型不仅学习到了在特定场景下的具体操作，更重要的是，它从上千款游戏中归纳出了通用的游戏逻辑和操作直觉。例如，它能够理解“看到敌人就攻击”、“跳过悬崖”等跨游戏的基本概念。
显著的泛化能力
为了验证泛化能力，研究者在10款未曾见过的商业游戏中设计了30项任务进行测试。结果显示，预训练后的NitroGen模型仅需少量微调，其任务成功率就比从零开始训练的模型最高提升了52%。
无论是3D动作游戏中的精准战斗，还是2D平台跳跃游戏的高难度操作，甚至是程序生成世界的探索，NitroGen都展现了出色的适应能力。为推动整个领域发展，其数据集、模型和评测环境已全部公开。
NitroGen的成功证明了，利用互联网上现成的视频资源训练通用AI是一条极具潜力的路径。它不仅为游戏AI研究树立了新标杆，也为更广泛的具身智能发展提供了宝贵思路。未来，这种“看视频学习”的范式能否让AI掌握更复杂的现实世界技能？
