一个名为Voyager的AI智能体，在《我的世界》中实现了前所未有的自主探索与终身学习能力。它无需海量强化学习训练，仅通过调用GPT-4，便能自己设定任务、编写代码、验证结果，并将学会的技能存档复用。这一突破为构建通用人工智能提供了全新的设计范式，揭示了LLM作为通用问题解决器的巨大潜力。
智能速览
Voyager通过调用GPT-4，实现了在《我的世界》中的自主规划、编程与学习。
其核心创新在于将学会的技能以代码形式存入技能库，实现了知识的长期记忆与组合调用。
在160轮探索中，Voyager发现的物品数量是基线方法的3.3倍，解锁钻石速度快15倍。
采用迭代提示机制，通过环境反馈和自我验证不断修正代码，确保任务成功执行。
Voyager展现出的技能可迁移到全新世界，解决从未见过的任务，泛化能力出色。
精华内容
Voyager的成功并非依赖复杂的模型训练，而是源于其精巧的系统设计。它将GPT-4作为一个“万能工具人”，通过三大核心模块的协同工作，构建了一个完整的学习与探索闭环，具体来看它的实现路径。
好奇心驱动的课程
与传统依赖固定奖励函数的AI不同，Voyager赋予GPT-4“教师”的角色，让其根据当前状态自主提出“刚刚好难”的下一个任务。GPT-4会综合考虑智能体的现有装备、周围环境以及已完成和失败的任务列表，像好奇心旺盛的孩子一样，持续探索未知领域。这种自动课程设计，确保了学习曲线的平滑与高效，避免了任务过难或过简单的问题。
可复用的技能库
Voyager最精妙的设计，是将所有学会的技能都存成可执行的JavaScript代码片段，并附上描述性的嵌入向量以便检索。当面临新任务时，系统会先从技能库中检索相关技能作为示例，再让GPT-4基于这些上下文生成新代码。这种设计不仅为LLM提供了“外部记忆”，更使得技能具备了组合性，例如“制作铁剑”的代码可以复用“挖铁矿”和“制作木剑”等更基础的技能，实现知识的指数级积累。
自我修正的迭代
面对GPT-4生成的代码可能存在的bug，Voyager设计了一套强大的迭代提示机制来修正。系统会收集三种反馈信息：游戏环境的状态变化、代码执行器的报错信息，以及另一个GPT-4实例给出的任务完成度评估。这些反馈会被整合到下一轮的Prompt中，指导GPT-4精准地修正代码错误。实测中，绝大多数任务都能在3-4轮迭代内成功完成，保证了探索的连续性。
性能与挑战
实验数据充分证明了Voyager的优越性。在160轮探索中，它发现的物品数量是其他基线方法的3.3倍，解锁钻石工具的速度快了15倍，地图遍历范围是后者的2.3倍。更重要的是，它学到的技能可以无缝迁移到全新世界。但其挑战也同样明显：频繁调用GPT-4 API导致成本高昂；LLM偶尔会产生幻觉，提出在沙漠里找橡树这种不可能完成的任务；同时，系统完全依赖外部API的稳定性，且目前仅限单人游戏场景。
Voyager的实验证明，无需训练专用模型，通过巧妙的系统设计就能释放通用LLM的具身智能潜力。它为AI Agent领域提供了一个可复用的经典范式，降低了研究门槛。未来，如何在控制成本、解决幻觉问题的基础上，将这种设计思想拓展到更复杂的多人协作场景，将是值得探索的方向。
