米哈游开源了一个自己会玩游戏的AI:对话100%,解谜只有11%
11月17日,米哈游《崩坏》系列AI研发团队联合清华、国科大等机构的研究者,发布了通用视觉语言动作基础模型Gamer:不读游戏内存,不调特权接口,只看屏幕、只动键鼠——以5赫兹的画面输入,输出等效30赫兹的原生键盘鼠标指令,能在《崩坏:星穹铁道》《原神》《我的世界》《毁灭战士》这些游戏里战斗、探索、解谜。微博微博
很多人第一反应是:官方代肝来了?热评还在玩梗,高赞评论说:“AI闲累点了右上角翁法罗斯怎么办”。但点开论文,你会发现跟大多数人一样——猜错了,它压根不是给玩家用的。星铁数据微调后的模型权重没有开源,公开的只有预训练阶段的权重和代码。知乎哔哩哔哩知乎
不过对做Agent的人来说,这套工程细节很值得抄。
长任务真的能跑下来。主线评估累计跑了约50小时,超过95%的时间全程自主操作。在7类小游戏、共40项未参与训练的任务里,强化学习后的Gamer平均成功率49.7%,同场表现最好的通用大模型GPT-6.1-Sol只有17.1%。知乎

但别看平均分,要看分化。Gamer的对话步骤成功率100%,碰到三道机器人维修解谜却只剩11.1%——提前多想几步的玩法直接翻车。强化学习不是万能药,"雅努斯迷津"RL后反而从52.4%掉到23.8%。官方的统计口径也说得很坦白:两条长支线那80.0%、83.6%的成绩是分步成功率,中途卡住允许脚本接续,别当成一次跑通的通关率。知乎

三个能直接复用的做法:
记忆摘要:上下文窗口快满时,先把已完成步骤、遇到的阻碍和后续计划写成"随身笔记",维持跨场景的目标连贯,防止长任务"跑着跑着忘了最初要干什么"。
把手速压到65毫秒:自研Streaming-vLLM推理引擎,把单次请求端到端响应从1306毫秒压到约65毫秒,提速约20倍。对照组里每秒只交互约0.6次的慢速组得分全面落后——手慢不只是体验差,会不断累积位置偏差,把训练经验本身练歪。知乎微博
一段录像拆三层指令:把同一次游玩拆成"单步动作—阶段目标—完整任务"来微调,让模型看懂每一步是为了什么。

它现在实际用在哪?最贴近一线的方向是游戏QA测试:像真人一样看画面跑流程,后台直接调用引擎的任务状态核验目标有没有真正完成。门槛也实打实:在线强化学习要同时跑32台Windows游戏虚拟机、配64张H200显卡。米哈游给出的下一步,是靠模型压缩继续降成本,再走"大模型做深度规划、小模型做实时操作"的分工。知乎

官方代肝会不会来还两说,但一个看得懂画面、长得出手、还记得住路的智能体,缺的恰恰是每个做Agent的人都绕不开的那几块能力。
当前文章无评论,是时候发表评论了