多模态大模型在静态测试中表现卓越，但一到需要多步交互的动态环境就频频失手。UC Berkeley开源的VisGym，正是一个专为视觉交互智能体打造的诊断平台，通过17个精心设计的任务，系统性地揭示当前模型在感知、记忆与决策上的深层缺陷，为下一代智能体的研发指明了方向。
智能速览
VisGym是一个包含17个多样化任务的可定制评测平台。
顶尖模型如Gemini-3-Pro在VisGym上表现不佳，最高准确率不足47%。
VLM的主要缺陷是动作循环、状态管理混乱和视觉感知失灵。
实验发现，视觉感知而非逻辑推理是当前多步决策的关键瓶颈。
采用“信息揭示型”演示策略训练，模型成功率可从32.9%飙升至70.0%。
更强大的基座模型在复杂任务中展现出更强的泛化能力。
精华内容
尽管多模态模型看似无所不能，但在真实交互世界中却漏洞百出。VisGym通过一系列严谨的实验，精准定位了这些智能体的“病灶”，揭示了其背后深层次的技术瓶颈。
交互困境
多模态大模型在静态基准测试中展现出惊人的能力，但将这些模型置于需要实时感知与多步决策的动态环境时，其表现便会急剧下降。为了系统性地探究这一现象，UC Berkeley推出了VisGym平台。该平台并非传统评测，而是一个可定制、可扩展的实验环境，旨在精确诊断视觉语言模型在长程交互任务中的具体短板。
评测揭示
研究团队对12款顶尖模型的评测结果令人深思。即使是性能最优的Gemini-3-Pro，在简单任务上的准确率也仅为46.61%，困难版更是跌至26.00%。通过对失败轨迹的分析，总结出四大典型缺陷：超过60%的失败案例中模型陷入“动作循环”，反复执行无效操作；其次是状态管理混乱，忘记之前的尝试；以及提前放弃和视觉感知失灵，如无视已对齐的视觉线索。
瓶颈溯源
进一步的诊断实验得出了颠覆性的结论。当将任务的图像观测替换为纯文本的ASCII艺术图时，GPT-5等模型的成功率反而提升了3到4倍。这表明，当前VLM在多步交互中的主要瓶颈并非逻辑推理，而是视觉定位能力。模型难以理解图像中的空间关系。同时，移除环境文本反馈后，所有模型性能均大幅下滑，证明其对“说明书”式的文本反馈存在过度依赖，而非通过观察世界进行学习。
训练突破
研究还发现，提升模型能力的路径并非单一。微调实验表明，多数任务中，对大语言模型（LLM）部分的微调增益要大于视觉编码器，这说明时间推理与信息整合是核心挑战。此外，一种名为“信息揭示型”的演示策略被证明极为有效。通过在训练数据中加入“试探性”步骤以教会模型如何收集信息，任务成功率从32.9%飙升至70.0%，强调了在不确定环境中学习“如何看”与“如何做”同等重要。
VisGym不仅是一个评测工具，更是一把解剖多模态智能体的“手术刀”，其开源为研究者提供了宝贵的起点。它清晰地指出，通往通用视觉-语言-动作模型的道路，需要攻克视觉感知的精细度和长程记忆的稳定性。未来的智能体，不仅要能说会道，更要能看懂世界、学会试错。
