同一个Claude Opus 5.0,在ARC-AGI-3官方测试框架里只有40分上下;套上一层"视觉外壳",25个公开游戏全部通关、相对人类动作效率拿到满分100——模型一个参数没动,也没做任何微调。 做出这件事的是何恺明MIT团队,论文《VISTA: A Visual Harness for Reasoning in an Interactive World》十一假期刚挂上arXiv(编号2610.02200),节后一周内新智元、量子位、《麻省理工科技评论》中文版、36氪接连报道,知乎解读问题浏览量一周冲到近1.5万。新智元知乎36氪

如果你一直在追多模态模型的榜单和版本动态——为GPT-6还是Gemini纠结过订阅,也转发过EmbeddingGemma2"手机本地搜照片"的演示——这篇内容只解决一件事:分数暴涨60分,到底该高兴、该怀疑,还是该把它抄进自己的Agent里。
一、先给赶时间的人三条结论
VISTA不是新模型,是一套"怎么让模型看、记、回看"的脚手架(Harness)。它的证明方式是:同一个现成模型,换脚手架,成绩跳档。36氪
ARC-AGI-3的分数从此不能脱离测试框架单独引用——不同Harness下的分数没有可比性,这是这次事件对用户最实际的一条改变。
自己搭Agent的人,论文里"存全帧、只给上下文最后一帧、按需回看"的记忆设计可以直接抄,它同时解决能力和token成本两个问题。
二、VISTA干了什么:给模型装上"行车记录仪"
过去多模态模型做长程交互任务,主流做法是把环境"翻译"成文字:ARC-AGI-3官方框架就是让模型先把游戏画面读成由数字组成的文本网格,再靠写代码模拟规则。问题在于,物体的外观、朝向、动作前后发生了什么变化,很难提前翻译成一份"够用"的文字笔记——何况交互一长,早期画面会被挤出上下文。新智元的比喻很直白:过去半年,全世界顶尖大模型其实是"被蒙着眼睛"赶上AGI考场的。微博
何恺明团队(共同一作Qiushi Han、胡珂雅、Linlu Qiu,通讯含Cathy Wu与何恺明)的解法是三个组件:
视觉观测:环境返回的64×64小画面,放大成512×512的PNG原样呈现,颜色、空间关系一个不丢;
无损视觉记忆:每次动作后环境返回的所有画面全部存下——连动画中间帧都不放过,按回合号+帧号建索引;
主动视觉检查:模型卡住时可以用inspect工具调回任意历史回合,裁剪、放大局部,甚至一次调出多帧对比"我按下这个键之后到底变了什么"。知乎

B站UP主"豪苯"的总结很到位:相当于给长程交互推理装了行车记录仪——平时不看,出事回放。 文字笔记只负责记录模型"当前的理解",原始画面保留为随时重审的证据。上下文默认只放最后一帧,历史帧存在档案里按需调取,交接新上下文窗口时先写摘要再切换。整套东西没有训练任何新模型,理解、规划、推理仍然交给现成的多模态模型。哔哩哔哩知乎
三、四组数字,看清"脚手架差"有多大
把多个报道的口径合并成一张表(基础模型均为GPT-5.6 Sol或Claude Opus 5.0,同一模型、只换框架):
基准 | 任务量 | 官方框架 | +VISTA | 变化 |
|---|---|---|---|---|
ARC-AGI-3公开集 | 25款游戏 | Claude Opus 5.0约40分 | 100分(全通关),动作比人类首次游玩基线少57.4%;换GPT-5.6 Sol通关、99分 | 摘眼罩直接打满 |
GameWorld | 170项任务 | 成功率40.0% | 63.3% | +23.3个百分点 |
AI GameStore | 10个游戏 | 综合47.3 | 140.3(人类中位数归一化为100) | 从不及格到超人类中位 |
BabyVision(静态图) | 39道迷宫/连线 | 41.0% | 63.2% | 纯静态图也吃这套 |
注意最后一行:BabyVision里根本没有交互,只是静态图片,模型靠放大局部、检查像素也把判断变好了。也就是说,"看得完整+能回看"这件事,价值不只在Agent场景,读图问答同样受益。知乎

四、圈里在吵什么:这是进步,还是给榜单"作弊"开了个头
知乎的VISTA解读问题下,高赞回答(61赞同、36收藏)提供了一个不客气的视角:GPT-6 Astra此前靠"开辟新赛道"在ARC榜单上碾压别家,而VISTA反过来证明,这条新赛道的思维难度可能没那么多——本质上在harness层面付出功夫就能解决。 按这个逻辑,Astra的领先有多少是模型智能、多少是脚手架红利,需要重新估价。知乎
另一边,《麻省理工科技评论》中文版的口径是"同一个大模型,仅仅换了一套看世界和记东西的方式,成绩就能相差60分"——它把这件事读成正向信号:现有模型的视觉推理能力一直被测试框架低估了,官方分数是地板,不是天花板。麻省理工科技评论
两种读法都有道理,但都压不住同一个事实核查:这次满分是在25款公开游戏上拿的,ARC-AGI-3的私有集表现尚未公布,B站跟进视频已经点破"私有集才是检验泛化能力的关键"。 所以证据覆盖到这里,结论只能说到这里:VISTA证明了脚手架价值巨大,还没证明这套脚手架能外推到没见过的世界。哔哩哔哩
放到更大的图景里,这周的多模态圈其实在同时回答"下一代能力从哪来"的三个不同层:Opus 5.5式的"原生统一"(架构层,一个模型通吃模态)、EmbeddingGemma2式的"端侧小模型"(成本层,740M参数塞进手机)、以及VISTA式的外壳层(不改模型,改信息进出方式)。三层互相不取代,这也是为什么上周刚写完"先别急着换模型",这周依然值得专门看VISTA——它动的不是你钱包里那个模型的底座。
五、掏钱用多模态的人,这周三件事能带走
1. 重读榜单:以后引用任何Agent/多模态分数,先问三句话。 用的什么harness?公开集还是私有集?模型动没动?这周的事件等于给所有"XX模型在YY基准吊打ZZ"的报道加了一道免责条款。对比评测只有同框架分数才能横向比,看到"同一个模型、换个框架涨60分"这种新闻,先想到你去年收藏的那份榜单大概率集体贬值了。
2. 自搭Agent的人,把VISTA当免费架构课抄。 三个设计成本不高但立刻可用:全量存原始画面(存储便宜)、上下文默认只放最新一帧(token贵)、给模型一个inspect工具按需回看+多帧对比(出错再翻记录仪,而不是提前为每张图写文字摘要)。对照之前社区反复踩的"多模态长对话丢细节"的坑,这是目前最省钱的解法原型——不用换模型、不用微调,项目页(vista-research.github.io)已放出框架思路。论文数据也印证了这套账:同样的任务,token消耗从71.9M降到30.7M,动作数从10614减到9126。

3. 准备入门的人,先补ARC-AGI-3的30秒背景再看热闹。 它是一套交互式视觉推理基准:不预先给游戏规则和目标,agent必须边观察边摸索;公开集25款游戏。 理解了"规则要靠模型自己猜",你才明白"全程通关"和"刷静态QA榜"为什么是两种含金量。知乎
六、下一步盯什么信号
私有集成绩:何恺明团队或第三方把VISTA跑上ARC-AGI-3私有集的日子,才是"脚手架红利"兑现还是现原形的日子;
官方跟进:OpenAI/Anthropic们的Agent产品是否把"存原始帧+按需回看"做成默认配置——一旦官方harness补上眼罩,模型层的真实差距会重新浮出水面;
具身验证:论文自己把"更接近物理世界的具身任务"列为后续方向,配合GPT-6 Astra被讨论的机械臂精细操作,视觉记忆能不能扛住真实世界的连续变化,是下一个大新闻的伏笔。
一句话收尾:这半年多模态圈最贵的教训不是"哪个模型更强",而是你看到的分数,只是模型戴着什么眼罩考出来的分数。在私有集和官方默认框架更新之前,把"等换代"的预算和耐心留给下一批信号——榜单要重读,脚手架值得抄,模型先别急着换。