WebGym 作为大规模开源 Web Agent 强化学习环境，通过 30 万真实任务与纯异步框架解决了训练效率瓶颈。它深入总结了提升性能的关键 scaling 规律，为从“能跑起来”到“能规模化提升”提供了全新解法，显著加速 Web 智能体的训练进程。
智能速览
提供 30 万个源自主流基准的真实网页任务
采用纯异步 rollout 框架，实现 4-5 倍训练加速
引入 Memory Tokens 机制，有效解决长视界任务遗忘问题
通过过滤顽固步骤，解决 Agent 陷入错误循环的问题
扩大任务覆盖广度并混合难易任务，可提升最终性能
支持 Server-Client 架构与多节点部署，灵活适配不同算力
精华内容
深入探究 WebGym 的核心架构与设计理念，揭示如何通过技术突破实现 Web Agent 训练效率的质变。
海量任务构建
WebGym 包含 30 万个真实网页任务，采样自 InSTA-v3、WebVoyager 等 10 个主流基准。通过设计评价准则组合，构造出比原任务更简单的新任务，难度分布偏向容易。这种设计旨在强化学习过程中让模型在更广范围内快速获得有效信号，同时保留少量更难任务以鼓励深度探索，所有任务均可通过特定 RL 算法训练。
这些评价准则不仅用于任务分解，还能显著提升评估模型与人工标注的对齐程度。
异步框架加速
WebGym 提供纯异步 rollout 框架，摒弃了传统同步模式。该框架采用 Server-Client 架构，Browser Server 与 RL Pipeline 可分布在不同节点。实测表明，此架构相比朴素同步 pipeline 实现了 4x-5x 加速。
仅需 128 CPUs 即可在 125 分钟内收集 1800 条平均长度 13.2 步的轨迹，且此时瓶颈已从 CPU 转移至 GPU。该框架与具体 RL 框架松耦合，可方便集成至 veRL 等任意框架。
规模化提升路径
研究总结了三条关键 scaling 规律。首先，扩大任务集的广度至关重要，仅从一半域采样会导致性能提升缓慢；其次，增加不同任务的覆盖频率能持续提升性能；最后，缩短每个 episode 的 step limit，能同时提升样本效率和最终性能，在所有难度切片上推高峰值成功率。
单纯使用简单任务不足以培养探索能力，必须混合少量困难任务。
训练策略优化
模型训练以 Qwen3-7B-VL 为起点，利用视觉信息处理长视界任务。通过输出 Memory Tokens，防止模型遗忘历史操作。针对 Agent 易陷入错误循环的“顽固”问题，训练中过滤掉这些步骤能有效解决。
对比发现，Thinking 模型虽初期性能高但因输出长度较长（约 2000 字符），最终选择聚焦 Instruct 模型以平衡效率与性能。
WebGym 通过架构创新与规模化的任务集，为 Web Agent 的强化学习训练提供了高效基础设施。其异步框架与 scaling 规律的总结，不仅解决了当前效率痛点，更为未来多模态智能体的进化铺平了道路。
