多智能体LLM系统的强化学习训练常面临性能不稳的困境。Dr. MAS框架针对这一痛点，提供了端到端的训练解决方案。经过底层重构和算法调优，该框架有效提升了系统稳定性，支持异构模型协作，旨在帮助开发者探索多智能体技术边界。
智能速览
Dr. MAS专为多智能体LLM系统的端到端RL训练打造
框架解决了RL post-training中的不稳定性问题
支持灵活的智能体注册与完全自定义的多智能体编排
允许异构模型混合部署及精细化的单体超参数配置
引入共享资源池设计，有效提升硬件利用率
精华内容
面对多智能体LLM训练中的性能瓶颈与不稳定因素，该框架通过底层重构提供了针对性的解决方案。
突破训练瓶颈
项目初期曾面临训练效果不如单智能体的挫折，RL post-training存在明显不稳定性。经过对底层原理的深入探索，团队进行了长达4个月的重构与算法调优。
最终框架成功实现端到端训练，能够支持不同专长的Agent协作攻克复杂推理与决策难题。这一过程从失败到成功，验证了架构优化的必要性。
核心架构设计
Dr. MAS具备轻量级的Agent注册机制，开发者可轻松封装自定义Prompt和逻辑。在编排上，它支持Search场景的层级结构或Math场景的条件循环结构，不局限于固定交互模式。
框架支持异构模型混合部署，可实现“大带小”模式，如Agent A运行7B模型，Agent B运行3B模型。系统能自动处理不同后端的梯度更新，并允许为每个Agent单独配置学习率等超参。
资源与生态支持
为解决异构部署带来的资源闲置问题，框架设计了共享资源池。通过sglang推理支持，将多个LLM worker groups映射到共享GPU池，尽可能提升硬件利用率与推理吞吐。
该框架支持Qwen2.5、LLaMA3.2等主流模型，兼容PPO、GRPO等多种算法，并内置了Search和Math等环境。附带的完整开发指南能进一步降低开发门槛。
Dr. MAS为多智能体LLM的训练提供了一套稳定且高效的工具链。它不仅解决了异构模型协作与资源调度的技术难题，更通过开源形式降低了研究门槛。期待这一工具能助力社区少踩坑，涌现更多SOTA成果。
