这份系统指南深入浅出地讲解了基于强化学习的智能体训练核心技术，通过侦探破案的生动比喻，配合详细代码示例，完整呈现从监督微调到强化学习训练的全流程。特别解决了信用分配、损失屏蔽等关键技术难点，为想要掌握Agentic RL的开发者提供了清晰的实践路径。
智能速览
Agentic RL通过环境试错让模型学会决策和使用工具
SFT阶段让模型初步掌握思考-行动-观察循环模式
信用分配技术将奖励合理归因到每个决策步骤
损失屏蔽确保模型只学习决策而非环境响应
VERLTool和PRIME框架提供不同的实现方案
精华内容
深入Agentic RL的训练核心，理解如何让大模型从知识库转变为能够主动思考和行动的智能助手。关键技术在于如何准确评估每一步决策的价值。
SFT基础训练
监督微调阶段为模型奠定基础，通过高质量示例数据让模型学会基本的推理模式。每个训练样本都包含完整的观察-思考-行动链条，让模型理解在不同情境下应该如何响应。使用标准的语言建模损失函数，目标是让模型的预测与示例数据保持一致。这一阶段就像教新手侦探研究破案案例，让他知道在什么情况下应该采取什么行动。
环境交互数据收集
在真实的或模拟环境中让模型尝试完成任务，每一步都记录完整的交互轨迹。模型会进入观察-思考-行动-反馈的循环，直到任务完成或达到最大步数。每个时间点的数据需要精确分离：observation来自环境，thought和action来自模型生成。一条完整轨迹包含所有步骤的数据，多条轨迹组成训练批次。这些原始数据是后续强化学习训练的基础。
信用分配技术
这是Agentic RL的核心难点。最终的任务奖励需要合理分配到轨迹中的每个决策点。优势函数评估每个Token相对于平均水平的额外价值，训练目标是增加正优势Token的概率。对于简单任务（少于5步），简单的奖励折现可能足够；复杂任务则需要SPA或PRIME等先进方法。这就像分析侦探破案过程中每一步的贡献度，不能只看最终结果。
损失屏蔽机制
训练样本构建时，input_tokens包含行动+观察（已知条件），target_tokens包含思考+行动（需要学习的内容）。关键是对环境返回的观察部分进行损失屏蔽，只对模型生成的部分计算损失。如果不屏蔽，模型会尝试学习预测环境响应，导致训练不稳定。损失屏蔽确保模型专注于学习如何决策，而不是猜测环境行为。
框架选择指南
VERLTool采用异步执行架构，注重训练稳定性和可复现性，适合工程化项目。PRIME框架通过算法创新提升效率，追求更高的性能上限，适合研究性项目。选择时需要考虑项目需求：稳定性优先选VERLTool，性能上限优先选PRIME。两者都能处理大规模并行数据收集，但实现思路有所不同。
掌握Agentic RL需要理论与实践相结合。建议从简单任务开始，实现最小化的训练流程，在实践中理解每个技术细节。随着技术不断演进，持续关注新的算法和框架优化，将有助于构建更强大的智能体系统。
