在推荐系统领域，如何精准模拟用户行为与决策是一大挑战。美团最新提出的UserLM-R1模型，通过构建用户的静态与动态画像，并结合多奖励强化学习，尝试让大模型更逼真地模拟人类的推理过程，为提升推荐效果提供了新思路。
智能速览
构建用户静态与动态双重画像，覆盖背景、风格、记忆与决策策略。
采用目标驱动的决策策略，动态更新用户画像以模拟实时互动。
利用多奖励强化学习，结合规则与LLM评判进行模型优化。
扩展了450个任务场景用于动态画像的生成。
精华内容
UserLM-R1的核心在于构建一个能思考、会变化的用户模型，其实现路径拆解如下。
双层画像构建
该模型首先为用户构建了静态和动态两种画像。静态画像包含用户的背景信息、人格特质、表达风格和生活场景等固定属性。这些信息基于AlignX数据集，通过LLM将90维偏好向量等数据转化为描述性文本。
动态画像则聚焦于变化，包括场景记忆、核心诉求、决策策略以及情绪和信任感等状态转移。为实现这一点，研究团队将VoiceAgentEval数据集的任务数从30个扩展到450个，让模型能在与Agent对话时，动态调用LLM生成这些实时变化的画像信息。
目标驱动决策
模型采用了一种目标驱动的决策策略来模拟用户行为。在t-1时刻，模型会接收当前的对话提示、静态画像、动态画像和历史对话，然后输出用户的思维链（CoT）、更新后的动态画像以及用户的回答。
进入t时刻后，系统会将上一轮输出的新动态画像替换旧的，并将用户回答加入到历史对话中，然后重复此过程。这种机制保证了用户模拟的连续性和逻辑性，使其行为更符合真实场景。
训练与强化
模型的训练分为两个阶段。首先是监督微调（SFT），利用上述流程生成的大量对话语料对用户LLM进行初步训练，让其掌握基本的对话和画像生成能力。
随后，采用多奖励强化学习进行优化。奖励机制包含两部分：一是规则奖励，用于检验输出格式是否正确、动态画像要点是否匹配；二是Rubric奖励，通过另一个LLM作为裁判，从多个维度对生成结果进行评分，从而引导模型产出更高质量的响应。
UserLM-R1通过精细化的用户建模和多阶段训练，为大模型在推荐领域的应用提供了更贴近人类思维的范式。这种思路能否成为提升推荐系统交互体验的关键，或为其他需要模拟用户的场景带来启发，值得持续关注。
