当前大模型在角色扮演时，往往只模仿表面，缺乏内在逻辑思考。HER框架的出现改变了这一现状，它通过引入双层次思维和人类对齐的强化学习，让角色不仅会说，更会“想”，实现了更具深度的认知模拟，显著提升了角色扮演的真实感和连贯性。
智能速览
现有LLM角色扮演难以模拟行为背后的内在思考。
HER框架创新性地设计了双层次思维模型。
通过逆向工程自动化构建高质量推理数据。
HER GenRM模型通过逐案原则精准对齐人类偏好。
在多个基准测试中，HER性能显著超越现有基线模型。
精华内容
HER框架的核心在于其独特的双层次思维设计，它如何分离规划与表达，从而赋予角色前所未有的深度与真实感？
双层次思维
HER框架的核心创新在于双层次思维设计。它将思考过程分为隐藏的第三人称“系统思考”和可见的第一人称“角色思考”。系统思考作为幕后规划者，负责理解全局场景约束并制定行动轨迹；角色思考则作为前台输出，直接展现角色的情感与意图。这种分离设计解决了以往方法将规划与表达混淆的问题，实验数据显示，仅增加系统思考模块，就能将角色保真度评分提升3.21分，效果显著。
数据逆向合成
为解决高质量推理数据稀缺的问题，研究团队设计了一套三阶段逆向合成管道。该流程能自动将现有对话转化为包含推理的轨迹：首先为每轮对话生成符合角色的思考，接着构建贯穿全局的系统思考，最后整合并增强上下文约束。这种自动化方法极大地降低了数据标注成本，同时通过多样性重写技术，有效避免了模型输出模式坍塌，让交互过程更加自然多变。
人类对齐奖励
为确保模型输出符合人类偏好，HER框架引入了生成式奖励模型HER GenRM。其设计巧妙之处在于，它会针对每个具体对话场景，动态生成一套评判原则（逐案原则），再基于此原则分析候选响应的优劣。相比使用固定原则的模型，这种方法与人类专家判断的一致性从60%大幅提升至86%。通过对训练数据的平衡，该模型还有效抵御了位置偏差和长度偏差等捷径学习问题。
强化学习优化
在强化学习阶段，HER GenRM扮演着“裁判”的角色，指导生成器策略的持续优化。系统将生成器产生的响应与SFT（监督微调）基线模型响应进行配对，交由HER GenRM进行评判并生成奖励信号，形成一个高效的闭环优化流程。该方法显著提升了角色扮演的故事线质量，尤其是在需要保持角色设定和逻辑一致性的长程交互中，表现尤为突出。
HER框架不仅通过双层次思维显著提升了LLM角色扮演的性能，更提供了一套从数据构建到模型训练的完整解决方案。这项研究为构建更具认知深度和情感真实感的AI交互体铺平了道路，未来的AI角色能否真正拥有“灵魂”？
