上周最硬核论文top3
上周学术界在深度学习基础结构、具身智能数据利用以及Agent训练反馈机制三个方面取得了显著进展。Moonshot AI提出了Attention Residuals,试图重构Transformer的残差连接;清华与Galbot合作发布的LATENT,探索了利用不完美数据训练人形机器人动态技能的路径;OpenClaw-RL则通过重新定义Agent使用过程中的反馈数据,推动实现在线持续进化。
01Transformer结构演进(Attention Residuals原理与应用)
现有Transformer模型在Token维度上已实现高度动态化,但在深度维度上,层间信息传递主要依赖固定的残差累加,缺乏灵活性。Attention Residuals的核心突破在于将这种固定的加法残差升级为可学习的跨层注意力机制。
- 动态读取历史表示
将固定残差改写为跨层Attention,使当前层能够根据输入动态读取历史层的表示,打破了层间信息传递的静态累加模式。 - 大规模预训练验证
通过可扩展的Block AttnRes结构,成功接入48B级Kimi Linear模型,完成了超大规模预任务验证,证明了该架构在极端规模下的有效性。 - 基础模块重写
残差连接作为Transformer的核心基础模块,其形态的改变预示着模型架构优化的新方向,有望成为下一轮模型结构演进的重点。
02具身智能数据困境(LATENT策略分析)
人形机器人在高速、连续及全身协调的动态技能学习上面临巨大挑战,且往往难以获取完美的动作捕捉数据。清华与Galbot合作的LATENT工作,重点解决了在高质量示范数据稀缺情况下的技能学习问题。
- 利用不完美数据
证明了即使是碎片化、不完整的人类网球动作先验数据,经过处理后也能习得真实的强动态技能,降低了对完美Mocap数据的依赖。 - 蒸馏与纠偏策略
思路分为两步:首先将不完美的动作蒸馏为可用的Latent Skill Prior,再通过高层策略进行纠偏与组合,从而形成可用的技能库。 - 现实路径探索
针对真实世界高动态任务数据天然稀缺的现状,提供了一种极具现实意义的学习范式,回答了具身智能在数据受限环境下的进化路径。
03Agent进化机制(OpenClaw-RL反馈建模)
传统Agent系统往往浪费了用户交互过程中的Next-state反馈。OpenClaw-RL重新定义了Agent的真实使用过程,将其转化为有效的训练数据流,填补了Agent在部署中持续进化的关键拼图。
- 异构反馈统一建模
将用户纠错、工具报错、GUI变化及测试失败等过去仅作为上下文填充的信息,统一建模为在线学习信号。 - 双重监督信号
反馈信号既包含评估性奖励(做得好不好),也包含方向性监督(应该怎么改),为模型优化提供了明确指引。 - 部署中持续进化
将Agent从静态系统转变为活系统,确保了Agent在真实环境部署过程中能够利用反馈数据实现性能的持续迭代与优化。
当前文章无评论,是时候发表评论了