什么值得买App下载 App ›
连续签到专享现金活动

把联邦学习里的“参数”换成了“偏好”。

联邦多模态大模型对齐工作提出了一种新的范式:未来的联邦学习可以不聚合参数,而是共享偏好。该方法旨在解决传统联邦学习中存在的隐私泄露风险、通信成本高昂以及客户端模型结构异构等问题,通过共享偏好信号来实现隐私协作训练。
01传统联邦学习的痛点

联邦学习模式对比

参数聚合模式
  • 客户端上传模型参数至服务器

  • 服务器聚合参数后下发模型

  • 参数可能被攻击还原数据

  • 通信成本很高

  • 难以适配异构客户端模型结构

偏好共享模式
  • 客户端不上传原始数据与参数

  • 仅上传训练好的Reward Model

  • 仅需共享Reward Models、Routing Network与Embedding

  • 通信效率高,隐私安全性强

  • 自动适配不同客户端结构

02MoR核心架构设计
MoR(Mixture-of-Rewards)方法的核心设计包含三个紧密相连的阶段,旨在通过去中心化的奖励模型训练和联邦路由机制,实现高效的策略对齐。
  1. 去中心化奖励模型训练
    各客户端在本地私有数据上独立训练特定的Reward Model,以捕捉不同领域的偏好(如医疗、OCR、细节描述等)。此过程完全不上传原始数据,确保隐私安全。
  2. 联邦路由训练
    设计一个全局Routing Network,学习如何将输入分发到最具备能力的本地Reward Model。该机制类似于“专家混合”,但处理的是奖励信号,能够自动判断样本应采纳的偏好来源。
  3. GRPO策略对齐
    服务器利用路由筛选出的高质量奖励信号,通过组相对策略优化(GRPO)训练统一的多模态策略模型,实现最终的模型对齐。
03实验结果与结论
实验任务验证结论性能表现
Medical VQARouter能自动避开弱模型整体性能超过单一Reward Model
OCR-like reasoning不同领域的Reward可以互补在客户端同构与异构设置下均超过Baseline
Detail description验证了偏好共享的有效性实现了隐私安全与通信高效

MoR方法在三项任务中的实验验证结果

实验结果表明,该方法不仅在不同任务上超越了单一奖励模型和基线方法,还验证了“偏好比参数更隐私安全、通信高效、易适配异构客户端”的核心结论。这为医院、金融机构及移动端设备等场景下的隐私协作训练提供了新的思路。

评论

评论区空态插画

当前文章无评论,是时候发表评论了