把联邦学习里的“参数”换成了“偏好”。
联邦多模态大模型对齐工作提出了一种新的范式:未来的联邦学习可以不聚合参数,而是共享偏好。该方法旨在解决传统联邦学习中存在的隐私泄露风险、通信成本高昂以及客户端模型结构异构等问题,通过共享偏好信号来实现隐私协作训练。
01传统联邦学习的痛点
联邦学习模式对比
参数聚合模式
客户端上传模型参数至服务器
服务器聚合参数后下发模型
参数可能被攻击还原数据
通信成本很高
难以适配异构客户端模型结构


偏好共享模式
客户端不上传原始数据与参数
仅上传训练好的Reward Model
仅需共享Reward Models、Routing Network与Embedding
通信效率高,隐私安全性强
自动适配不同客户端结构
02MoR核心架构设计
MoR(Mixture-of-Rewards)方法的核心设计包含三个紧密相连的阶段,旨在通过去中心化的奖励模型训练和联邦路由机制,实现高效的策略对齐。
- 去中心化奖励模型训练
各客户端在本地私有数据上独立训练特定的Reward Model,以捕捉不同领域的偏好(如医疗、OCR、细节描述等)。此过程完全不上传原始数据,确保隐私安全。 - 联邦路由训练
设计一个全局Routing Network,学习如何将输入分发到最具备能力的本地Reward Model。该机制类似于“专家混合”,但处理的是奖励信号,能够自动判断样本应采纳的偏好来源。 - GRPO策略对齐
服务器利用路由筛选出的高质量奖励信号,通过组相对策略优化(GRPO)训练统一的多模态策略模型,实现最终的模型对齐。
03实验结果与结论
| 实验任务 | 验证结论 | 性能表现 |
|---|---|---|
| Medical VQA | Router能自动避开弱模型 | 整体性能超过单一Reward Model |
| OCR-like reasoning | 不同领域的Reward可以互补 | 在客户端同构与异构设置下均超过Baseline |
| Detail description | 验证了偏好共享的有效性 | 实现了隐私安全与通信高效 |
MoR方法在三项任务中的实验验证结果
实验结果表明,该方法不仅在不同任务上超越了单一奖励模型和基线方法,还验证了“偏好比参数更隐私安全、通信高效、易适配异构客户端”的核心结论。这为医院、金融机构及移动端设备等场景下的隐私协作训练提供了新的思路。
当前文章无评论,是时候发表评论了