减轻客户端漂移的联邦学习方法及客户端技术

本公开实施例公开了一种减轻客户端漂移的联邦学习方法及客户端

【技术实现步骤摘要】
减轻客户端漂移的联邦学习方法及客户端、全局服务器


[0001]本公开涉及机器学习
，尤其涉及一种减轻客户端漂移的联邦学习方法及客户端
、
全局服务器
。

技术介绍

[0002]联邦学习
(Federated machine learning/Federated Learning
，
FL) 是一种分布式机器学习方法，让多个客户端能够协作训练共享模型，而无需公开其原始数据
。
[0003]在联邦学习中，目前主要存在的问题是客户端漂移，是指不同客户端学习的模型之间的不一致，这主要是由于其私有数据分布的差异而引起的
。
由于局部模型过度拟合，或者其数据集并收敛到局部最小值，因此从平均客户端模型派生的全局模型在收敛性和性能方面必须进行调整
。

技术实现思路

[0004]有鉴于此，本公开实施例提供了一种减轻客户端漂移的联邦学习方法及客户端
、
全局服务器，能够通过采用渐进解冻的训练策略和客户端之间参照锚点的确定策略，减轻客户端漂移本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种减轻客户端漂移的联邦学习方法，其特征在于，所述方法包括：接收全局模型作为第一本地模型，所述第一本地模型包括多个模块；冻结所述多个模块；对所述第一本地模型进行迭代训练，在迭代训练过程中对所述多个模块渐进解冻，得到第二本地模型；基于所述第二本地模型和所述第一本地模型计算得到更新值，所述更新值用于更新全局模型
。2.
根据权利要求1所述的减轻客户端漂移的联邦学习方法，其特征在于，每个模块均具有编码；所述在迭代训练过程中对所述多个模块渐进解冻，得到第二本地模型，包括：设置本地训练迭次数，所述本地训练迭次数的初始值为1；基于所述本地训练迭次数确定需要解冻的模块编码；解冻所述模块编码对应的模块，得到可训练模块；对所有的可训练模块进行更新；如果所述本地训练迭代次数等于预设训练次数，则表示所有模块均解冻并更新，得到第二本地模型
。3.
根据权利要求2所述的减轻客户端漂移的联邦学习方法，其特征在于，所述模块编码为：其中，为所述模块的总个数；为所述本地训练迭次数；为所述预设训练次数；为渐进解冻阶段的完成度百分比
。4.
根据权利要求2所述的减轻客户端漂移的联邦学习方法，其特征在于，所述对所有的可训练模块进行更新的公式为：其中，为第个客户端的第一本地模型的模块，所述模块为所有的可训练模块；为客户端的编号；为所述模块编码；为第个客户端的第一本地模型的学习率；为第个客户端的第一本地模型的损失函数
。5.
根据权利要求1所述的减轻客户端漂移的联邦学习方法，其特征在于，所述更新值的计算公式为：其中，为第个客户端的更新值；为第个客户端的第二本地模型；为所述第一本地模型
。6.
根据权利要求1所述的减轻客户端漂移的联邦学习方法，其特征在于，所述模块为一个网络层或多个网络层的组合
...

【专利技术属性】
技术研发人员：刘德生，龙真真，王斌，周宇，
申请(专利权)人：中科晶锐苏州科技有限公司，
类型：发明
国别省市：