【技术实现步骤摘要】
本专利技术属于人工智能联邦学习领域，尤其涉及联邦学习中的数据异质性问题。
技术介绍
1、联邦学习(federated learning)是一种分布式机器学习技术，其核心思想是通过在多个拥有本地数据的数据源之间进行分布式模型训练，在不需要交换本地个体或样本数据的前提下，仅通过交换模型参数或中间结果的方式，构建基于虚拟融合数据下的全局模型，从而实现数据隐私保护和数据共享计算的平衡，即“数据可用不可见”、“数据不动模型动”的应用新范式。
2、联邦机器学习算法是在分散的用户处通过用户的本地数据和中心服务器下发的数据训练和维护本地模型，并定期将本地模型参数传输到中心服务器。中心服务器通过某种方法对来自不同用户的模型参数进行聚合得到中心模型参数，再将中心模型参数下发给各用户用于其本地模型的更新。
3、自联邦学习方法问世以来，数据异质性问题的困扰就一直存在，如果在聚合不同客户端的本地模型时不加区分，会因为数据异质性导致整体的训练效果变差。因此，需要设计合理有效的方法应对联邦学习中的数据异质性问题，以提升训练的整体效果。多年来研究人员提出了大量的算法来解决这一问题。
技术实现思路
1、技术问题：在基于联邦机器学习的联邦学习算法中，各个节点用户分别根据各自的数据库训练本地数据集得出本地模型参数，然后向中心服务器传输本地模型参数，中心服务器对所有用户的模型参数进行聚合从而生成中心模型，再下发给用户进行下一轮的模型训练。
2、由于每个客户端的数据是异质性的，因此中心服
3、技术方案：为解决上述技术问题，本专利技术提供一种缓解数据异质性的联邦机器学习聚合方法，其特征在于：中心服务器基于当前和历史的参数权重对上传参数进行加权聚合，该方法包括如下步骤：
4、步骤1：每轮训练时，参训用户根据接收到的中心服务器发送的全局参数w_globr，利用机器学习算法训练和更新本地模型，并将本地模型参数上传给中心服务器，其中，r为训练轮次，i为参训用户序号；
5、步骤2：中心服务器根据接收到的用户本地模型参数，引入影响力系数综合当前梯度节点聚合策略和历史梯度聚合策略，并聚合所有上传的本地模型参数，从而得到新的全局参数w_globr+1；
6、步骤3：中心服务器将新的全局参数w_globr+1下发给所有用户，每个用户根据接收到的中心模型参数进行下一轮的模型参数训练。
7、进一步的，所述步骤2中聚合收到的本地模型参数得到新的全局参数的方法为：
8、步骤2.1：根据当前梯度节点聚合策略，计算出当前梯度节点聚合权重ρi；
9、步骤2.2：根据历史梯度聚合策略，计算出历史偏离修正系数σi；
10、步骤2.3：引入影响力系数来线性地平滑步骤2.1，步骤2.2中提到的两个偏离修正系数ρi，σi所占的比例，新的全局参数w_globr+1计算公式为：
11、
12、进一步的，所述步骤2.1中计算当前梯度节点聚合权重ρi的方法为：
13、步骤2.1.1：第r轮训练，中心服务器收到的参训用户本地参数为对于参与第r轮训练的用户集合sr，计算它们本地参数两两之间的欧式距离dij(i,j∈sr)：
14、dij＝l2(l2(wi)-l2(wj))
15、其中，l2是指求取对象的二范数；
16、步骤2.1.2：在步骤2.1.1计算出欧式距离dij的基础上，进而得到任一个参训用户客户端梯度的平均偏离水平dmi
17、
18、其中s为该轮次中参训用户数量。
19、步骤2.1.3：在步骤2.1.2计算出平均偏离水平dmi的基础上，加入幂标准化处理后，得出ρi最终的权重计算公式
20、
21、进一步的，所述步骤2.2中计算历史偏离修正系数σi的方法为：
22、步骤2.2.1：对于参与第r轮训练的用户集合sr，计算每个与第r轮下发的全局参数w_globr的欧式距离d_globi来表征训练参数与全局参数w_globr的差异程度，其中，l2是指求取对象的二范数。
23、d_globi＝l2(l2(wi)-l2(w_glob))；
24、步骤2.2.2：在步骤2.2.1计算出欧式距离d_globi的基础上，对该距离d_globi进行标准化处理操作，可以得到每个客户端的历史偏离水平dhi
25、
26、步骤2.2.3：在步骤2.2.2计算出历史偏离水平dhi的基础上，历史偏离水平dhi与历史偏离修正权重为负相关，得出最终的偏离修正系数σi，得出σi最终的权重计算公式
27、
28、进一步的，所述步骤2.3中计算影响力系数的方法为：
29、步骤2.3.1：步骤2.3中，随着训练的进行，平滑地增大历史偏离修正系数σi的影响，与此同时，降低当前偏离修正系数ρi的影响。
30、引入影响力系数来线性地平滑这两个偏离修正系数所占的比例。
31、
32、其中，r为设定的训练总轮数。
33、步骤2.3.2：由于步骤2.3中引入了影响力系数为了保证权重系数之和为1，当前梯度聚合权重ρi在组合算法中的影响力为最终聚合计算公式为：
34、
35、有益效果
36、本专利技术通过综合考虑当前梯度分布情况和历史梯度情况，计算参数权重，进行中心模型的聚合，可以有效较低数据异质性的影响，得到更优的模型。
本文档来自技高网...【技术保护点】
1.一种缓解数据异质性的联邦机器学习聚合方法，其特征在于，该方法包括如下步骤：
2.如权利要求1所述的缓解数据异质性的联邦机器学习聚合方法，其特征在于，所述步骤2中聚合收到的本地模型参数得到新的全局参数的方法为：
3.如权利要求1所述的缓解数据异质性的联邦机器学习聚合方法，其特征在于，所述步骤2.1中计算当前梯度节点聚合权重ρi的方法为：
4.如权利要求1所述的缓解数据异质性的联邦机器学习聚合方法，其特征在于，所述步骤2.2中计算历史偏离修正系数σi的方法为：
5.如权利要求1所述的缓解数据异质性的联邦机器学习聚合方法，其特征在于，所述步骤2.3中计算影响力系数的方法为：
【技术特征摘要】
1.一种缓解数据异质性的联邦机器学习聚合方法，其特征在于，该方法包括如下步骤：
2.如权利要求1所述的缓解数据异质性的联邦机器学习聚合方法，其特征在于，所述步骤2中聚合收到的本地模型参数得到新的全局参数的方法为：
3.如权利要求1所述的缓解数据异质性的联邦机器学习聚合方法，其特征在于，所述...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。