【技术实现步骤摘要】
本专利技术涉及机器学习，特别涉及一种面向非独立同分布数据的最大相似性联邦学习方法及系统。
技术介绍
1、深度学习的发展需要海量数据作为训练样本，但包含隐私信息的数据通常会在数据传输和数据交换时造成敏感信息泄露。此外，随着隐私问题的增加和数据保护法规的逐渐完善，许多人和公司逐渐放弃共享自身的数据，这造成数据以孤岛的形式出现和使用，严重影响了深度学习的发展。在联邦学习的过程中，客户端不会将自身的数据集暴露给服务器和网络，而是在中央服务器的协调下选择性的共享自己的本地模型，这种方式不仅保证了客户端的数据隐私安全，也有效解决了因隐私安全限制造成的数据孤岛问题。作为隐私保护的优秀学习方案之一，联邦学习在某些领域中已经显示出了其独特的潜力，例如医学图像分析、金融分析、目标检测等领域。
2、有研究表明，在独立同分布(iid)和非独立同分布(non-iid)场景下，联邦学习能够在前者的场景中表现出更强的模型性能，这是因为客户端所拥有的数据数量和类别都是一致的，不会造成本地模型与全局最优模型的收敛方向不一致。然而，在现实世界中，用户的私有数据往往以non-iid形式存在，这是因为用户的使用习惯和爱好存在差异。此外，non-iid数据在联邦学习训练过程中会造成模型偏移，导致全局模型的性能下降，甚至难以收敛。最近，有学者提出个性化方案解决non-iid数据对联邦学习的影响，这些研究可分为两个方向：一种是全局模型个性化，通常只训练一个全局模型，并通过限制本地模型和全局模型在参数空间上的偏差或者降低数据异构来稳定本地训练，增强全局模型的泛化能
技术实现思路
1、为此，本专利技术提供一种面向非独立同分布数据的最大相似性联邦学习方法及系统，解决现有联邦训练学习中全局最优模型与本地模型的收敛方向出现偏移的问题，将全局模型与本地模型之间的隐含关系引入联邦学习中，降低异构数据对联邦学习的影响，提升模型整体训练效果。
2、按照本专利技术所提供的设计方案，一方面，提供一种面向非独立同分布数据的最大相似性联邦学习方法，包含：
3、参与当前轮次联邦学习的若干客户端获取最新全局模型，通过遍历模型层并基于预设系数生成各客户端自身用于矫正本地模型偏移的最大相似性模型；
4、各客户端基于最大相似性模型及预设本地目标损失函数进行本地训练，并将本地更新的梯度上传至服务器；
5、针对各客户端上传的本地更新梯度，服务器通过平均聚合操作生成下一轮联邦学习的全局模型。
6、作为本专利技术面向非独立同分布数据的最大相似性联邦学习方法，进一步地，参与当前轮次联邦学习的若干客户端获取最新全局模型之前，还包含：
7、从本地客户端集合中随机选取若干客户端，以利用随机选取的若干客户端来参与当前轮次的联邦学习，其中，随机选取的若干客户端个数小于本地客户端集合中客户端总数。
8、作为本专利技术面向非独立同分布数据的最大相似性联邦学习方法，进一步地，通过遍历模型层并基于预设系数生成客户端自身用于矫正本地模型偏移的最大相似性模型，包含：
9、首先，遍历模型层，基于预设系数获取当前层级的相似性模型权重，利用余弦相似性度量函数获取当前层级模型在上一轮联邦训练与当前轮次联邦训练中的相似度，基于相似度和预设系数得到当前层级最大相似性模型，其中，预设系数包括相似性系数和通用相似性值；
10、然后，基于各层级的最大相似性模型获取当前轮次联邦学习中客户端自身的最大相似性模型，以将客户端自身的最大相似性模型引入本地训练来纠正本地模型偏移。
11、作为本专利技术面向非独立同分布数据的最大相似性联邦学习方法，进一步地，基于预设系数获取当前层级的相似性模型权重，包含：
12、相似性模型权重包括基于反相似系数和当前层级模型梯度获取的第一相似性模型权重和基于通用相似系值和当前层级模型梯度获取的第二相似性模型权重，其中，反相似性系数＝1-相似性系数。
13、作为本专利技术面向非独立同分布数据的最大相似性联邦学习方法，进一步地，基于相似度和预设系数得到当前层级最大相似性模型，包含：
14、基于相似度和相似性系数大小来获取当前层级最大相似性模型，若相似度大于相似性系数，则基于第一相似性模型权重来获取当前层级最大相似性模型，否则，基于第二相似性模型权重获取当前层级最大相似性模型。
15、作为本专利技术面向非独立同分布数据的最大相似性联邦学习方法，进一步地，各客户端基于最大相似性模型及预设本地目标损失函数进行本地训练，包含：
16、基于本地数据样本并利用预设本地目标损失函数对本地模型进行循环训练，依据学习率、训练损失及最大相似性模型来更新本地模型参数，直至满足预设训练批次。
17、作为本专利技术面向非独立同分布数据的最大相似性联邦学习方法，进一步地，预设本地目标损失函数表示为：其中，为当前第t轮次联邦学习中客户端i的本地模型，b为预设训练批次，x为训练批次中本地数据样本，y为训练批次中样本标签。
18、进一步地，本专利技术还提供一种面向非独立同分布数据的最大相似性联邦学习系统，包含：服务器和各客户端，基于服务器和各客户端通过预设循环条件下的联合训练来获取目标预测模型，其中，
19、在预设循环条件下的联合训练过程一轮联邦学习中，参与当前轮次联邦学习的若干客户端获取最新全局模型，通过遍历模型层并基于预设系数生成各客户端自身用于矫正本地模型偏移的最大相似性模型；各客户端基于最大相似性模型及预设本地目标损失函数进行本地训练，并将本地更新的梯度上传至服务器；针对各客户端上传的本地更新梯度，服务器通过平均聚合操作生成下一轮联邦学习的全局模型。
20、本专利技术的有益效果：
21、本专利技术根据全局模型和本地模型之间的隐含关系循环计算模型层级之间的相似性关系，利用相似性系数和通用相似性值生成最大相似性模型，并将该模型应用到本地模型的训练过程中，实现对本地模型偏移的矫正，提升全局模型性能。并进一步通过实验数据表明，在多种数据异构场景中，本案方案在有效矫正模型偏移问题的同时，也具有更好的准确性和稳定性，便于在实际场景中的应用部署。
本文档来自技高网...【技术保护点】
1.一种面向非独立同分布数据的最大相似性联邦学习方法，其特征在于，包含：
2.根据权利要求1所述的面向非独立同分布数据的最大相似性联邦学习方法，其特征在于，参与当前轮次联邦学习的若干客户端获取最新全局模型之前，还包含：
3.根据权利要求1所述的面向非独立同分布数据的最大相似性联邦学习方法，其特征在于，通过遍历模型层并基于预设系数生成客户端自身用于矫正本地模型偏移的最大相似性模型，包含：
4.根据权利要求3所述的面向非独立同分布数据的最大相似性联邦学习方法，其特征在于，基于预设系数获取当前层级的相似性模型权重，包含：
5.根据权利要求4所述的面向非独立同分布数据的最大相似性联邦学习方法，其特征在于，基于相似度和预设系数得到当前层级最大相似性模型，包含：
6.根据权利要求1所述的面向非独立同分布数据的最大相似性联邦学习方法，其特征在于，各客户端基于最大相似性模型及预设本地目标损失函数进行本地训练，包含：
7.根据权利要求1或6所述的面向非独立同分布数据的最大相似性联邦学习方法，其特征在于，预设本地目标损失函数表示
8.一种面向非独立同分布数据的最大相似性联邦学习系统，其特征在于，包含：服务器和各客户端，基于服务器和各客户端通过预设循环条件下的联合训练来获取目标预测模型，其中，在预设循环条件下的联合训练过程一轮联邦学习中，参与当前轮次联邦学习的若干客户端获取最新全局模型，通过遍历模型层并基于预设系数生成各客户端自身用于矫正本地模型偏移的最大相似性模型；各客户端基于最大相似性模型及预设本地目标损失函数进行本地训练，并将本地更新的梯度上传至服务器；针对各客户端上传的本地更新梯度，服务器通过平均聚合操作生成下一轮联邦学习的全局模型。
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当计算机程序被执行时，能够实现如权利要求1～7任一项所述的方法。
...【技术特征摘要】
1.一种面向非独立同分布数据的最大相似性联邦学习方法，其特征在于，包含：
2.根据权利要求1所述的面向非独立同分布数据的最大相似性联邦学习方法，其特征在于，参与当前轮次联邦学习的若干客户端获取最新全局模型之前，还包含：
3.根据权利要求1所述的面向非独立同分布数据的最大相似性联邦学习方法，其特征在于，通过遍历模型层并基于预设系数生成客户端自身用于矫正本地模型偏移的最大相似性模型，包含：
4.根据权利要求3所述的面向非独立同分布数据的最大相似性联邦学习方法，其特征在于，基于预设系数获取当前层级的相似性模型权重，包含：
5.根据权利要求4所述的面向非独立同分布数据的最大相似性联邦学习方法，其特征在于，基于相似度和预设系数得到当前层级最大相似性模型，包含：
6.根据权利要求1所述的面向非独立同分布数据的最大相似性联邦学习方法，其特征在于，各客户端基于最大相似性模型及预设本地目标损失函数进行本地训练，包含：
7.根据权利要求1或6所述的面向非独立同分布数据...
【专利技术属性】
技术研发人员：杜学绘，杨钱涛，刘敖迪，王娜，王文娟，
申请(专利权)人：中国人民解放军战略支援部队信息工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。