【技术实现步骤摘要】
本专利技术涉及多模型联邦学习，尤其涉及基于多模型的鲁棒异构联邦学习方法及系统。
技术介绍
1、在大数据时代的背景下，用户设备在日常使用中会产生大量数据。在传统的集中式机器学习方法中，用户的数据必须直接上传到服务器中，存在数据泄露隐患，给数据隐私带来风险。此外，随着社会对数据隐私保护的意识越来越强，如《中华人民共和国网络安全法》等针对隐私保护的法律约束不断涌现，使得传统的数据聚合方法不再可行。因此，机器学习模型的训练方法逐渐从集中式转向分散式，如联邦学习的方法。联邦学习方法可以在不接触用户私有数据的情况下，通过用户与服务器之间的协作学习，在数据孤岛上构建全局模型，同时实现数据隐私保护。
2、在医疗领域中的图像数据，如ct图像、磁共振图像等隐私数据，可以通过联邦学习在保护数据隐私安全的前提下训练得到一个疾病识别模型。然而，用户的图像数据的数据分布往往是非独立同分布的，这种数据异构情况会导致模型的收敛情况变差。仅仅单一的模型往往不能准确地甄别异构的医疗图像数据的数据分布并构建出高性能的模型。此外，具有敌意用户(如竞争医疗机构)会对用于训练的图像数据进行投毒攻击，使服务器的单一模型被污染而失效。在单模型联邦学习框架中，一旦唯一的全局模型失效，系统将直接瘫痪，需要大量的时间训练、重启，系统的鲁棒性较弱。
技术实现思路
1、为了解决上述技术问题，本专利技术的目的是提供基于多模型的鲁棒异构联邦学习方法及系统，能够利用多模型有效解决医疗图像中的数据异构问题与鲁棒问题。
2、
3、根据场景任务在服务器内建立若干个全局模型；
4、对服务器内的全局模型进行初始化，并随机初始化全局最优模型以及局部最优模型；
5、基于客户端匹配机制为服务器中的全局模型匹配客户端；
6、基于联邦粒子群算法对全局模型进行并行迭代训练，得到更新的局部最优模型；
7、服务器对更新的局部最优模型进行聚合，得到更新的全局最优模型。
8、进一步，所述基于客户端匹配机制为服务器中的全局模型匹配客户端这一步骤，其具体包括：
9、在服务器内初始化一个皮尔逊相关系数矩阵；
10、计算同一全局模型在不同客户端下的更新方向之间的皮尔逊相关系数；
11、基于皮尔逊相关系数对初始化皮尔逊相关系数矩阵进行动态调整，反映出异构客户端的分布性；
12、基于异构客户端的分布性为全局模型选取客户端。
13、通过该优选步骤，使多模型免受客户端数据分布差异的影响，使联邦粒子群算法的收敛加速，实现联邦学习的个性化。
14、进一步，所述皮尔逊相关系数矩阵c，其计算表达式如下：
15、
16、
17、其中，k,l表示两个不同的客户端，λ表示挥发系数，表示不同客户端下的全局模型的更新方向，ρ表示皮尔逊相关系数，d表示两向量的欧氏距离，表示在t时刻皮尔逊相关系数矩阵中的第k行第l列。
18、进一步，所述基于联邦粒子群算法对全局模型进行并行迭代训练，得到更新的局部最优模型这一步骤，其具体包括：
19、基于本地数据和损失函数计算全局模型的适应度；
20、基于梯度因子对联邦粒子群算法进行优化，得到全局模型的更新速度属性；
21、基于全局模型的适应度和初始局部最优模型的适应度之间的比较结果，得到更新的局部最优模型。
22、通过该优选步骤，以客户端持有的局部最优模型作为粒子的个体指引，减少通讯传输量，避免过高的通讯开销，实现联邦学习环境下客户端的解的个性化，使每个客户端持有专属解，一定程度上规避了异构数据对全局模型的负面影响，大幅提高了客户端的模型精度。
23、进一步，所述全局模型的更新速度属性，其计算表达式如下：
24、
25、
26、其中，表示第k个客户端全局模型的更新速度属性，cbestk表示第k个客户的局部最优模型，δik表示第k个客户端中迭代更新了e轮的梯度因子，表示第k个客户端本地计算第e轮的梯度，gbestγ表示最佳全局模型，表示速度属性，表示位置属性，ω、c1、c2、c3均表示自定义参数，r、r2、r3均表示0到1之间的均匀随机数。
27、进一步，所述全局模型的适应度，其计算表达式如下：
28、
29、其中，fk(·；·)表示神经网络所选取的损失函数，表示第k个客户端中全局模型的适应度，(α,β)表示第k个客户端中的某一样本对应的特征与标签，表示预测标签，dk表示本地数据，nik表示第i个模型所选择的客户端k的数据样本量。
30、进一步，所述服务器对更新的局部最优模型进行聚合，得到更新的全局最优模型这一步骤，其具体包括：
31、客户端将更新的局部最优模型上传到服务器中，并进行属性聚合，得到聚合后全局模型的位置属性和速度属性；
32、基于更新的局部最优模型的适应度确定聚合后全局模型的适应度；
33、基于聚合后全局模型的适应度和初始全局最优模型的适应度之间的比较结果，得到更新的全局最优模型。
34、通过该优选步骤，在服务器完成了全局模型的更新、在客户端中完成了局部模型的更新，单轮通讯完成所有粒子的更新，降低了联邦学习中的通讯开销，同时也保持了联邦粒子群算法的高精度与高鲁棒性。
35、进一步，所述聚合后全局模型的位置属性和速度属性，其表达式如下：
36、
37、
38、其中，表示聚合后的速度属性，表示客户端，表示第k个客户端全局模型的更新速度属性，表示聚合后的位置属性，nik表示第i个模型所选择的客户端k的数据样本量，ni表示第i个模型所选择所有客户端的总数据样本量。
39、本专利技术所采用的第二技术方案是：基于多模型的鲁棒异构联邦学习系统，包括：
40、服务器构建模块，用于根据场景任务在服务器内建立若干个全局模型；
41、初始化模块，用于对服务器内的全局模型进行初始化，并随机初始化全局最优模型以及局部最优模型和皮尔逊相关系数矩阵；
42、匹配模块，基于客户端匹配机制为服务器中的全局模型匹配客户端；
43、粒子群更新模块，基于联邦粒子群算法对全局模型进行并行迭代训练，得到更新的局部最优模型；
44、服务器聚合模块，服务器对更新的局部最优模型进行聚合，得到更新的全局最优模型。
45、本专利技术方法、系统的有益效果是：本专利技术通过客户端匹配机制，利用多模型从多角度准确判断异构数据的数据分布情况，实现训练多模型个性化，提高联邦学习处理异构图像数据的能力；通过加入了梯度因子的联邦粒子群算法，同时并行优化多个模型的同时减少联邦学习通信迭代次数，实现客户端模型个性化；而且，联邦粒子群算法使多模型具备多样性，有效地提高了集成轻量本文档来自技高网...
【技术保护点】
1.基于多模型的鲁棒异构联邦学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述基于多模型的鲁棒异构联邦学习方法，其特征在于，所述基于客户端匹配机制为服务器中的全局模型匹配客户端这一步骤，其具体包括：
3.根据权利要求2所述基于多模型的鲁棒异构联邦学习方法，其特征在于，所述皮尔逊相关系数矩阵C，其计算表达式如下：
4.根据权利要求1所述基于多模型的鲁棒异构联邦学习方法，其特征在于，所述基于联邦粒子群算法对全局模型进行并行迭代训练，得到更新的局部最优模型这一步骤，其具体包括：
5.根据权利要求4所述基于多模型的鲁棒异构联邦学习方法，其特征在于，所述全局模型的更新速度属性，其计算表达式如下：
6.根据权利要求4所述基于多模型的鲁棒异构联邦学习方法，其特征在于，所述全局模型的适应度，其计算表达式如下：
7.根据权利要求1所述基于多模型的鲁棒异构联邦学习方法，其特征在于，所述服务器对更新的局部最优模型进行聚合，得到更新的全局最优模型这一步骤，其具体包括：
8.根据权利要求7所述基于多模型的鲁棒异构
9.基于多模型的鲁棒异构联邦学习系统，其特征在于，包括：
...【技术特征摘要】
1.基于多模型的鲁棒异构联邦学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述基于多模型的鲁棒异构联邦学习方法，其特征在于，所述基于客户端匹配机制为服务器中的全局模型匹配客户端这一步骤，其具体包括：
3.根据权利要求2所述基于多模型的鲁棒异构联邦学习方法，其特征在于，所述皮尔逊相关系数矩阵c，其计算表达式如下：
4.根据权利要求1所述基于多模型的鲁棒异构联邦学习方法，其特征在于，所述基于联邦粒子群算法对全局模型进行并行迭代训练，得到更新的局部最优模型这一步骤，其具体包括：
5.根据权利要求4所述基于多模型的鲁...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。