【技术实现步骤摘要】
本专利技术涉及联邦学习和分布式计算领域，具体地，涉及一种混合多阶段私有模型的个性化联邦学习方法和系统。
技术介绍
1、在有监督学习中，模型的泛化能力依赖于标注数据的规模。虽然我们的世界每天有海量的数据被创造出来，但是他们有这样的特点：
2、(1)分布的：联邦学习应用于各种异构数据源，这些数据可以来自不同的设备、地理位置、网络条件等。这些异构数据可能具有不同的分布特性和数据类型。不同设备或用户的数据通常不是独立同分布(non-iid)的，即它们的数据分布可能有很大的差异。这种不一致性增加了在分布式环境下进行模型训练的挑战。
3、(2)隐私的：因为隐私性，端和端(或者数据中心)之间的数据共享变得困难。同时，法律法规对于数据隐私性的限制也在日益完善，诸如欧盟出台的《general dataprotection regulation》等。特别的数据隐私性在医疗场景下收到了诸多关注。联邦学习通常在本地设备上进行，涉及用户的隐私数据。因此，确保在本地设备上的数据处理和传输过程中保护用户隐私是至关重要的。
4、(3)高昂的数据传输成本：海量数据的传输成本是高昂的。传输大量数据涉及网络通信开销，尤其是在大规模数据集上。在一些情况下，数据传输可能导致昂贵的成本。
5、在处理这些特点时，联邦学习研究领域一直在努力开发新的算法和技术，以确保在分布式环境下有效地训练模型，同时保护用户隐私，降低数据传输成本，并处理异构和非独立同分布的数据。随着研究的深入，联邦学习有望成为处理大规模、异构和敏感数据的有效方法
6、专利文献cn117035057a公开了一种基于模型和数据蒸馏的个性化联邦学习方法，步骤如下：在客户端构建本地模型，包含共享编码器和私有解码器。客户端根据私有数据集训练本地模型，向服务器上传共享编码器的模型参数，客户端根据本地模型计算公有数据集的输出logits并向服务器上传logits，服务器对logits和多个客户端的共享编码器模型参数分别做加权聚合，得到全局logits和多个全局编码器模型参数，各客户端下载多个全局编码器模型，更新客户端中的多个本地共享编码器模型参数，下载全局logits，以知识蒸馏的方式参与解码器的训练。然而该专利无法完全解决目前存在的技术问题，也无法满足本专利技术的需求。
技术实现思路
1、针对现有技术中的缺陷，本专利技术的目的是提供一种混合多阶段私有模型的个性化联邦学习方法和系统。
2、根据本专利技术提供的混合多阶段私有模型的个性化联邦学习方法，包括：
3、步骤s1：通过客户端下载全局模型和全局原型，并初始化本地模型、个性化模型以及本地原型；
4、步骤s2：利用本地数据通过全局模型和原型正则项训练本地模型，将本地模型与历史本地模型加权混和，同时利用本地数据训练个性化模型；
5、步骤s3：将历史本地模型与个性化模型加权混合生成新的个性化模型，再通过个性化模型生成本地原型；
6、步骤s4：客户端上传本地模型与本地原型至服务器，等待新一轮的模型参数；
7、步骤s5：服务器聚合各个模型和原型以生成全局模型和全局原型，再分发给各个客户端。
8、优选地，所述步骤s2包括：
9、通过计算得到代表全局数据特征分布的全局类原型，在局部模型训练时引入一个正则项，纠正本地训练的偏移，表达式为：
10、
11、其中，l2表示欧氏距离；li表示交叉熵损失函数；表示第j类数据的全局类原型；表示客户端i的本地类原型；w为本地模型参数；x为输入数据；y为输入数据x的真实标签；c是图像类别原型表示；λ为超参数，控制正则项的惩罚权重；
12、然后将本地模型与历史本地模型加权混合，以保留全局信息，表达式为：
13、
14、其中，history表示将每轮本地模型wi,t累加后的历史本地模型；t表示迭代的轮次；β为超参数，控制模型混合比例；wi,t表示第i个客户端第t轮的本地模型参数。
15、优选地，所述步骤s3包括：
16、为将本地信息和全局信息混合实现个性化，将历史本地模型和个性化模型赋权混合得到新一轮的个性化模型，表达式为：
17、
18、其中，为个性化模型，用于本地训练生成下一轮的pi,t+1和本地类原型；t为迭代的轮次；μ为超参数，控制模型混合比例；个性化模型用本地数据训练一轮得到pi,t，此模型和历史本地模型混合得到新一轮的个性化模型
19、优选地，将模型p分为表示层以及预测层，表达式为：
20、p∶＝[pr+pd]
21、z＝g(x；pr)
22、y＝h(x；pd)
23、其中，pr和pd分别表示模型的表示层参数和预测层参数；z表示对于输入x经过表示层后的输出；y表示对于输入x经过预测层后的输出；函数g表示输入数据经过模型表示层pr后的结果；函数h表示输入数据经过预测层pd后的结果；
24、定义cj来表示图像输入中第j类的原型，则对于客户端i，其第j类的原型表示为即第j类数据经过表示层之后的向量平均，表达式为：
25、
26、其中，di,j表示客户端i的数据集中的第j类数据；
27、在模型训练阶段用l2距离来衡量模型与原型对于输入x的预测差异，表达式为：
28、y＝argminj||g(x；pr)-cj||2。
29、优选地，所述步骤s5包括：
30、对于类j的全局原型，从各个客户端收集类j的本地原型，通过聚合不同客户端的本地原型得到类j的全局原型表达式为：
31、
32、其中，表示有关于j类数据的客户端集合，sj为j的数据量；
33、同时收集不同客户端的本地模型，聚合得到全局模型，表达式为：
34、
35、其中，n为客户端总个数。
36、根据本专利技术提供的混合多阶段私有模型的个性化联邦学习系统，包括：
37、模块m1：通过客户端下载全局模型和全局原型，并初始化本地模型、个性化模型以及本地原型；
38、模块m2：利用本地数据通过全局模型和原型正则项训练本地模型，将本地模型与历史本地模型加权混和，同时利用本地数据训练个性化模型；
39、模块m3：将历史本地模型与个性化模型加权混合生成新的个性化模型，再通过个性化模型生成本地原型；
40、模块m4：客户端上传本地模型与本地原型至服务器，等待新一轮的模型参数；
41、模块m5：服务器聚合各个模型和本文档来自技高网...
【技术保护点】
1.一种混合多阶段私有模型的个性化联邦学习方法，其特征在于，包括：
2.根据权利要求1所述的混合多阶段私有模型的个性化联邦学习方法，其特征在于，所述步骤S2包括：
3.根据权利要求2所述的混合多阶段私有模型的个性化联邦学习方法，其特征在于，所述步骤S3包括：
4.根据权利要求3所述的混合多阶段私有模型的个性化联邦学习方法，其特征在于，将模型p分为表示层以及预测层，表达式为：
5.根据权利要求4所述的混合多阶段私有模型的个性化联邦学习方法，其特征在于，所述步骤S5包括：
6.一种混合多阶段私有模型的个性化联邦学习系统，其特征在于，包括：
7.根据权利要求6所述的混合多阶段私有模型的个性化联邦学习系统，其特征在于，所述模块M2包括：
8.根据权利要求7所述的混合多阶段私有模型的个性化联邦学习系统，其特征在于，所述模块M3包括：
9.根据权利要求8所述的混合多阶段私有模型的个性化联邦学习系统，其特征在于，将模型p分为表示层以及预测层，表达式为：
10.根据权利要求9所述的混合多阶
...【技术特征摘要】
1.一种混合多阶段私有模型的个性化联邦学习方法，其特征在于，包括：
2.根据权利要求1所述的混合多阶段私有模型的个性化联邦学习方法，其特征在于，所述步骤s2包括：
3.根据权利要求2所述的混合多阶段私有模型的个性化联邦学习方法，其特征在于，所述步骤s3包括：
4.根据权利要求3所述的混合多阶段私有模型的个性化联邦学习方法，其特征在于，将模型p分为表示层以及预测层，表达式为：
5.根据权利要求4所述的混合多阶段私有模型的个性化联邦学习方法，其特征在于，所述步骤s5包括：
...【专利技术属性】
技术研发人员：熊黎丽，韩鹏，甘宇琦，包维杰，
申请(专利权)人：重庆市科学技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。