【技术实现步骤摘要】
本专利技术属于联邦学习，具体涉及一种同时提高模型异构联邦学习中泛化和个性化的方法及设备。
技术介绍
1、传统的联邦学习假设模型是同构的，这使得客户端必须暴露它们的本地模型参数，以增强服务器端模型的性能。然而，这种假设不能反映真实世界的情况。共享模型和参数给用户带来了安全隐患，并且仅仅关注服务器端模型忽略了客户端的个性化需求，潜在地阻碍了用户预期的性能提高并限制了联邦学习的适用性。此外，优先考虑个性化可能会损害服务器模型的泛化性能，从而制约服务器模型的泛化知识迁移。特别是在当客户端的模型是异构的时，联邦学习无法有效确保泛化和个性化。
技术实现思路
1、本专利技术要解决的技术问题是提供一种同时提高模型异构联邦学习中泛化和个性化的方法及设备。
2、本专利技术的内容包括：同时提高模型异构联邦学习中泛化和个性化的方法，其包括以下步骤：
3、分别将服务器端和客户端的原始模型初始化为双分支网络，
4、选择若干客户端参与训练，服务器端将初始化生成的代理数据和聚合预测值发送到选择的客户端；
5、客户端接收到代理数据和聚合预测值后，基于代理数据提取本地特征提取器，然后对客户端的双分支网络进行局部更新；
6、在更新客户端的双分支网络后上传泛化预测器，服务器端将泛化预测器视为客户的知识，对抗性地训练一个特征生成器将客户的知识编码在一起，将被编码的客户的知识保存为轻量级代理数据；
7、采用保存的轻量级代理数据训练特征提取器，训练好的特征
8、根据本专利技术的上述技术方案，还可以作出以下改进：
9、可选的，将服务器端的原始模型初始化为双分支网络包括以下方式：将服务器端的原始模型拆分为预测器和特征提取器两部分。
10、可选的，将服务器端的原始模型初始化为双分支网络包括以下方式：将服务器端的原始模型视为特征提取器，并添加额外的个性化头部和泛化头部
11、可选的，客户端的双分支网络包括个性化预测器分支和泛化预测器分支，个性化预测器分支由泛化预测器分支复制得到。
12、可选的，本地特征提取器提取到特征后，个性化预测器分支和泛化预测器分支分别对提取的特征进行分类，然后对个性化预测器分支和泛化预测器分支的输出进行校正，再基于校正后的个性化预测器分支和泛化预测器分支的输出对客户端的双分支网络进行局部更新，得到本地更新的客户端的模型。
13、可选的，特征生成器采用以下方式获得：
14、让客户端上传的泛化预测器对特征进行分类，分类过程中先确定生成器损失和多样性损失，然后基于确定的生成器损失和多样性损失，通过最小化生成器损失和多样性损失来获得特征生成器。
15、可选的，轻量级代理数据通过以下方式获得：
16、训练好的特征生成器生成一批数据，随机抽取这批数据的子集作为样本，并对样本进行平均合成得到轻量级代理数据。
17、可选的，在得到本地更新的客户端的模型前，客户端用服务器端的预测器替换客户端的预测器，并基于代理数据使用以下损失函数提取本地特征提取器：
18、
19、其中lkl表示库尔贝克-莱布勒散度，σ()表示softmax，t表示蒸馏温度；
20、xk∈dk和中的根据客户端的数据分布进行采样，表示为与xk对应的特征，dk为客户端的数据集，wek为特征提取器的模型参数，为数据xk经模型推理后得到的隐空间特征，采样过程表示为：
21、
22、其中，采样的所对应的标签与所采样的数据xk所对应的标签是相同的，对于任意采样的元组均有
23、可选的，利用泛化特征提取器重建泛化模型过程中采用以下损失函数来指导重建：
24、
25、
26、其中，lmse测量重构的泛化特征提取器e(x；we)和对应于x的标签的平均特征架构e(x；we)可以与客户端特征提取器不同；
27、取w*＝[we,wp]，其中we为训练得到的特征提取器的参数，wp为客户端上传的泛化预测器的平均值，则w*即为重建后得到的泛化模型。根据本专利技术的另一方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以上任意一项所述的方法。
28、本专利技术提供了一种同时提高模型异构联邦学习中泛化和个性化的方法及设备，在个性化和泛化方面都具有显著的提升，同时有效地协调了客户异构模型的更新过程，并成功地重建了令人满意的全局模型。
本文档来自技高网...【技术保护点】
1.同时提高模型异构联邦学习中泛化和个性化的方法，其特征是，
2.如权利要求1所述的同时提高模型异构联邦学习中泛化和个性化的方法，其特征是，将服务器端的原始模型初始化为双分支网络包括以下方式：将服务器端的原始模型拆分为预测器和特征提取器两部分。
3.如权利要求1所述的同时提高模型异构联邦学习中泛化和个性化的方法，其特征是，将服务器端的原始模型初始化为双分支网络包括以下方式：将服务器端的原始模型视为特征提取器，并添加额外的个性化头部和泛化头部
4.如权利要求2所述的同时提高模型异构联邦学习中泛化和个性化的方法，其特征是，客户端的双分支网络包括个性化预测器分支和泛化预测器分支，个性化预测器分支由泛化预测器分支复制得到。
5.如权利要求4所述的同时提高模型异构联邦学习中泛化和个性化的方法，其特征是，本地特征提取器提取到特征后，个性化预测器分支和泛化预测器分支分别对提取的特征进行分类，然后对个性化预测器分支和泛化预测器分支的输出进行校正，再基于校正后的个性化预测器分支和泛化预测器分支的输出对客户端的双分支网络进行局部更新，得到本地更新的客户
6.如权利要求3所述的同时提高模型异构联邦学习中泛化和个性化的方法，其特征是，特征生成器采用以下方式获得：
7.如权利要求1所述的同时提高模型异构联邦学习中泛化和个性化的方法，其特征是，轻量级代理数据通过以下方式获得：
8.如权利要求5所述的同时提高模型异构联邦学习中泛化和个性化的方法，其特征是，在得到本地更新的客户端的模型前，客户端用服务器端的预测器替换客户端的预测器，并基于代理数据使用以下损失函数提取本地特征提取器：
9.如权利要求8所述的同时提高模型异构联邦学习中泛化和个性化的方法，其特征是，利用泛化特征提取器重建泛化模型过程中采用以下损失函数来指导重建：
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现如权利要求1至9任意一项所述的方法。
...【技术特征摘要】
1.同时提高模型异构联邦学习中泛化和个性化的方法，其特征是，
2.如权利要求1所述的同时提高模型异构联邦学习中泛化和个性化的方法，其特征是，将服务器端的原始模型初始化为双分支网络包括以下方式：将服务器端的原始模型拆分为预测器和特征提取器两部分。
3.如权利要求1所述的同时提高模型异构联邦学习中泛化和个性化的方法，其特征是，将服务器端的原始模型初始化为双分支网络包括以下方式：将服务器端的原始模型视为特征提取器，并添加额外的个性化头部和泛化头部
4.如权利要求2所述的同时提高模型异构联邦学习中泛化和个性化的方法，其特征是，客户端的双分支网络包括个性化预测器分支和泛化预测器分支，个性化预测器分支由泛化预测器分支复制得到。
5.如权利要求4所述的同时提高模型异构联邦学习中泛化和个性化的方法，其特征是，本地特征提取器提取到特征后，个性化预测器分支和泛化预测器分支分别对提取的特征进行分类，然后对个性化预测器分支和泛化预测器分支的输出进行校正，再基于校...
【专利技术属性】
技术研发人员：王吉，张雄涛，包卫东，张耀鸿，马力，周敬轩，张大宇，钟正仪，张亮，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。