使用超网解决异构联邦学习的方法、设备及介质技术

本发明专利技术公开了一种使用超网解决异构联邦学习的方法、设备及介质，以实现通过超网为边缘设备上的异构模型生成模型权重，帮助如摄像头、智能手机等设备上的不同卷积神经网络模型能够在不同模型结构的情况下，依然能够准确快速地完成模型的联邦学习任务，并减少了在联邦学习训练过程中所需占用的内存空间。包括合理划分cifar10数据集；生成异构模型；进行异构联邦学习；重复步骤S2、S3，当客户端异构模型收敛时，超网为客户端生成模型权重，可以让客户端模型准确完成目标识别任务，此时超网H直接部署在新的边缘设备中为新的异构模型生成权重，完成新的图像处理任务。有效完成图像处理任务，减少内存空间，极大地降低了通信成本。极大地降低了通信成本。极大地降低了通信成本。

【技术实现步骤摘要】
使用超网解决异构联邦学习的方法、设备及介质


[0001]本专利技术属于联邦学习
，特别是涉及一种使用超网解决异构联邦学习的方法、电子设备、计算机存储介质。

技术介绍

[0002]移动设备和物联网设备正在成为全球数十亿用户的主要计算资源。这些设备所产生了大量的数据，可用于改进许多现有的应用程序。从隐私和经济的角度来看，由于这些设备的计算能力不断增长，在本地存储数据和训练模型变得越来越有吸引力。联邦学习(FL)是一个分布式机器学习框架，通过聚合局部训练的模型参数，使许多客户能够在不共享本地数据的情况下生成全局推理模型。一个被广泛接受的假设是，局部模型必须与全局模型采用相同的架构，才能够使用联邦学习的方法，从而产生一个单一的全局推理模型。有了这个基本的假设，我们必须限制计算能力最低的客户的全局模型的复杂性来训练其数据。在实践中，每个客户端的计算资源、计算能力和通信带宽都不同，需要在不同客户端部署异构的深度学习模型从而满足不同客户端的性能需求，因此解决异构客户端问题至关重要。
[0003]异构联邦学习(也可以称为，个性化联邦学习，PFL)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.使用超网解决异构联邦学习的方法，其特征在于，按照以下步骤进行：S1，生成异构模型并初始化模型参数；S2，生成异构模型参数；S3，进行异构联邦学习；S4，重复步骤S2、S3，当客户端异构模型收敛时，超网为客户端生成模型权重，可以让客户端模型准确完成目标识别任务，此时超网H直接部署在新的边缘设备中为新的异构模型生成权重，完成新的图像处理任务。2.根据权利要求1所述的使用超网解决异构联邦学习的方法，其特征在于，所述S1中，服务器端一开始会根据边缘设备的计算能力选择生成异构模型并初始化异构模型参数，然后把相应的异构模型分发到每个边缘设备上，每个边缘设备上有其自身的图像数据集，这些图像数据集只会在当前设备上用于异构模型和超网的训练不与其他边缘设备和服务器进行共享。3.根据权利要求1所述的使用超网解决异构联邦学习的方法，其特征在于，所述S2包括：S2.1，初始化联邦学习训练环境：设定整体训练轮次E、本地数据T、参与联邦学习的整体客户端数m，每轮挑选参与联邦学习的客户端数量为M，初始化超网模型H；S2.2，服务器在云端为每个客户端M
i
设置好相对应的客户端异构模型C
i
，服务器端会向客户端发送统一的超网模型H
i
，客户端在接收到超网后，开始联邦学习训练，在一轮训练结束后在把超网模型H
i
返回到服务器端；S2.3，生成异构模型参数。4.根据权利要求3所述的使用超网解决异构联邦学习的方法，其特征在于，所述S2.3包括：S2.3.1，在当前客户端，线性网络的层数根据客户端模型的复杂度和结构来设置，超网模型H
i
生成卷积网络的卷积核的参数权重，客户端网络中每个卷积核都包含K
in
×
K
out
滤波器，每个滤波器尺寸都有f
size
×
f
size
，假设这些卷积核参数权重都存储在一个矩阵中，客户端网络每一层l＝1,..,D，D为C
i
的层数，对于客户端网络的每一层l，超网模型H
i
...

【专利技术属性】
技术研发人员：任皓，李达，刘敏超，刘通泽，段振飞，
申请(专利权)人：中国人民解放军总医院，
类型：发明
国别省市：