【技术实现步骤摘要】
本专利技术属于信息，特别是涉及一种使用自适应网络解决个性化联邦学习的方法及设备。
技术介绍
1、过去几年，联邦学习在统计机器学习和安全多方计算的基础之上发展得日趋成熟，并开始演化出横向联邦学习、纵向联邦学习和迁移联邦学习三大研究范围。本专利技术主要针对于横向联邦学习。fedavg是一种经典的横向联邦学习方法，它将模型参数直接发送到服务器端通过全局模型进行平均，再将模型发送到客户端。在fedavg算法中，客户端和服务器端都采用一个相同的机器学习模型，作为联邦学习的经典和基准算法，展示了较强的协作学习来提高模型精度的能力。但是将其应用到不同的场景时，会面临两大关键挑战：
2、(1)不同方数据分布的异构性。联邦学习在数据满足独立同分布(iid)的情况下，可以获得比本地模型单独训练更好的效果。但在许多现实世界的应用中，数据可以在各方之间不相同地分布(non-iid)，当每一方更新其局部模型时，其局部目标可能远离全局目标。因此，会导致平均的全局模型远离全局最优值，从而使联邦学习效果大幅度下降。(2)模型的异构问题。越来越多的研究将联邦学习和边缘计算结合起来，参与联合学习的设备可能使用不同的硬件平台，鉴于不同的硬件平台的计算能力往往有类似的运行时性能要求，所以不同设备必须使用不同的深度学习模型来满足性能要求，这就打破了联合学习使用相同模型的假设。
3、针对联邦学习的第一种挑战，最近不少的研究尝试解决数据分布异构性的问题。如fedprox通过l2范数距离直接限制局部更新，而scaffold通过方差缩减校正局部更新。p>
4、然而对于模型异构的问题，相比之下所做的研究较少。有些工作尝试使用模型剪枝、蒸馏和量化等方法来完成异构模型的联邦学习，在本文中，统称这些方法为静态方法。但在一些高并行度硬件上，这些静态的方法不能够有效降低模型的推理延迟，而延迟是很多边缘系统重要的衡量指标。目前在图像领域，部分文献观察到，对于一些简单的图像，模型可以跳过模型中的一些块而不降低预测精度。因此，一些方法例如跳层的skipnet和早退的branchynet(early exit)提出，根据输入图像自适应地跳过一些层或者提前退出网络，可以降低推理的计算量。虽然这些方法与原始模型相比可以减少计算开销，但这些方法需要使用复杂的辅助网络来确定跳过哪些块，如rnn、强化学习代理。因此，需要动态的自适应网络模型来为每个边缘设备定制其个性化的模型，提高模型的准确率，同时减少模型的计算开销和延迟，从而解决联邦学习中模型异构的问题。
技术实现思路
1、本专利技术实施例的目的在于提供一种使用自适应网络解决个性化联邦学习的方法及设备，以实现为存在不同数据分布的边缘设备提供高效的个性化服务，帮助如智能手机，智能传感器等不同设备通过联邦学习快速定制其神经网络模型，并根据其中存在的不同数据分布进行动态调整，降低设备训练和学习过程中的计算量和延迟，解决了边缘联邦学习模型异构性的问题。
2、本专利技术第二目的是，提供一种设备。
3、为解决上述技术问题，本专利技术所采用的技术方案是，使用自适应网络解决个性化联邦学习的方法，包括以下步骤：
4、s1：设置并搭建联邦学习环境；
5、s2：中心服务器生成一个自适应全局网络模型并初始化模型参数，将生成的全局网络模型下发给设备；
6、s3：将s2中每个设备保存的本地个性化模型上传到中心服务器进行模型参数整合；
7、s4：重复s2-s3，直至中心服务器模型收敛或设备与中心服务器通信轮数结束。
8、进一步的，所述s1包括：
9、s1.1：初始化联邦学习训练参数：设置设备与中心服务器通信轮数e、设置每轮随机参与联邦学习训练的设备数m；
10、s1.2：划分并保存本地数据。
11、进一步的，所述s2包括：
12、s2.1：中心服务器根据不同设备的计算能力，生成一个统一的自适应网络模型w并初始化模型的参数，这个自适应模型包括主干网络和由控制单元组成的辅助网络；
13、s2.2：中心服务器端将这个生成的自适应网络模型w下发给每个参与联邦学习训练的设备；
14、s2.3：设备收到自适应网络模型w之后，通过设备自身包含的数据tk进行模型的个性化训练，其中k指设备号，tk指k号设备自身包含的数据；
15、监督学习的训练阶段：模型根据控制单元中门控模块的决策，动态地选择层的执行或跳过，并保存训练完成的自适应网络模型，包括：
16、s2.3.1：在设备中，选择用ofas网络作为主干网络；辅助网络是一个二进制控制单元；控制单元包括一个全局平均池化层avgpool、两个全连接层fc以及一个激活函数sigmoid；
17、为每个设备分配不同的独立同分布和非独立同分布数据，使用cifar10和cifar100数据集进行训练和测试模型；
18、s2.3.2：将经过第一层卷积层输出的中间特征图x，输入到控制单元的门控模块中，首先经过全局平均池化层将特征图大小缩小到1×1，其中，表示第一个卷积层的中间特征图，c1、h1、w1分别表示第一层卷积层的通道个数、通道高度、通道宽度，r表示网络中顺序出现的所有特征图的总和；然后经过两层全连接层，再通过激活函数输出所有可跳过网络层的预估值sl；
19、
20、
21、sl＝[s1(x)，s2(x)，···，sn(x)]；
22、其中，sl是一个n维向量，fj表示第j个fc层，n表示模型中的主干网络的层数；e指数学中的欧拉常数；
23、s2.3.3：引入一个阈值t∈[0,1)计算二进制值gi，gi表示该层执行或跳过；
24、对于每一层操作而言，门的跳过决策具体公式如下：
25、
26、其中，gi＝0时表示跳过层i，gi＝1时表示执行层i；表示sl的第i个元素,即来自第i个可跳过层的输出，i∈[1，n]，t代表一个控制网络准确性和效率的控制按钮值，设置阈值t为0.5；
27、s2.3.4：将一个批次的特征图xi输入到第i层网络层fi中获得新特征图fi(xi)，根据gi输出的决策值，保留决策值为1的新特征图fi(xi)，决策值为0的新特征图被xi代替，将两部分重新整合在一起形成第i层的中间结果特征图xi+1；
28、中间结果特征图的具体计算公式如下：
29、xi+1＝gi(xi)fi(xi)+(1-gi(xi))xi
30、其中，网络中第i层的中间结果表示为xi+1，gi(xi)是门控决策，xi是第i层的输入，fi(xi)为将特征图xi输入到第i层网络层fi中得到的新特征图fi(xi)；
31、前向传播，当i＝n时，得到第n层的最终特征图xn+1；
32、s2.3.5：通过网络的前向传播，可以得到模型监督学习的交叉熵损失；
33、s2.3.6：通过前向传本文档来自技高网...
【技术保护点】
1.一种使用自适应网络解决个性化联邦学习的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种使用自适应网络解决个性化联邦学习的方法，其特征在于，所述S1包括：
3.根据权利要求1所述的一种使用自适应网络解决个性化联邦学习的方法，其特征在于，所述S2包括：
4.根据权利要求3所述的一种使用自适应网络解决个性化联邦学习的方法，其特征在于，所述S2.3.7包括：
5.根据权利要求3所述的一种使用自适应网络解决个性化联邦学习的方法，其特征在于，所述S3包括：
6.根据权利要求3～5所述的一种使用自适应网络解决个性化联邦学习的方法，其特征在于，所述S4包括：重复S2～S3，直至服务器模型收敛或设备与服务器通信轮数结束；
7.根据权利要求6所述的一种使用自适应网络解决个性化联邦学习的方法，其特征在于，所述直至服务器模型收敛或设备与服务器通信轮数结束，服务器模型收敛、设备与服务器通信轮数结束两个指标，以先完成的指标作为步骤结束的指标。
8.一种使用自适应网络解决个性化联邦学习的设备，其特征在于，采用
...【技术特征摘要】
1.一种使用自适应网络解决个性化联邦学习的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种使用自适应网络解决个性化联邦学习的方法，其特征在于，所述s1包括：
3.根据权利要求1所述的一种使用自适应网络解决个性化联邦学习的方法，其特征在于，所述s2包括：
4.根据权利要求3所述的一种使用自适应网络解决个性化联邦学习的方法，其特征在于，所述s2.3.7包括：
5.根据权利要求3所述的一种使用自适应网络解决个性化联邦学习的方法，其特征在于，所述s3包括：
6....
【专利技术属性】
技术研发人员：游梦旸，何臻力，刘迪，刘靖，雷友鹏，官志谦，李泊函，巩倩颖，段碧青，
申请(专利权)人：云南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。