边缘场景下动态权重的联邦学习方法技术

本发明专利技术公开了一种边缘场景下动态权重的联邦学习方法，涉及机器学习技术领域，包括筛选客户端；下发全局模型给各客户端；客户端更新自身的计算能力值；客户端对全局模型进行训练；客户端根据计算能力值λ

【技术实现步骤摘要】
边缘场景下动态权重的联邦学习方法


[0001]本专利技术涉及机器学习
，具体而言，涉及一种边缘场景下动态权重的联邦学习方法。

技术介绍

[0002]传统的风能预测的方法如基于数值天气预报(NWP)的预测、时间序列预测、基于人工神经网络预测等，但由于各地的风力数据通常都是质量很差的数据且数据分布较为分散，同时这类数据大多属于隐私信息，因此容易形成一个个“数据孤岛”，导致传统方法在实际中对风能预测效果并不是很理想。因此考虑通过联邦学习对数据进行增强，以辅助其他的风能预测方法对风力发电问题进行进一步优化。
[0003]联邦学习的优化目标是为了最小化所有样本的平均损失，公式如吓
[0004][0005][0006]其中，F
k
(w)代表第k个客户端所有数据的平均损失，f(w)表示当前参数下所有客户的加权平均损失，即目标函数。
[0007]如果所有P
k
(第k个客户端的数据)都是通过随机均匀地将训练样本分布在客户端上来形成的，即数据都是独立同分布的，那么每一个F
k
(w)的期望都是f(w)，本地训练得到的模型和全局聚合的模型偏差几乎不大。
[0008]但不同设备的数据往往为非独立同分布，当服务器初始化全局参数发放给每个客户端，每个客户端根据各自的本地数据训练相同的轮数，由于数据的异质性(不同客户端间数据分布的不一致性)和设备的异构性(在给定时间内只有一小部分客户端能够用于训练，并且不同设备的计算能力可能不同)可能产生模型偏移。如果按照以往的随机梯度下降更新，并在本地训练结束后对模型取均值，得到的全局模型并不会在最优解的位置。
[0009]目前，在已有的联邦学习优化算法中，作为最早提出的优化算法，将移动设备分散数据的训练问题作为重要的研究方向，但对数据异质和设备异构没有很好的解决办法。FedProx、FdeNova通过在本地训练中加入正则项来控制不同本地模型优化方向，虽然没有引入额外不可接受的开销，但是需要本地模型在每一次训练时对正则化项的权重参数进行调优；Scaffold则假设每个本地模型“可视化”，重复利用之前计算的梯度来更新局部控制变量，但同时每次通信不光要传输模型的参数，还要传输控制变量的参数，增加了单次通信的代价。且上述算法或只针对数据异质、或设备异构进行优化，并没有对两种情况同时考虑，过于理想化。

技术实现思路

[0010]本专利技术在于提供一种边缘场景下动态权重的联邦学习方法，其能够缓解上述问
题。
[0011]为了缓解上述的问题，本专利技术采取的技术方案如下：
[0012]本专利技术提供了一种边缘场景下动态权重的联邦学习方法，其特征在于，包括以下步骤：
[0013]S1、边缘服务器筛选若干客户端；
[0014]S2、边缘服务器初始化一个全局模型下发给各客户端；
[0015]S3、各客户端通过高斯分布更新自身的计算能力值λ
*
；
[0016]S4、对于每一客户端，其根据本地风能数据集对全局模型进行N轮训练；
[0017]S5、对于每一客户端，其根据计算能力值λ
*
和模型训练总时长T，计算设备权重；
[0018]S6、对于每一客户端，若其模型训练总时长T大于或等于截止时长T
final
，则直接执行步骤S7，否则根据最小化目标函数
[0019][0020]对训练后的全局模型参数进行优化后，再执行步骤S7，其中，表示客户端k在通信轮数为t+1时通过本地训练得到的loss值，F
k
(w)表示第k个客户端所有数据的平均损失，μ代表偏置项的参数(固定值，在开始被设置好)，w表示本次本地计算完成的模型参数,w
t
表示全局模型的参数；
[0021]S7、对于每一个客户端，其将全局模型参数和设备权重返回至边缘服务器；
[0022]S8、边缘服务器根据各客户端传回的设备权重，对各客户端传回的全局模型参数进行聚合，得到最终全局模型参数。
[0023]在本专利技术的一较佳实施方式中，计算能力值λ
*
的更新方法具体如下：设定高斯分布均值μ从[0,1]随机初始化，标准偏差σ从区间[0.25μ,0.5μ]随机初始化，通过在客户端截断(0，μ+2σ)正态分布随机数，得到每一轮的计算能力值λ
*
。
[0024]在本专利技术的一较佳实施方式中，在步骤S4中，每一轮训练过程，均需计算模型损失值，用于衡量模型训练的好坏。
[0025]在本专利技术的一较佳实施方式中，训练全局模型的方法包括：通过最小化损失函数，计算得到网络真实输出和真实标签的误差loss，通过网络真实输出和真实标签的误差loss的反向传播得到参数的梯度值，通过随机梯度下降算法进行网络参数优化更新。
[0026]在本专利技术的一较佳实施方式中，在步骤S4中，风能数据集包括风速风向数据集和发电量数据集。
[0027]在本专利技术的一较佳实施方式中，在步骤S5中，设备权重的计算公式为λ
*
/T。
[0028]在本专利技术的一较佳实施方式中，在步骤S8中，对各客户端传回的全局模型参数进行聚合的公式如下：
[0029][0030]其中，为第t边缘服务器和客户端之间的通信轮中，第i客户端返回给边缘服务器的全局模型参数，为第t边缘服务器和客户端之间的通信轮中，第i客户端返回给边缘服务器的设备权重。
[0031]与现有技术相比，本专利技术的有益效果是：
[0032]1)提出了动态权重的联邦学习优化算法(FedDw)，由于设备在每一通信轮的训练
时间不同，因此权重值的设置随着动态更新，在最终全局模型聚合时根据权重占比来定义传输的本地模型参数占比，在一定程度上减轻因设备异构带来的影响，确保聚合的结果在复杂的真实情况下更具有鲁棒性。
[0033]2)传统的联邦学习中，不同的本地设备因计算能力的差异，在计算同一批次大小的样本数据时，每一轮的时间通常由计算最慢的设备来确定，当有一设备出现异常或者掉队，可能同时会增大其他设备的时间开销，因此本专利技术在每次全局模型更新中，给不同本地设备在每一轮设置相同的迭代次数，而不是相同的时间，这样可减少高计算能力的设备的时间开销。
[0034]3)在对训练后的全局模型参数进行优化时，所采用的目前函数在现有基础上加入一个余项，即取本地局部优化的参数和服务器传过来的全局参数向量的距离差值，通过这种方式，确保本地局部更新不会偏离全局优化方向太远，同时能够有效的融合因系统异构的不同数据间的差异性。
[0035]为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举本专利技术实施例，并配合所附附图，作详细说明如下。
附图说明
[0036]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种边缘场景下动态权重的联邦学习方法，其特征在于，包括以下步骤：S1、边缘服务器筛选若干客户端；S2、边缘服务器初始化一个全局模型下发给各客户端；S3、各客户端通过高斯分布更新自身的计算能力值λ
*
；S4、对于每一客户端，其根据本地风能数据集对全局模型进行N轮训练；S5、对于每一客户端，其根据计算能力值λ
*
和模型训练总时长T，计算设备权重；S6、对于每一客户端，若其模型训练总时长T大于或等于截止时长T
final
，则直接执行步骤S7，否则根据最小化目标函数对训练后的全局模型参数进行优化后，再执行步骤S7，其中，表示客户端k在通信轮数为t+1时通过本地训练得到的loss值，F
k
(w)表示第k个客户端所有数据的平均损失，μ代表偏置项的参数，w表示本次本地计算完成的模型参数，w
t
表示全局模型的参数；S7、对于每一个客户端，其将全局模型参数和设备权重返回至边缘服务器；S8、边缘服务器根据各客户端传回的设备权重，对各客户端传回的全局模型参数进行聚合，得到最终全局模型参数。2.根据权利要求1所述的边缘场景下动态权重的联邦学习方法，其特征在于，在步骤S3中，计算能力值λ
*
的更新方法具体如下：设定高斯分布均值μ从[0,1]随机初始化，标准偏差σ从区间[0.25μ,0.5μ]随机初始化，通过在客户端截断(0，μ+2σ)正态分布随机数，得到每一轮的计算能力值λ
*
。3.根据权利要求2所述的边缘场景下动态权重的联邦学习方法，其特征在于，在步骤S4中，每一轮...

【专利技术属性】
技术研发人员：王瑞锦，张凤荔，程帆，张志扬，刘东，陈政，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：