本发明专利技术涉及一种联邦学习中基于局部模型梯度的用户筛选方法、系统、设备及存储介质,当服务器接收到各个用户传输过来的局部模型梯度矩阵后，首先将各个用户的局部模型梯度矩阵按行或按列展开成一个向量，然后利用PCA对向量进行降维，再利用DBSCAN聚类方法进行聚类，得到聚类结果中数量最多的一类，再求得此类中所有降维局部模型梯度的几何中心点，最后根据每个用户的降维局部模型梯度与上述几何中心点的距离选择用户，选择离中心点最近的部分用户的梯度用来更新全局模型。该筛选方法能够有效筛选基于高质量数据计算的局部模型梯度，提高联邦学习系统的鲁棒性。高联邦学习系统的鲁棒性。
【技术实现步骤摘要】
一种联邦学习中基于局部模型梯度的用户筛选方法、系统、设备及存储介质
[0001]本专利技术涉及一种联邦学习中基于局部模型梯度的用户筛选方法、系统、设备及存储介质，属于分布式机器学习领域。
技术介绍
[0002]传统的机器学习方法要求将训练所用的数据集中在一台设备或一个数据中心，然而，由于对数据隐私的保护和无线通信资源的限制，将所有用于学习的数据传输到中心设备或数据中心对用户来说是不切实际的。这促使了分布式机器学习的出现，如图1所示，联邦学习是一种分布式机器学习算法，它可以使用户在本地收集数据，训练模型，只需要把局部模型参数传输给中央服务器，由中央服务器完成模型的整合，再广播给所有用户，训练过程一共进行t代，直至模型收敛。[S.A.Rahman,H.Tout,H.Ould
‑
Slimane,A.Mourad,C.Talhi and M.Guizani,"A Survey on Federated Learning:The Journey from Centralized to Distributed On
‑
Site Learning and Beyond,"in IEEE Internet of Things Journal,doi:10.1109/JIOT.2020.3030072.]。
[0003]然而，某些用户可能会由于特殊原因采集到受噪声或干扰的数据用来计算本地模型更新，或者受限与传输信道质量的影响，向服务器传输本地模型更新时也可能出现丢包或误码的现象；此外，由于服务器无法观测到用户数据，联邦学习很容易受到恶意攻击，如多个恶意用户将虚假训练样本注入自己的训练样本中用于本地模型的训练，这些虚假样本包括：训练数据被加入高斯噪声，训练标签被恶意修改等，这些具有噪声的局部模型更新参数和恶意攻击可能对联邦学习的过程产生严重影响。[D.Cao,S.Chang,Z.Lin,G.Liu and D.Sun,"Understanding Distributed Poisoning Attack in Federated Learning,"2019 IEEE 25th International Conference on Parallel and Distributed Systems(ICPADS),Tianjin,China,2019,pp.233
‑
239,doi:10.1109/ICPADS47876.2019.00042.]。
技术实现思路
[0004]针对现有技术的不足，本专利技术提供了一种联邦学习中基于局部模型梯度的用户筛选方法，该方法能够通过对用户传递到服务器的局部模型梯度进行用户数据质量测评，从而在训练过程中选择基于高质量数据计算的局部模型，用来进一步更新全局模型。当服务器接收到各个用户传输过来的局部模型梯度矩阵后，首先将各个用户的局部模型梯度矩阵按行或按列展开成一个向量，然后利用PCA对展开的局部模型梯度的向量形式进行降维，接下来对所有降维的局部模型梯度利用DBSCAN聚类方法进行聚类，得到聚类结果中数量最多的一类，再求得此类中所有降维局部模型梯度的几何中心点，最后根据每个用户的降维局部模型梯度与上述几何中心点的距离选择用户，选择离中心点最近的部分用户的梯度用来更新全局模型。该筛选方法能够有效筛选基于高质量数据计算的局部模型梯度，提高联邦学习系统的鲁棒性。
[0005]术语解释：
[0006]1.联邦学习：令N个数据所有者为{F1,
…
,F
N
}，他们都希望整合各自的数据{D1,
…
,D
N
}来训练出一个机器学习模型。传统的方法是把所有的数据放在一起并使用D＝D1∪
…
∪D
N
来训练一个模型M
SUM
。联邦学习系统是一个学习过程，数据所有者共同训练一个模型M
FED
(即全局模型)，在此过程中，任何数据所有者F
i
都不会向其他人公开其数据D
i
，而是自己在本地利用自己的数据训练模型(即局部模型)并将局部模型梯度交给中央服务器来整合。
[0007]联邦学习的流程：
[0008]1)中央服务器初始化全局模型参数；
[0009]2)中央服务器将模型参数广播给所有参与联邦学习的用户；
[0010]3)用户将收到的模型作为自己新的模型(此时所有用户的模型都是全局模型)；
[0011]4)用户利用自己的数据集训练模型(局部模型)，并计算局部模型梯度；
[0012]5)用户将局部模型梯度上传到中央服务器；
[0013]6)中央服务器将所有用户的局部模型梯度进行整合，计算新的全局模型；
[0014]7)重复步骤2)到步骤6)(此为联邦学习过程中的一代)，直至模型收敛。
[0015]2.PCA：Principal Component Analysis的缩写，主成分分析法，是一种非监督机器学习方法，其主要思想是将n维特征映射到k(k<n)维上，新的k维特征是重新构造出来的正交特征，而不是简单地将原来的n维特征剔除n
‑
k维。PCA主成分分析法的所用到的理论是最大方差理论，即映射得到的k维特征在每一维上的样本方差尽可能大。
[0016]3.DBSCAN聚类方法：Density—Based Spatial Clustering of Application with Noise的缩写，是一种基于密度的聚类算法，这种算法假设样本类别可以通过样本分布的紧密程度来决定，同一类型的样本在空间上是比较紧密的，即他们之间的距离较短，也就是说，对于属于一个类别的样本，在这个样本的不远处很大可能有同一类别的样本。此聚类算法可以将样本密度高的区域检测出来。
[0017]4.随机梯度下降法：是一种神经网络更新模型参数的方法，训练神经网络旨在最小化损失函数(反应网络模型性能的函数)，而损失函数需要用样本点来计算梯度(模型参数更新的反方向)，而一次性输入所有样本点会浪费大量资源和时间，因此采取随机选取部分样本点来计算梯度的方法。
[0018]本专利技术的技术方案为：
[0019]一种联邦学习中基于局部模型梯度的用户筛选方法，通过分析用户梯度的分布选择更准确的局部模型，联邦学习中包括服务器和N个用户，该用户筛选方法的具体步骤包括：
[0020](1)服务器初始化全局模型参数，并将全局模型参数广播给所有参与到联邦学习过程的N个用户；
[0021](2)用户接收到全局模型参数后，利用用户持有的数据集更新局部模型参数，然后将用户的局部模型梯度传输给服务器；
[0022](3)服务器将N个局部模型梯度均按行或按列展开成为向量形式，向量的维数与局部模型的参数中的元素个数相同；
[0023](4)为了方便依据展开的向量对用户数据进行测评，服务器利用PCA算法对步骤(3)得到的展本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种联邦学习中基于局部模型梯度的用户筛选方法，其特征在于，联邦学习中包括服务器和N个用户，该用户筛选方法的具体步骤包括：(1)服务器初始化全局模型参数，并将全局模型参数广播给所有参与到联邦学习过程的N个用户；(2)用户接收到全局模型参数后，利用用户持有的数据集更新局部模型参数，然后将用户的局部模型梯度传输给服务器；(3)服务器将N个局部模型梯度i＝1，2
……
N，均按行或按列展开成为向量形式，向量的维数与局部模型的参数中的元素个数相同；(4)服务器利用PCA算法对步骤(3)得到的展开的局部模型梯度的向量形式进行降维；(5)服务器利用DBSCAN聚类方法对步骤(4)得到的N个降维局部模型梯度进行聚类，然后求聚类结果中数量最多的一类降维局部模型梯度的平均值，即降维局部模型梯度中心(6)计算每个用户的降维局部模型梯度到降维局部模型梯度中心的欧式距离；(7)根据步骤(6)计算得到的欧式距离，选取距离最近的M个用户；(8)利用选取的M个用户的局部模型梯度j＝1，2
……
M，更新本代联邦学习训练过程的全局模型并将更新的全局模型广播给用户，全局模型满足：式(I)中，表示第t
‑
1代联邦学习的全局模型，表示第t代联邦学习的全局模型；(9)重复执行步骤(2)
‑
步骤(8)，直至模型收敛。2.根据权利要求1所述的一种联邦学习中基于局部模型梯度的用户筛选方法，其特征在于，步骤(2)中，利用用户持有的数据集，使用随机梯度下降法得到用户的局部模型梯度。3.根据权利要求1所述的一种联邦学习中基于局部模型梯度的用户筛选方法，其特征在于，步骤(4)中，服务器利用PCA算法对步骤(3)得到的展开的局部模型梯度的向量形式进行降维，具体过程包括：4
‑
1、输入数据集X＝{x1,x2,x3…
x
N
}，x
i
表示第i个用户的局部模型梯度对应的展开的向量，i＝1,2,3,
…
N；4
‑
2、去中心化：计算数据集X的均值X
mean
，然后将X的每个元素减去X
mean
得到去中心化数据集X
new
；4
‑
3、求去中心化数据集X
new
的协方差矩阵C
oc
；4
‑
4、计算协方差矩阵C
ov
的特征值...
【专利技术属性】
技术研发人员：郭帅帅，史高鑫，
申请(专利权)人：山东大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。