基于约束因子的联邦学习客户端选择方法技术

本发明专利技术提出了一种基于约束因子的联邦学习客户端选择方法，具体实现步骤为：初始化联邦学习系统；每个客户端获取训练样本集；中心服务器初始化全局模型并广播模型参数；每个客户端对全局模型进行本地训练；中心服务器基于约束因子和余弦相似度获取客户端选择结果

【技术实现步骤摘要】
基于约束因子的联邦学习客户端选择方法


[0001]本专利技术属于联邦学习
，涉及一种基于约束因子的联邦学习客户端选择方法，可应用于医疗和金融等领域中客户端数据为非独立同分布场景下的联邦学习分类和预测等问题
。

技术介绍

[0002]联邦学习是一种分布式机器学习方法，其中在每一轮训练中，中心服务器向客户端广播全局模型参数，客户端使用自己持有的数据集对全局模型进行本地训练得到自己的本地模型，并将本地模型参数上传至中心服务器，然后中心服务器聚合客户端的本地模型得到新一轮的全局模型，经过多轮训练使全局模型收敛至全局最优模型
。
联邦学习中客户端无需上传客户端的本地数据，保护了客户端的数据隐私，因此广泛应用于医疗和金融等需要保护客户端隐私的领域
。
[0003]由于不同客户端的计算能力和存储能力等资源以及收集数据的方式存在异构性，导致联邦学习中的客户端持有的数据的统计特性通常为非独立同分布的，然而，使用这些非独立同分布数据进行本地训练会引起本地模型参数发散问题，聚合此类本地模型会降低全局模型的准确性和收敛速度
。
[0004]如何提高全局最优模型的准确率和收敛速度，并保证参与训练的客户端的公平性是联邦学习的重点和难点，在联邦学习的过程中需要考虑每个客户端为全局模型训练的贡献，保证其公平性才能激励每个客户端使用更多且更好的数据参与到全局模型的训练中
。
现有技术在非独立同分布场景下通过选择部分客户端进行模型参数聚合，可提高联邦学习模型的准确性，并加快模型收敛速度，例如申请公布号为
CN115695429A
，名称为“面向
Non
‑
IID
场景的联邦学习客户端选择方法”的专利申请，公开了一种面向
Non
‑
IID
场景的联邦学习客户端选择方法，该专利技术首先由中心服务器初始化全局模型，并从所有可用的客户端中随机挑选一个客户端子集，将全局模型广播给子集中的客户端
。
每个客户端从服务器接收全局模型，并使用本地原始数据训练本地模型，得到局部更新，并计算平均损失；然后客户端将局部更新和损失值发送给服务器，服务器基于客户端获取的损失值选择客户端
。
该专利技术在聚合模型之前通过损失值过滤掉低质量的客户端，选择高质量的客户端的本地模型进行聚合来提高非独立同分布场景下的模型准确性和收敛速度
。
然而由于该专利技术未考虑到客户端的参与程度及其对全局模型的贡献程度，使得模型易陷入局部最优而不是全局最优
。

技术实现思路

[0005]本专利技术的目的在于克服上述现有技术存在的缺陷，提出了一种基于约束因子的联邦学习客户端选择方法，用于解决现有技术中存在的联邦学习所获取的全局最优模型的准确性较低和联邦学习公平性较差的技术问题
。
[0006]为实现上述目的，本专利技术采取的技术方案包括如下步骤：
[0007](1)
初始化联邦学习系统：
[0008]初始化包括中心服务器和
N
个客户端的联邦学习系统，客户端本地训练的迭代次数为
t
，最大迭代次数为
T
，全局约束因子阈值为并令
t
＝1，其中
N≥2
，
T≥1
；
[0009](2)
每个客户端获取训练样本集：
[0010]每个客户端
C
n
将持有与其他任意一个客户端满足非独立同分布的
Z
条数据
X
n
及其对应的标签
Y
n
组成训练样本集
D
n
＝
{X
n
,Y
n
}
，其中，
Z≥50
，
X
n
＝
{x
n1
,x
n2
,...,x
nz
,...,x
nZ
}
，
x
nz
表示
C
n
持有的第
z
条数据，
x
nz
对应的标签为
y
nz
；
[0011](3)
中心服务器初始化全局模型并广播模型参数：
[0012]中心服务器初始化其与每个客户端
C
n
第
r
轮通信的参数为
θ
r
的全局模型，并将
θ
r
广播至每个客户端
C
n
，同时为每个客户端
C
n
初始化第
r
轮通信的约束因子
[0013](4)
每个客户端对全局模型进行本地训练：
[0014]每个客户端
C
n
将作为
t
＝1时全局模型的参数，并通过训练样本集
D
n
对全局模型进行
T
次本地迭代训练，将训练得到的本地模型的参数上传至中心服务器；
[0015](5)
中心服务器基于约束因子和余弦相似度获取客户端选择结果：
[0016]中心服务器将客户端
C
n
的约束因子与全局约束因子阈值满足的
K
个客户端作为备选客户端，并计算每个备选客户端
C
k
的本地模型参数与全局模型参数
θ
r
的余弦相似度再对余弦相似度最高的
M
个客户端的约束因子进行更新后，将这
M
个客户端作为最终的选择结果
。
[0017]本专利技术与现有技术相比，具有以下优点：
[0018]本专利技术中心服务器通过每个客户端每轮的约束因子与约束因子阈值的比较，获取备选客户端，并将所有备选客户端中余弦相似度最高的部分客户端作为最终的选择结果，充分考虑了每个客户端的参与程度及其对全局模型的贡献程度，避免了现有技术中使得模型易陷入局部最优的缺陷，有效提高了模型的准确性和联邦学习的公平性
。
附图说明
[0019]图1为本专利技术的实现流程图
。
具体实施方式
[0020]下面结合附图和具体实施例，对本专利技术作进一步详细描述
。
[0021]参照图1，本专利技术包括如下步骤：
[0022](1)
初始化联邦学习系统：
[0023]初始化包括中心服务器和
N
个客户端的联邦学习系统，客户端本地训练的迭代次数为
t
，最大迭代次数为
T
，全局约束因子阈值为并令
t
＝1，其中
N≥2
，
T≥1
；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于约束因子的联邦学习客户端选择方法，其特征在于，包括如下步骤：
(1)
初始化联邦学习系统：初始化包括中心服务器和
N
个客户端的联邦学习系统，客户端本地训练的迭代次数为
t
，最大迭代次数为
T
，全局约束因子阈值为并令
t
＝1，其中
N≥2
，
T≥1
；
(2)
每个客户端获取训练样本集：每个客户端
C
n
将持有与其他任意一个客户端满足非独立同分布的
Z
条数据
X
n
及其对应的标签
Y
n
组成训练样本集
D
n
＝
{X
n
,Y
n
}
，其中，
Z≥50
，
X
n
＝
{x
n1
,x
n2
,...,x
nz
,...,x
nZ
}
，
x
nz
表示
C
n
持有的第
z
条数据，
x
nz
对应的标签为
y
nz
；
(3)
中心服务器初始化全局模型并广播模型参数：中心服务器初始化其与每个客户端
C
n
第
r
轮通信的参数为
θ
r
的全局模型，并将
θ
r
广播至每个客户端
C
n
，同时为每个客户端
C
n
初始化第
r
轮通信的约束因子
(4)
每个客户端对全局模型进行本地训练：每个客户端
C
n
将作为
t
＝1时全局模型的参数，并通过训练样本集
D
n
对全局模型进行
T
次本地迭代训练，将训练得到的本地模型的参数上传至中心服务器；
(5)
中心服务器基于约束因子和余弦相似度获取客户端选择结果：中心服务器将客户端
C
n
的约束因子与全局约束因子阈值满足的
K
个客户端作为备选客户端，并计算每个备选客户端
C
k
的本地模型参数与全局模型参数
θ
r
的余弦相似度再对余弦相似度最高的
M
个客户端的约束因子进行更新后，将这
M
个客户端作为最终的选择结果
。2.
根据权利要求1所述的方法，其特征在于，步骤
(2)
中所述的每个客户端
C
n
持有的
Z

【专利技术属性】
技术研发人员：李小双，王明君，闫峥，丁文秀，陈亮，王普，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：