联邦学习的客户端选择方法技术

本申请涉及一种联邦学习的客户端选择方法

【技术实现步骤摘要】
联邦学习的客户端选择方法、装置和计算机存储介质


[0001]本申请涉及深度学习
，特别是涉及一种联邦学习的客户端选择方法
、
装置和计算机存储介质
。

技术介绍

[0002]联邦学习作为一种有效应对数据隔离问题的策略，具有保护客户端数据隐私的能力
。
在联邦学习框架下，客户端模型信息通过加密手段在各参与方之间进行传输和共享
。
[0003]由于联邦系统的通信带宽有限，为了在实际训练中减少联邦学习系统的通信成本，通常只选取部分客户端参与训练和模型更新过程
。
客户端选择策略是指如何选择合适的客户端参与模型训练的决策方法
。
客户端选择策略通常需要解决两个关键问题：
(1)
如何确定参与训练的客户端数量；
(2)
在客户端数量已知的前提下，选择哪些客户端参与训练
。
[0004]针对客户端数量，现有方法通常考虑客户端的数量是固定的，即在每轮训练中客户端的数量保持不变
。
当客户端的数量较大时，虽然能够增加样本的多样性并提升模型的泛化性能，但系统的计算和通信开销也随之增大
。
当客户端的数量较小时，虽然能够降低每轮迭代过程中的通信开销，但是可能导致训练过程的收敛速度减慢
。
另外，在客户端数量固定的情形中，现有方法会导致计算性能优越的客户端被频繁选中，而计算性能一般但具有代表性数据分布的客户端则被持续性忽略，从而导致模型的泛化能力受损<br/>。
[0005]因此，如何综合考虑训练速度
、
性能
、
通信与计算成本等因素，在训练过程中动态调整客户端的数量成为关键问题
。
针对上述问题，本申请提出了一种客户端数量动态调整的选择策略，即在每轮训练中根据客户端状态和性能自适应进行调整客户端的数量，从而提高训练效率和效果
。
[0006]在客户端数量已知的前提下，常见做法是随机选择策略，即从所有客户端中随机选择客户端参与训练
。
但是，在非独立同分布（
non
‑
iid
）数据情景下，各客户端数据分布差异显著，简单随机选择策略难以提取均衡数据样本
。
考虑到数据分布的异质性，一些方法通过训练准确率
、
损失变化和收敛速度等指标来衡量客户端性能，并选择具有高性能的客户端参与训练
。
传统联邦学习中的客户端选择策略仅基于每个客户端设备在当前轮次上的局部模型性能进行评估
。
然而，模型在不同轮次之间持续更新和逐渐收敛，仅仰赖当前轮次的性能评估可能无法充分考虑客户端设备的全面贡献
。
单次评估结果可能受到误差和随机性的影响
。

技术实现思路

[0007]基于此，为了平衡联邦学习系统的训练效率和通信成本，更好地应对客户端之间数据分布的异质性问题，提供一种能够减少全局模型对局部噪声和瞬时变化的敏感性，提升联邦学习系统的整体性能的联邦学习的客户端选择方法
、
装置和计算机存储介质
。
[0008]第一方面，本申请提供了一种联邦学习的客户端选择方法，所述方法包括：基于接收到的所有客户端的上一迭代轮次的损失值和本地数据集大小，确定当前
迭代轮次中各所述客户端的单轮权重系数，并根据各所述客户端的所述单轮权重系数和上一迭代轮次的历史权重系数，调整当前迭代轮次中各所述客户端的选择权重；根据联邦学习训练过程中当前迭代轮次所处的迭代轮次区间和预设的客户端选择数量阈值，确定当前迭代轮次的客户端选择数量；基于所述选择权重和所述客户端选择数量，选取当前迭代轮次的目标客户端
。
[0009]在其中一个实施例中，所述根据联邦学习训练过程中当前迭代轮次所处的迭代轮次区间和预设的客户端选择数量阈值，确定当前迭代轮次的客户端选择数量包括：设置所述客户端选择数量阈值，并根据预设的初始迭代轮次，将所述联邦学习的训练过程划分为第一迭代轮次区间和第二迭代轮次区间；若当前迭代轮次处于所述第一迭代轮次区间内，则当前迭代轮次的客户端选择数量为第一预设数量，所述第一预设数量小于等于所述客户端选择数量阈值；若当前迭代轮次处于所述第二迭代轮次区间内，则当前迭代轮次的客户端选择数量为基于所述第一预设数量和当前迭代轮次的迭代周期增量所得到的第二预设数量，所述第二预设数量小于等于所述客户端选择数量阈值
。
[0010]在其中一个实施例中，所述基于所述第一预设数量和当前迭代轮次的迭代周期增量所得到的第二预设数量，包括：设置所述联邦学习的迭代轮次周期；基于所述迭代轮次周期
、
所述当前迭代轮次和所述初始迭代轮次，利用以下公式，计算得到所述迭代周期增量：，其中，
z
表示所述增量，
△
T
表示所述迭代轮次周期，
t
表示所述当前迭代轮次，
T0表示所述初始迭代轮次，表示向下取整；将所述第一预设数量和所述迭代周期增量求和，得到所述第二预设数量
。
[0011]在其中一个实施例中，所述基于接收到的所有客户端的上一迭代轮次的损失值和本地数据集大小，确定当前迭代轮次中各所述客户端的单轮权重系数包括：利用根号函数调节各所述客户端的本地数据集大小，并分别与各所述客户端对应的上一迭代轮次的损失值相乘，得到当前迭代轮次中各所述客户端的单轮权重系数
。
[0012]在其中一个实施例中，所述根据各所述客户端的所述单轮权重系数和上一迭代轮次的历史权重系数，确定当前迭代轮次各所述客户端的选择权重包括：设置权衡因子，并利用权衡因子以及迭代轮次调节所述上一迭代轮次的历史权重系数和所述单轮权重系数的相对比例，确定当前迭代轮次各所述客户端的选择权重
。
[0013]在其中一个实施例中，所述利用权衡因子动态调整算法，根据迭代轮次调节所述上一迭代轮次的历史权重系数和所述单轮权重系数的相对比例包括：设置近邻系数，将所述近邻系数作为所述权衡因子的衰减指数，确定当前迭代轮次各所述客户端的选择权重：，，
其中，表示当前迭代轮次
t
中第
k
个客户端的选择权重，
θ
表示权衡因子，表示当前迭代轮次
t
中第
k
个客户端的单轮权重系数，
n
θ
表示近邻系数，表示上一迭代轮次
t
‑1中第
k
个客户端的历史权重系数；若迭代轮次增加，则被所述近邻系数控制的所述权衡因子增大，所述上一轮次的历史权重系数比例减小，所述单轮权重系数比例增大
。
[0014]在其中一个实施例中，所述基于所述选择权重和所述客户端选择数量，选取当前迭代轮次的目标客户端包括：对各所述客户端按照所述选择权重的大小进行排序，并根据所述客户端选择数量从排本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种联邦学习的客户端选择方法，其特征在于，所述方法包括：基于接收到的所有客户端的上一迭代轮次的损失值和本地数据集大小，确定当前迭代轮次中各所述客户端的单轮权重系数，并根据各所述客户端的所述单轮权重系数和上一迭代轮次的历史权重系数，调整当前迭代轮次中各所述客户端的选择权重；根据联邦学习训练过程中当前迭代轮次所处的迭代轮次区间和预设的客户端选择数量阈值，确定当前迭代轮次的客户端选择数量；基于所述选择权重和所述客户端选择数量，选取当前迭代轮次的目标客户端
。2.
根据权利要求1所述的联邦学习的客户端选择方法，其特征在于，所述根据联邦学习训练过程中当前迭代轮次所处的迭代轮次区间和预设的客户端选择数量阈值，确定当前迭代轮次的客户端选择数量包括：设置所述客户端选择数量阈值，并根据预设的初始迭代轮次，将所述联邦学习的训练过程划分为第一迭代轮次区间和第二迭代轮次区间；若当前迭代轮次处于所述第一迭代轮次区间内，则当前迭代轮次的客户端选择数量为第一预设数量，所述第一预设数量小于等于所述客户端选择数量阈值；若当前迭代轮次处于所述第二迭代轮次区间内，则当前迭代轮次的客户端选择数量为基于所述第一预设数量和当前迭代轮次的迭代周期增量所得到的第二预设数量，所述第二预设数量小于等于所述客户端选择数量阈值
。3.
根据权利要求2所述的联邦学习的客户端选择方法，其特征在于，所述基于所述第一预设数量和当前迭代轮次的迭代周期增量所得到的第二预设数量，包括：设置所述联邦学习的迭代轮次周期；基于所述迭代轮次周期
、
所述当前迭代轮次和所述初始迭代轮次，利用以下公式，计算得到所述迭代周期增量：，其中，
z
表示所述迭代周期增量，
△
T
表示所述迭代轮次周期，
t
表示所述当前迭代轮次，
T0表示所述初始迭代轮次，表示向下取整；将所述第一预设数量和所述迭代周期增量求和，得到所述第二预设数量
。4.
根据权利要求1所述的联邦学习的客户端选择方法，其特征在于，所述基于接收到的所有客户端的上一迭代轮次的损失值和本地数据集大小，确定当前迭代轮次中各所述客户端的单轮权重系数包括：利用根号函数调节各所述客户端的本地数据集大小，并分别与各所述客户端对应的上一迭代轮次的损失值相乘，得到当前迭代轮次中各所述客户端的单轮权重系数
。5.
根据权利要求1所述的联邦学习的客户端选择方法，其特征在于，所述根据各所述客户端的所述单轮权重系数和上一迭代轮次的历史权重系数，确定当前迭代轮次各所述客户端的选择权重包括：设置权衡因子，并利用权衡因子以及迭代轮次调节所述上一迭代轮次的历史权重系数和所述单轮权重系数的相对比例，确定当前迭代轮次各所述客户端的选择权重
。6.
根据权利要求5所述的...

【专利技术属性】
技术研发人员：李清明，李晓航，周丽，严笑然，
申请(专利权)人：之江实验室，
类型：发明
国别省市：