聚类联邦学习框架下的主动学习客户选择方法和装置制造方法及图纸

本申请涉及一种聚类联邦学习框架下的主动学习客户选择方法和装置。所述方法包括：向用户广播模型参数，以使用户根据所述模型参数估计聚类身份和计算本地模型更新，并根据预先设置的主动学习策略计算主动指标，接收用户发送的主动指标和聚类身份，在所述聚类身份下将主动指标按照大小进行排序，根据排序结果选择用户子集，获取用户子集中每个用户更新本地模型得到的本地参数，计算每个聚类分区下本地参数的平均值，作为下一次迭代时的模型参数。采用本方法能够减小通信成本。用本方法能够减小通信成本。用本方法能够减小通信成本。

【技术实现步骤摘要】
聚类联邦学习框架下的主动学习客户选择方法和装置


[0001]本申请涉及计算机
，特别是涉及一种聚类联邦学习框架下的主动学习客户选择方法和装置。

技术介绍

[0002]作为机器学习(ML)的一个开创性子领域，联邦学习(FL)提供了在通信和隐私约束下的分布式训练。在典型的FL过程中，数据被分散地保存在各个客户端中，中央服务器通过聚合用户本地模型来学习全局模型，在这一学习过程中，中央服务器不需要直接访问客户的数据。在每一轮通信中，更新后的全局模型将被广播到客户端上，每个客户端基于自身数据在本地计算模型更新，之后再将本地更新后的模型发送回中央服务器，如此往复。FL已经成功地在许多数据密集型和隐私保护场景中得到了应用，如推荐系统、图像识别、自动驾驶汽车和对话式人工智能。
[0003]尽管取得了令人满意的性能，但联邦学习仍然面临着一些实际的挑战。一个主要的问题是，在现实世界的应用中，不同客户端之间的数据可能包含它们自己的偏好，并且用户上的数据是以不同的方式生成。因此，这类训练数据不是独立的、同分布的(non
‑
IID)，这也被称为数据异构。当存在数据异构时，传统的FL方法会出现显著的性能下降。另一个问题是，在实际场景中，数据经常会遇到类不平衡的问题。当类不平衡发生时，一些类别往往有比其他类别更多的样本。类的不平衡直接导致了模型在不同类上的精度降低的可能，而其中一些类可能实际上发挥了更突出的作用，例如在检测疾病的医学诊断任务中，医生更关注的是诊断出疾病的患者的数据。此外，另一个主要障碍是客户端和服务器之间昂贵的通信。对于复杂的模型，神经网络的维数可以达到数百万量级，而用户到服务器的上行通道通常是速率受限的，流量过大会使网络容量饱和，造成服务器拥塞，大大延长了训练时间。然而，这种耗时的训练过程对于许多实时系统来说是不可接受的。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够解决通信成本问题的聚类联邦学习框架下的主动学习客户选择方法和装置。
[0005]一种聚类联邦学习框架下的主动学习客户选择方法，所述方法包括：
[0006]向用户广播模型参数，以使用户根据所述模型参数估计聚类身份和计算本地模型更新，并根据预先设置的主动学习策略计算主动指标；所述聚类身份对应于聚类分区；
[0007]接收用户发送的主动指标和聚类身份，在所述聚类身份下将所述主动指标按照大小进行排序，根据排序结果选择用户子集；
[0008]获取所述用户子集中每个用户更新本地模型得到的本地参数，计算每个聚类分区下所述本地参数的平均值，作为下一次迭代时的模型参数。
[0009]在其中一个实施例中，还包括：根据最低置信度计算主动指标为：
[0010][0011]其中，i∈S
j
，S
j
表示用户聚类集合，n是每个用户的样本量，x
i，l
表示用户i第l个样本的特征，是在模型参数θ
j
下，最大概率的类别标签。
[0012]在其中一个实施例中，还包括：根据边界采样计算主动指标为：
[0013][0014]其中，i∈S
j
，S
j
表示用户聚类集合，n是每个用户的样本量，x
i，l
表示用户i第l个样本的特征，是在模型参数θ
j
下，和分别表示用户i中第l个样本的第一可能和第二可能的类别标签的概率。
[0015]在其中一个实施例中，还包括：根据信息熵计算主动指标为：
[0016][0017]其中，i∈S
j
，S
j
表示用户聚类集合，n是每个用户的样本量，x
i，l
表示用户i第l个样本的特征，是在模型参数θ
j
下，最大概率的类别标签。
[0018]在其中一个实施例中，还包括：根据投票熵计算主动指标为：
[0019][0020]其中，表示全部可能的标签。
[0021]在其中一个实施例中，还包括：用户根据所述模型参数估计聚类身份为：
[0022][0023]其中，是第i个用户本地数据的一个子集。
[0024]在其中一个实施例中，还包括：获取所述用户子集中每个用户更新本地模型得到的本地参数，计算每个聚类分区下所述本地参数的平均值为：
[0025][0026]其中，D
i
表示本地数据。
[0027]一种聚类联邦学习框架下的主动学习客户选择装置，所述装置包括：
[0028]广播模块，用于向用户广播模型参数，以使用户根据所述模型参数估计聚类身份和计算本地模型更新，并根据预先设置的主动学习策略计算主动指标；所述聚类身份对应于聚类分区；
[0029]主动选择模块，用于接收用户发送的主动指标和聚类身份，在所述聚类身份下将所述主动指标按照大小进行排序，根据排序结果选择用户子集；
[0030]更新模块，用于获取所述用户子集中每个用户更新本地模型得到的本地参数，计算每个聚类分区下所述本地参数的平均值，作为下一次迭代时的模型参数。
[0031]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0032]向用户广播模型参数，以使用户根据所述模型参数估计聚类身份和计算本地模型更新，并根据预先设置的主动学习策略计算主动指标；所述聚类身份对应于聚类分区；
[0033]接收用户发送的主动指标和聚类身份，在所述聚类身份下将所述主动指标按照大小进行排序，根据排序结果选择用户子集；
[0034]获取所述用户子集中每个用户更新本地模型得到的本地参数，计算每个聚类分区下所述本地参数的平均值，作为下一次迭代时的模型参数。
[0035]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0036]向用户广播模型参数，以使用户根据所述模型参数估计聚类身份和计算本地模型更新，并根据预先设置的主动学习策略计算主动指标；所述聚类身份对应于聚类分区；
[0037]接收用户发送的主动指标和聚类身份，在所述聚类身份下将所述主动指标按照大小进行排序，根据排序结果选择用户子集；
[0038]获取所述用户子集中每个用户更新本地模型得到的本地参数，计算每个聚类分区下所述本地参数的平均值，作为下一次迭代时的模型参数。
[0039]上述聚类联邦学习框架下的主动学习客户选择方法、装置、计算机设备和存储介质，通过向用户广播参数，使得用户根据模型参数估计聚类身份和计算本地模型更新，用户根据预先设置的主动学习策略计算主动指标，主动指标可以反应用户数据信息量的大小，信息量越大，则用户有更大的概率被抽中参与全局模型的参数，以此，不是所有用户均参与每轮的通信，从而降低通信压力，服务器在接收到主动指标和聚类身份之后，基于主动指标筛选出一部分用户构建用户子集，然后在每个聚类分区下计算全局模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种聚类联邦学习框架下的主动学习客户选择方法，其特征在于，所述方法包括：向用户广播模型参数，以使用户根据所述模型参数估计聚类身份和计算本地模型更新，并根据预先设置的主动学习策略计算主动指标；所述聚类身份对应于聚类分区；接收用户发送的主动指标和聚类身份，在所述聚类身份下将所述主动指标按照大小进行排序，根据排序结果选择用户子集；获取所述用户子集中每个用户更新本地模型得到的本地参数，计算每个聚类分区下所述本地参数的平均值，作为下一次迭代时的模型参数。2.根据权利要求1所述的方法，其特征在于，根据预先设置的主动学习策略计算主动指标，包括：根据最低置信度计算主动指标为：其中，i∈S
j
，S
j
表示用户聚类集合，n是每个用户的样本量,x
i，l
表示用户i第l个样本的特征，是在模型参数θ
j
下，最大概率的类别标签。3.根据权利要求1所述的方法，其特征在于，预先设置的主动学习策略计算主动指标，包括：根据边界采样计算主动指标为：其中，i∈S
j
，S
j
表示用户聚类集合，n是每个用户的样本量，x
i，j
表示用户i第l个样本的特征，是在模型参数θ
j
下，和分别表示用户i中第l个样本的第一可能和第二可能的类别标签的概率。4.根据权利要求1所述的方法，其特征在于，预先设置的主动学习策略计算主动指标，包括：根据信息熵计算主动指标为：其中，i∈S
j
，S
j
表示用户聚类集合，n是每个用户的样本量,x
i，l
表示用户i第l个样本的特征...

【专利技术属性】
技术研发人员：冯旸赫，黄红蓝，施伟，程光权，黄金才，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：