基于权值散度和更新增量的联邦学习客户端调度方法技术

本发明专利技术涉及客户端调度技术领域，且公开了基于权值散度和更新增量的联邦学习客户端调度方法，客户端通过图像增强技术对本地数据集进行扩充平衡，使客户端各自的数据分布达到全局平衡；客户端再分别使用各自的本地数据集作为输入训练全局模型，经过一定轮数迭代训练后，得到本地模型更新参数；每个客户端经过训练后，计算本地模型参数的权值散度、更新增量和训练损失，将各自的计算数据发送到服务器；服务器根据客户端发送的计算数据，选择模型权值散度小、更新增量小和模型训练损失大的客户端；服务器向这些客户端发送上传模型参数的请求；选定的客户端将相应的模型参数发送到服务器，服务器根据上传的模型参数进行聚合，得到新的全局模型参数。新的全局模型参数。新的全局模型参数。

【技术实现步骤摘要】
基于权值散度和更新增量的联邦学习客户端调度方法


[0001]本专利技术涉及客户端调度
，具体为基于权值散度和更新增量的联邦学习客户端调度方法。

技术介绍

[0002]随着行业内深度学习的兴起，机器学习作为一种流行的技术已经广泛应用于物联网、医疗保健、边缘计算等领域，这些领域的模型都是基于各种各样的数据进行训练的。在医学领域中，依据深度学习训练的模型进行医学图像分类是一种高效低成本的方法。医学图像分析的深度学习算法需要大量数据为基础进行训练。为了充分利用分布式数据，传统的机器学习方法需要在服务器集中医疗机构数据才能进行集中学习训练模型。这会导致隐私问题，因为医疗机构往往更倾向于保护患者的个人数据隐私，禁止共享患者的任何数据信息。而随着各国加强对个人隐私的保护，如欧盟引入的《通用数据保护条例》(General Data Protection Regulation)、美国的《加利福尼亚州消费者隐私法案》(California Consumer Privacy Act，CCPA)等，表明客户端数据隐私的保护会日趋严格。仅仅靠传统的机器学习方案来训练模型是不现实的。为了避免数据所有者出现隐私泄露问题和促进分布式机构之间的合作深度学习，引入了联邦学习(Federated Learning)，一种能够使多方联合学习一个机器学习模型的方法，而无需交换客户端各自的本地数据，同时保持训练数据的分散性。
[0003]在联邦学习中，服务器随机选择一部分客户端作为参与者，并向这些客户端广播一个全局模型。客户端根据本地数据更新模型，更新完成后将模型上传到服务器进行聚合以更新全局模型，重复这些步骤直到模型精度达到需求为止。在模型学习的过程中客户端数据不出本地，使得客户端隐私得到保护。
[0004]联邦学习是一种解决隐私问题的高性能机器学习方法，其固有的隐私保护特性使其在医疗保健领域具有重要用途。联邦学习存在两个主要的挑战：(1)统计异构性。(2)通信开销。在现实世界中，数据可能在各方之间不一致地分布。由于每个客户端在计算能力和存储方面的差异，在不同客户端之间的数据分布存在异构问题。当所选客户端的数据分布不平衡时，这可能会降低性能。当每个客户端更新自己的本地模型时，其本地目标可能会远离全局目标。因此，为了达到期望的模型精度，应该选择拥有近似独立同分布(IID)数据的客户端参与联邦学习训练。联邦学习客户端需要频繁地与服务器通信以交换和更新模型。其部署受到通信带宽的限制，通信容量有限，且客户端数量不断增加，这将会成为通信瓶颈。联邦学习中的统计异质性问题是一个热门的研究方向。一些研究尝试通过在客户端中上传额外的更新参数或广播一部分IID数据给客户端进行模型训练来解决联邦学习中的异构问题。然而，这些努力增加了额外的通信成本或对客户端的隐私威胁，使得异构问题难以解决。
[0005]现有的技术基本分为下述三类：联邦学习中解决统计异构性的方案、基于联邦学习技术进行医学图像分类方案、基于客户端选择的联邦学习技术。
[0006]上述方案中存在有下述缺点：
[0007]客户端选择工作侧重于计算能力和异构方面来对客户端进行选取，忽略了本地客户端数据之间的不平衡。
[0008]采用的联邦学习方法通常是随机进行当轮的客户端选择的，这种随机选取策略会造成非IID下模型训练精度下降。
[0009]通信开销大，联邦学习中的通信开销主要存在于客户端与服务器的频繁通信，模型达到规定精度所需要的训练轮数过高，综上，我们提出了基于权值散度和更新增量的联邦学习客户端调度方法。

技术实现思路

[0010](一)解决的技术问题
[0011]针对现有技术的不足，本专利技术提供了基于权值散度和更新增量的联邦学习客户端调度方法，解决了上述的问题。
[0012](二)技术方案
[0013]为实现上述所述目的，本专利技术提供如下技术方案：基于权值散度和更新增量的联邦学习客户端调度方法，包括以下步骤：
[0014]第一步：在模型评估之后，将模型部署到服务器上，并将其标识为全局模型，服务器将全局模型广播给所有参与联邦学习的客户端，同时客户端训练前，收集客户端本地数据分布情况，将其与全局模型一同发送到客户端中；
[0015]第二步：客户端通过图像增强技术对本地数据集进行扩充平衡，使客户端各自的数据分布达到全局平衡；
[0016]第三步：客户端再分别使用各自的本地数据集作为输入训练全局模型，经过一定轮数迭代训练后，得到本地模型更新参数；
[0017]第四步：每个客户端经过训练后，计算本地模型参数的权值散度、更新增量和训练损失，将各自的计算数据发送到服务器；
[0018]第五步：服务器根据客户端发送的计算数据，选择模型权值散度小、更新增量小和模型训练损失大的客户端，作为最终选定上传模型参数的客户端集合；
[0019]第六步：服务器向这些客户端发送上传模型参数的请求；
[0020]第七步：选定的客户端将相应的模型参数发送到服务器，服务器根据上传的模型参数进行聚合，得到新的全局模型参数，用于更新全局模型，迭代下一轮训练，直到全局模型收敛或符合需求。
[0021]优选的，所述第二步中的客户端通过图像增强技术对本地数据集进行扩充平衡包括以下内容：
[0022]S1：服务器根据自己的服务需求初始化全局模型w0，并将其广播给客户端；
[0023]S2：在联邦学习训练期间，服务器为客户端计算每个标签中图像的最大数量，并将该数据发送给客户端；
[0024]S3：使用来自Albumentations图像增强库的28种不同的图像增强方法对原始图像进行增强；
[0025]S4：客户端通过结合不同的图像增强方法生成图像，根据标签样本的最大数量对
各自数据集的原始标签图像进行变换和扩展，直到达到每个标签所需的最大样本数量。
[0026]优选的，所述第四步中的权值散度以及更新增量计算方法如下：
[0027]权值散度：获取本地模型参数w
k
(t)，之后，每个客户端依据各自的本地模型参数w
k
(t)，去计算各自的模型权值散度d
k
(t)；
[0028]计算本地模型参数w
k
(t)和全局模型参数w
g
(t
‑
1)之间的分歧，来选取合适模型权值散度的模型参数进行上传；
[0029]计算客户端k第t轮本地模型w
k
(t)与全局模型w
g
(t
‑
1)的权值散度d
k
(t)的公式为：其中w
k
(t)表示客户端k在第t轮的本地模型参数，w
g
(t
‑
1)表示第t
‑
1轮的全局模型参数，||
·
||表示L2范式计算；
[0030]更新增量：计算客户端k第t轮本地模型w
k
(t)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于权值散度和更新增量的联邦学习客户端调度方法，其特征在于，包括以下步骤：第一步：在模型评估之后，将模型部署到服务器上，并将其标识为全局模型，服务器将全局模型广播给所有参与联邦学习的客户端，同时客户端训练前，收集客户端本地数据分布情况，将其与全局模型一同发送到客户端中；第二步：客户端通过图像增强技术对本地数据集进行扩充平衡，使客户端各自的数据分布达到全局平衡；第三步：客户端再分别使用各自的本地数据集作为输入训练全局模型，经过一定轮数迭代训练后，得到本地模型更新参数；第四步：每个客户端经过训练后，计算本地模型参数的权值散度、更新增量和训练损失，将各自的计算数据发送到服务器；第五步：服务器根据客户端发送的计算数据，选择模型权值散度小、更新增量小和模型训练损失大的客户端，作为最终选定上传模型参数的客户端集合；第六步：服务器向这些客户端发送上传模型参数的请求；第七步：选定的客户端将相应的模型参数发送到服务器，服务器根据上传的模型参数进行聚合，得到新的全局模型参数，用于更新全局模型，迭代下一轮训练，直到全局模型收敛或符合需求。2.根据权利要求1所述的基于权值散度和更新增量的联邦学习客户端调度方法，其特征在于：所述第二步中的客户端通过图像增强技术对本地数据集进行扩充平衡包括以下内容：S1：服务器根据自己的服务需求初始化全局模型w0，并将其广播给客户端；S2：在联邦学习训练期间，服务器为客户端计算每个标签中图像的最大数量，并将该数据发送给客户端；S3：使用来自Albumentations图像增强库的28种不同的图像增强方法对原始图像进行增强；S4：客户端通过结合不同的图像增强方法生成图像，根据标签样本的最大数量对各自数据集的原始标签图像进行变换和扩展，直到达到每个标签所需的最大样本数量。3.根据权利要求1所述的基于权值散度和更新增量的联邦学习客户端调度方法，其特征在于：所述第四步中的权值散度如下：获取本地模型参数w
k
(t)，之后，每个客户端依据各自的本地模型参数w
k
(t)，去计算各自的模型权值散度d
k
(t)；计算本地模型参数w
k
(t)和全局模型参数w
g
(t
‑
1)之间的分歧，来选取合适模型权值散度的模型参数进行上传；计算客户端k第t轮本地模型w
k
(t)与全局模型w

【专利技术属性】
技术研发人员：陈淑红，揭智勇，王国军，杨家维，刘旭朗，吴建明，
申请(专利权)人：广州大学，
类型：发明
国别省市：