基于粒子群算法的联邦学习优化方法及装置制造方法及图纸

本发明专利技术提供了一种基于粒子群算法的联邦学习优化方法及装置，其中，方法包括：服务器根据场景确定全局模型的目标需求，初始化全局模型，并将全局模型广播给参与联邦学习的客户端；参与联邦学习的客户端采用粒子群优化算法对所述全局模型进行改进后得到模型更新参数；采用基于模型的权值散度和更新增量的梯度压缩方法，对模型更新参数进行压缩；将压缩后的模型更新参数上传至服务器，服务器在此基础上聚合参与联邦学习的客户端模型参数，基于参与联邦学习的客户端进行训练所用的数据集容量进行赋权，并聚合得到新的全局模型参数。本申请通过客户端模型采用粒子群优化算法，提高联邦学习的训练效率，优化联邦学习通信过程。优化联邦学习通信过程。优化联邦学习通信过程。

【技术实现步骤摘要】
基于粒子群算法的联邦学习优化方法及装置


[0001]本文件涉及联邦学习
，尤其涉及一种基于粒子群算法的联邦学习优化方法及装置。

技术介绍

[0002]联邦学习是一种分布式机器学习框架，旨在数据不离开本地客户端的情况下共同训练一个可用公有模型，其训练的模型精确度能与集中式学习训练出的模型精确度相近，同时拥有天然的隐私保护特性，在客户端和服务器的数据传输过程中只涉及客户端的模型参数，而数据保存在本地，确保数据隐私不会泄露。联邦学习技术通过在多个设备之间共享虚拟数据集和模型，来实现模型训练。在这个技术中，每个设备只需要存储和处理自己收集的数据，然后通过加密技术将数据上传到云端。在云端，虚拟数据集和模型被创建，并在多个设备之间共享，每个设备只需要将本地数据与虚拟数据集和模型进行交互，以更新本地模型，最终多个设备之间的模型训练可以合并成一个全局的模型，并且数据隐私得到了保护。
[0003]在联邦学习中，存在异构性和通信开销两个问题。异构性指的是参与联邦学习的设备或数据中心具有不同的硬件、软件和网络配置，导致训练过程缓慢或难以优化，同时由于在现实场景中，各个客户端处于不同的位置或环境，所拥有的数据集分布不一致，导致联邦学习收集和聚合更新的模型精确度下降，而通信开销则是指多个设备之间进行数据交换所需的计算和传输成本，联邦学习中的设备可以是本地设备、云端服务器或者分布式设备，它们之间需要进行数据同步和模型训练。由于每个设备的数据量和计算能力不同，因此不同设备之间的通信开销也会不同，联邦学习中的设备需要相互交换数据进行模型训练，而不同设备之间的数据量和传输速度也会影响训练效率和质量。
[0004]现有的技术基本分为下述三类：联邦学习中解决数据异构性的方案、优化联邦学习训练过程的方案、基于仿生优化算法的联邦学习技术。
[0005]上述方案中存在下述缺点：
[0006]联邦学习需要客户端与服务器进行多次通信交换模型参数，传统联邦学习方案对于规模大或是数据量大的场景下所产生的通信代价高，模型参数随着训练迭代次数变大，无法在有限的计算资源中完成通信传输，训练的模型效果差。对于数据分布不平衡的客户端，训练所耗时间长，影响全局模型的训练效率，当客户端计算资源有限时，需要更长的时间更新模型，延长整体框架的迭代时间。联邦学习聚合模型参数接收了大量的模型参数，在不稳定的网络环境下，模型精确度会显著降低，无法在本地得到更好的模型参数进行上传。

技术实现思路

[0007]本专利技术实施例提供了一种基于粒子群算法的联邦学习优化方法及装置，旨在解决上述问题。
[0008]本专利技术实施例提供了一种基于粒子群算法的联邦学习优化方法，包括：
[0009]S1、服务器根据场景确定全局模型的目标需求，初始化全局模型，并将所述全局模型广播给参与联邦学习的客户端；
[0010]S2、参与联邦学习的客户端收到服务器发送的全局模型后，采用粒子群优化算法对全局模型进行改进后得到模型更新参数；
[0011]S3、采用基于模型的权值散度和更新增量的梯度压缩方法，对模型更新参数进行压缩；
[0012]S4、将压缩后的模型更新参数上传至服务器进行模型聚合，得到新的全局模型，用于下一轮联邦学习迭代训练，直到满足条件或模型收敛为止。
[0013]本专利技术实施例提供了一种基于粒子群算法的联邦学习优化装置，包括：
[0014]广播模块，用于服务器根据场景确定全局模型的目标需求，初始化全局模型，并将全局模型广播给参与联邦学习的客户端；
[0015]参数更新模块，用于将参与联邦学习的客户端收到服务器发送的全局模型后，采用粒子群优化算法对全局模型进行改进后得到模型更新参数；
[0016]参数压缩模块，用于采用基于模型的权值散度和更新增量的梯度压缩方法，对模型更新参数进行压缩；
[0017]全局模型训练模块，用于将压缩后的模型更新参数上传至服务器进行模型聚合，得到新的全局模型，用于下一轮联邦学习迭代训练，直到满足条件或模型收敛为止。
[0018]通过采用本专利技术实施例，在联邦学习训练过程中引入粒子群算法进行优化，客户端在使用本地数据进行训练前，将每个客户端模型参数依据全局最优和个体历史最优信息对训练模型进行优化，将每个客户端模型参数模拟为一个个粒子，依据服务器发送的全局最优模型参数和个体历史最优模型参数信息对将要训练模型进行优化，提高模型收敛速度及模型训练效果，减少通信代价。
附图说明
[0019]为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0020]图1为本专利技术实施例的基于粒子群算法的联邦学习优化方法的流程图；
[0021]图2为本专利技术实施例的基于粒子群算法的联邦学习优化装置的示意图；
[0022]图3本专利技术实施例的训练模型示意图。
具体实施方式
[0023]为了使本
的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
[0024]方法实施例
[0025]本专利技术实施例提供了一种基于粒子群算法的联邦学习优化方法，图1为本专利技术实施例的基于粒子群算法的联邦学习优化方法的流程图，根据图1所示，本专利技术实施例的基于粒子群算法的联邦学习优化方法具体包括：
[0026]步骤S1、服务器根据场景确定全局模型的目标需求，初始化全局模型，并将所述全局模型广播给参与联邦学习的客户端；
[0027]步骤S2、所述参与联邦学习的客户端收到服务器发送的全局模型后，采用粒子群优化算法对所述全局模型进行改进后得到模型更新参数，步骤S2具体包括：
[0028]S1：中心服务器在根据自身需求初始化全局模型后，并将全局模型广播给参与客户端；
[0029]S2：将每一个客户端拥有的模型参数作为一个单独的粒子，以全局模型的结构为基础，对每个客户端模型参数进行随机初始化速度向量各个客户端的本地模型参数作为粒子群算法中粒子的位置，用于本地模型的粒子群优化更新，针对客户端神经网络模型的每一层模型参数进行初始化和更新操作；
[0030]S3：参与客户端根据自身模型的粒子速度向量和位置，与客户端存储的本地模型历史最优模型参数w
pbest
、广播的全局模型参数w
g
和全局历史最优模型参数w
gbest
一同进行客户端新一轮的模型参数粒子速度更新计算，得到新的客本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于粒子群算法的联邦学习优化方法，其特征在于，包括：S1、服务器根据场景确定全局模型的目标需求，初始化全局模型，并将所述全局模型广播给参与联邦学习的客户端；S2、所述参与联邦学习的客户端收到服务器发送的全局模型后，采用粒子群优化算法对所述全局模型进行改进后得到模型更新参数；S3、采用基于模型的权值散度和更新增量的梯度压缩方法，对模型更新参数进行压缩；S4、将压缩后的模型更新参数上传至服务器进行模型聚合，得到新的全局模型，用于下一轮联邦学习迭代训练，直到满足条件或模型收敛为止。2.根据权利要求1所述的方法，其特征在于，所述S2具体包括：S21、将客户端拥有的模型参数作为一个单独的粒子，以全局模型的结构为基础，对每个客户端拥有的模型参数进行随机初始化速度向量客户端的本地模型参数作为粒子群算法中粒子的位置，用于本地模型的粒子群优化更新，针对客户端神经网络模型的每一层模型参数进行初始化和更新操作；S22、参与客户端根据自身模型的粒子速度向量和粒子的位置，与客户端存储的本地模型历史最优模型参数w
pbest
、广播的全局模型参数w
g
和全局历史最优模型参数w
gbest
一同进行客户端新一轮的模型参数粒子速度更新计算，得到新的客户端模型粒子速度更新参数该过程针对神经网络模型的每一层权重参数进行的；S23、将所述粒子速度更新参数与该轮客户端的模型参数相加对模型参数进行计算更新，得到新的客户端模型参数将作为粒子的更新位置，客户端再使用本地数据进行随机梯度下降训练模型参数得到最终的模型更新参数。3.根据权利要求2所述的方法，其特征在于，所述粒子速度更新参数及新的客户端模型参数通过公式1和公式2进行获取：通过公式1和公式2进行获取：其中，是客户端k模拟粒子的当前速度，是客户端k更新后的速度，是当前客户端k的模型参数，是客户端k更新后的模型参数，w
pbest
表示客户端k的本地历史最优模型参数，w
gbest
表示全局历史最优模型参数，其中γ是惯量权重，c1和c2是学习因子，rand1和rand2是区间[0,1]内的两个随机数。4.根据权利要求1所述的方法，其特征在于，所述S3具体包括：服务器依据客户端模型的权值散度d
k
(t)和更新增量I
k
(t)，为其动态分配压缩阈值ω；通过公式3获取权值散度d
k
(t)：
其中，w
k
(t)表示客户端k在第t轮的本地模型参数，w
g
(t
‑
1)表示第t
‑
1轮的全局模型参数，||
·
||表示L2范式计算；通过公式4获取更新增量I
k
(t)：其中，w
k
(t
‑
1)表示客户端k第t
‑
1轮的本地模型参数；客户端计算各自的梯度大小并与压缩阈值ω比较，如果梯度大于压缩阈值ω，则将梯度所有值通过公式5根据压缩因子进行压缩；5.根据权利要求1所述的方法，其特征在于所述S4具体包括：将压缩后的模型更新参数上传至服务器，服务器在此基础上聚合参与联邦学习的客户端模型参数，基于参与联邦学习的客户端进行训练所用的数据集容量进行赋权，并聚合得到新的全局模型参数，全局模型参数用于全局模型的更新，迭代进行下一轮的联邦学习训练，直到全局模型收敛或符合要求为止。6.一种基于粒子群算法的联邦学习优化装置，...

【专利技术属性】
技术研发人员：陈淑红，揭智勇，王国军，杨家维，吴建明，李汉俊，
申请(专利权)人：广州大学，
类型：发明
国别省市：