基于梯度聚类的联邦学习优化通信方法技术

本发明专利技术提供一种基于梯度聚类的联邦学习优化通信方法

【技术实现步骤摘要】
基于梯度聚类的联邦学习优化通信方法、系统及存储介质


[0001]本专利技术属于联邦学习
，具体是涉及到一种基于梯度聚类的联邦学习优化通信方法
、
系统及存储介质
。

技术介绍

[0002]随着人们对隐私保护意识的提高，联邦学习在人工智能领域发挥了重要的作用，然而，由于联邦学习中的参与方与中央服务器需要不断交换大量模型参数
。
但在实际应用中，联邦学习的客户端设备往往部署在通信带宽有限的端设备上，导致通信开销和通信效率成了联邦学习的关键瓶颈之一，研究如何降低联邦学习的通信开销是本领域亟待解决的关键问题
。
[0003]联邦学习需要大量的训练迭代轮次，训练过程中伴有客户端和服务端之间的大量通信，并且复杂神经网络的参数庞大，因此可以通过通信压缩方法优化客户端与服务端之间的通信，以提高联邦学习的通信效率
。
现有技术中，通信压缩方法会采用量化压缩的方式，量化压缩通过将元素低精度表示或者映射到预定义的一组码字来减少参数中每个元素的位数，虽然量化压缩的方法可以达到通信压缩的效果，但在实际应用中由于各个客户端存在异质性，预定义码字难度较大，并且预定码字不合适的话容易造成模型精度的降低
。

技术实现思路

[0004]本专利技术提供一种基于梯度聚类的联邦学习优化通信方法
、
系统及存储介质，以解决采用量化压缩优化联邦学习通信的过程容易造成模型精度降低的问题
。
[0005]第一方面，本专利技术提供一种基于梯度聚类的联邦学习优化通信方法，该方法包括如下步骤：
[0006]接收服务端所发送的初始学习模型和聚合梯度；
[0007]结合所述聚合梯度和预设的本地数据集对所述初始学习模型进行本地训练，得到本地训练模型，并计算得到所述本地训练的梯度参数；
[0008]基于所述本地训练模型并通过微分稀疏正则化器归纳出所述梯度参数的类簇结构，得到压缩梯度参数；
[0009]将所述压缩梯度参数传输至所述服务端
。
[0010]可选的，所述基于所述本地训练模型并通过微分稀疏正则化器归纳出所述梯度参数的类簇结构，得到压缩梯度参数包括如下步骤：
[0011]结合所述初始学习模型
、
所述本地训练模型和所述梯度参数计算得到通信参数，所述通信参数计算过程中包含约束参数；
[0012]结合所述通信参数和所述本地训练模型计算微分稀疏正则化器，并生成所述约束参数的等式约束条件；
[0013]利用交替方向乘子法求解所述等式约束条件，得到求解结果；
[0014]根据所述求解结果归纳出所述梯度参数的类簇结构，得到压缩梯度参数
。
[0015]可选的，所述通信参数的计算公式如下：
[0016][0017]式中：
v
表示所述通信参数，表示所述梯度参数，
y
表示所述初始学习模型，
Λ
表示满秩矩阵，表示所述本地训练模型，
η
t
表示学习率，
Υ
表示调节因子，
t
表示训练轮次，
r
表示所述约束参数
。
[0018]可选的，所述满秩矩阵的表达公式如下：
[0019][0020]可选的，微分稀疏正则化器的计算公式如下：
[0021][0022]式中：表示所述微分稀疏正则化器
。
[0023]可选的，所述等式约束条件为所述利用交替方向乘子法求解所述等式约束条件，得到求解结果包括如下步骤：
[0024]基于所述等式约束条件生成所述通信参数的增广拉格朗日函数；
[0025]利用交替方向乘子法对所述增广拉格朗日函数中的参数进行更新迭代，并最终得到所述等式约束条件的求解结果
。
[0026]可选的，所述增广拉格朗日函数的表达公式如下：
[0027][0028]式中：
L
表示所述增广拉格朗日函数，
r
表示所述约束参数，
y
表示权重参数
、w
表示对偶变量参数，
ρ
表示常量且
ρ
＞
0。
[0029]可选的，利用所述交替方向乘子法对所述信息约束参数进行更新迭代的计算公式如下：
[0030][0031]式中：
r
j+1
表示更新后的所述约束参数，
y
j
表示初始权重参数，
w
j
表示初始对偶变量参数，
Prox
表示近端算子；
[0032]利用所述交替方向乘子法对所述权重参数进行更新迭代的计算公式如下：
[0033][0034]式中：
P
表示特征矩阵，
I
表示单位矩阵，
y
j+1
表示更新后的所述权重参数；
[0035]利用所述交替方向乘子法对所述对偶变量参数进行更新迭代的计算公式如下：
[0036][0037]式中：
w
j+1
表示更新后的所述对偶变量参数
。
[0038]第二方面，本专利技术还提供一种基于梯度聚类的联邦学习优化通信系统，包括存储器
、
处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面中所述的方法
。
[0039]第三方面，本专利技术还提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中所述方法的步骤
。
[0040]本专利技术的有益效果是：
[0041]在接收服务端所发送的初始学习模型和聚合梯度后，结合所述聚合梯度和预设的本地数据集对所述初始学习模型进行本地训练，得到本地训练模型，并计算得到所述本地训练的梯度参数
。
基于所述本地训练模型并通过微分稀疏正则化器归纳出所述梯度参数的类簇结构，微分稀疏正则化器鼓励参数更新到自己的类簇结构
。
当微分稀疏正则化器的元素具有类簇结构时，可以用更少的字节数进行编码并得到压缩梯度参数，从而大幅缩短梯度参数进行通信传输时的码长，以此实现在不降低模型精度的情况下提高了联邦学习过程中的通信效率
。
附图说明
[0042]图1为本专利技术中基于梯度聚类的联邦学习优化通信方法的流程示意图
。
[0043]图2为本专利技术其中一种实施方式中微分稀疏正则化器未处理为类簇结构的初始状态的元素示意图
。
[0044]图3为本专利技术其中一种实施方式中微分稀疏正则化器初始状态下的元素差异示意图
。
[0045]图4为本专利技术其中一种实施方式中微分稀疏正则化器处理为类簇结构后的元素示意图
。
[0046]图5为本专利技术其中一种实施方式中微分稀疏正则化器处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于梯度聚类的联邦学习优化通信方法，其特征在于，包括如下步骤：接收服务端所发送的初始学习模型和聚合梯度；结合所述聚合梯度和预设的本地数据集对所述初始学习模型进行本地训练，得到本地训练模型，并计算得到所述本地训练的梯度参数；基于所述本地训练模型并通过微分稀疏正则化器归纳出所述梯度参数的类簇结构，得到压缩梯度参数；将所述压缩梯度参数传输至所述服务端
。2.
根据权利要求1所述的基于梯度聚类的联邦学习优化通信方法，其特征在于，所述基于所述本地训练模型并通过微分稀疏正则化器归纳出所述梯度参数的类簇结构，得到压缩梯度参数包括如下步骤：结合所述初始学习模型
、
所述本地训练模型和所述梯度参数计算得到通信参数，所述通信参数计算过程中包含约束参数；结合所述通信参数和所述本地训练模型计算微分稀疏正则化器，并生成所述约束参数的等式约束条件；利用交替方向乘子法求解所述等式约束条件，得到求解结果；根据所述求解结果归纳出所述梯度参数的类簇结构，得到压缩梯度参数
。3.
根据权利要求2所述的基于梯度聚类的联邦学习优化通信方法，其特征在于，所述通信参数的计算公式如下：式中：
v
表示所述通信参数，表示所述梯度参数，
y
表示所述初始学习模型，
Λ
表示满秩矩阵，表示所述本地训练模型，
η
t
表示学习率，
γ
表示调节因子，
t
表示训练轮次，
r
表示所述约束参数
。4.
根据权利要求3所述的基于梯度聚类的联邦学习优化通信方法，其特征在于，所述满秩矩阵的表达公式如下：
5.
根据权利要求3所述的基于梯度聚类的联邦学习优化通信方法，其特征在于，微分稀疏正则化器的计算公式如下：
式中：表示所述微分稀疏正则化器
。6.
根据权利要求3所述的基于梯度聚类的联邦学习优化通信方法，其特征在于，所述等式约束条件为所述利用交替方向乘子法求解所述...

【专利技术属性】
技术研发人员：何昆仑，柳青河，赵亚威，姜明明，曹德森，
申请(专利权)人：中国人民解放军总医院，
类型：发明
国别省市：