一种去中心化的联邦学习方法、装置及系统制造方法及图纸

本发明专利技术公开了一种去中心化的联邦学习方法、装置及系统，属于联邦学习领域，方法包括：在参与联邦学习的多个客户端之间建立全局通信网络，使得任意两个客户端之间存在通信路径；各客户端分别接收与其直接通信的其他客户端上一时刻的模型参数，并分别计算其得到的各上一时刻的模型参数与相应权重系数之间乘积的和，以及计算其上一时刻的局部模型的损失函数梯度与预设自适应学习率之间的第一乘积，将其当前时刻的模型参数更新为和与第一乘积之间的差值；重复执行上述迭代更新操作，直至各客户端的局部模型的损失函数不高于相应的阈值，或者直至重复执行的次数达到最大迭代次数。在保护各客户端隐私和数据安全的同时，全局训练各局部模型。局训练各局部模型。局训练各局部模型。

【技术实现步骤摘要】
一种去中心化的联邦学习方法、装置及系统


[0001]本专利技术属于联邦学习领域，更具体地，涉及一种去中心化的联邦学习方法、装置及系统。

技术介绍

[0002]联邦学习旨在建立一个基于分布数据集的联邦学习模型，以应对数据孤岛问题。随着人工智能在各行业的应用落地，人们对于隐私和数据安全的关注度不断提高。如何在遵守更加严格的、新的隐私保护条例下，解决数据碎片化和数据隔离问题，是当前人工智能研究和实践中面临的首要挑战。人们对于数据失去掌控，以及对于增益分配效果不透明，加剧了所谓数据碎片化和孤岛分布的严重性。为了确保用户隐私和数据安全，各客户端交换模型信息的过程将会被精心的设计，使得没有客户端能够猜测到其他任何客户端的隐私数据内容。
[0003]对于设置有中央服务器的联邦学习系统，虽然可以在大型中央服务器上收集、存储和分析数据，但是导致了较高的基础设施成本。中央服务器代表单一的入口点，它必须足够安全以抵抗可能使整个用户数据库处于危险之中的攻击；客户端对局部数据控制有限，存在隐私泄漏的风险。此外，所有客户端被困在“单一思维”模型中，淡化了个别用户的特性，或者导致对某些用户不公平的预测。各客户端获得的数据通常是不平衡、不独立、不均匀的，且分布在不同的机器上，每个客户端的特殊性导致整体模型的复杂性和规模增加，需要在用户之间交换信息以弥补本地数据的缺乏，在这种情况下，通信是一个主要的瓶颈。因此，如何考虑一类避免在用户模型之间达成协议、或者需要一个中央协调器的联邦学习方法，对数据的安全性、模型的可靠性、改善所有客户端之间通信压力具有关键意义。
[0004]现有的去中心化联邦学习方法，在客户端之间数据非独立同分布、全局共享模型训练、缓解通信压力三方面的统一分析较为匮乏，而且也并未切实考虑到用户之间存在的攻击行为，这种相互不信任的情况会导致攻击者通过网络对其他人的设备进行攻击，最终导致各参与者数据泄漏。

技术实现思路

[0005]针对现有技术的缺陷和改进需求，本专利技术提供了一种去中心化的联邦学习方法、装置及系统，其目的在于在保护各客户端隐私和数据安全的同时，实现各局部模型的全局训练。
[0006]为实现上述目的，按照本专利技术的一个方面，提供了一种去中心化的联邦学习方法，包括：S1，在参与联邦学习的多个客户端之间建立全局通信网络，使得任意两个所述客户端之间存在通信路径，每一所述客户端中设置有相应的局部模型；S2，各所述客户端分别接收与其直接通信的其他客户端在上一时刻的局部模型的模型参数；S3，各所述客户端分别计算其得到的各上一时刻的模型参数与相应权重系数之间乘积的和，以及计算其上一时刻的局部模型的损失函数梯度与预设自适应学习率之间的第一乘积，并将其当前时刻局部模型
的模型参数更新为所述和与所述第一乘积之间的差值；S4，重复执行所述S2
‑
S3，直至各所述客户端的局部模型的损失函数不高于相应的阈值，或者直至重复执行的次数达到最大迭代次数，各所述客户端利用最后一次更新得到的局部模型处理其接收到的待处理数据。
[0007]更进一步地，所述S1和S2之间还包括：为每两个所述客户端之间的通信路径设置相应的权重系数，所述权重系数满足：客户端k和客户端j直接通信时，客户端k和客户端j之间的权重系数W
kj
＞0；客户端k和客户端j间接通信时，W
kj
＝0；客户端k的权重系数W
kk
＞0；K为参与联邦学习的客户端的数量，客户端k和客户端j为任意两个所述客户端。
[0008]更进一步地，各所述权重系数形成对称的权重矩阵W，所述权重矩阵W满足：
[0009][0010]其中，w为任一所述局部模型的模型参数，1
K
为K阶分量全为1的向量，λ为矩阵的谱范数。
[0011]更进一步地，所述S3中各客户端更新后的模型参数为：
[0012][0013][0014]g
k
(w
k
(t))满足：
[0015][0016][0017]其中，t为上一时刻，t+1为当前时刻，w
k
(t+1)为当前时刻客户端k中局部模型的模型参数，w
j
(t)为上一时刻客户端j中局部模型的模型参数，K为参与联邦学习的客户端的数量，W
kj
为客户端k和客户端j之间的权重系数，η
t
为所述自适应学习率，g
k
(w
k
(t))为上一时刻客户端k在B
k
(t)上的局部模型的损失函数梯度，B
k
(t)为客户端k中数据集的任一子集，m
′
k
为B
k
(t)中样本的数量，f(A
ki
，b
ki
，w
k
(t))为上一时刻客户端k中局部模型的损失函数，为梯度，为期望，m为各所述客户端中样本的总数，F
k
(w
k
(t))为客户端k的局部模型在上一时刻的损失函数值，A
ki
为客户端k中的第i个样本，b
ki
为A
ki
对应的标签。
[0018]更进一步地，所述S2之前还包括：分别为各所述客户端的局部模型的模型参数设置相应的随机初始值。
[0019]更进一步地，所述自适应学习率为：
[0020][0021]δ和Γ满足约束条件：
[0022][0023][0024][0025]其中，η
t
为所述自适应学习率，δ和Γ为满足所述约束条件的任意正常数，t为上一时刻，m为各所述客户端中样本的总数，μ为全局损失函数的强凸系数，λ为矩阵的谱范数，W为权重矩阵，K为参与联邦学习的客户端的数量，1
K
为K阶分量全为1的向量，L为全局损失函数的Lipschitz常数。
[0026]更进一步地，所述S4中还包括：当时，停止重复执行所述S2
‑
S3；其中，为期望，为上一时刻各所述局部模型的模型参数的平均值，w
*
为全局损失损失函数的最优值点，O(*)为同阶无穷小量，ε为设定的误差阈值，ε＞0。
[0027]按照本专利技术的另一个方面，提供了一种去中心化的联邦学习装置，用于第一客户端，所述第一客户端与一个或多个第二客户端参与联邦学习，所述第一客户端和每一所述第二客户端中设置有相应的局部模型，其特征在于，包括：建立模块，用于建立与所述一个或多个第二客户端之间的全局通信网络，以与每一所述第二客户端之间存在通信路径；接收模块，用于分别接收直接通信的各所述第二客户端在上一时刻的局部模型的模型参数；更新模块，用于计算得到的各上一时刻的模型参数与相应权重系数之间乘积的和，以及计算上一时刻所述第一客户端的局部模型的损失函数梯度与预设自适应学习率之间的第一乘积，并将所述第一客户端当前时刻局部模型的模型参数更新为所述和与所述第一乘积之间的差值；迭代模块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种去中心化的联邦学习方法，其特征在于，包括：S1，在参与联邦学习的多个客户端之间建立全局通信网络，使得任意两个所述客户端之间存在通信路径，每一所述客户端中设置有相应的局部模型；S2，各所述客户端分别接收与其直接通信的其他客户端在上一时刻的局部模型的模型参数；S3，各所述客户端分别计算其得到的各上一时刻的模型参数与相应权重系数之间乘积的和，以及计算其上一时刻的局部模型的损失函数梯度与预设自适应学习率之间的第一乘积，并将其当前时刻局部模型的模型参数更新为所述和与所述第一乘积之间的差值；S4，重复执行所述S2
‑
S3，直至各所述客户端的局部模型的损失函数不高于相应的阈值，或者直至重复执行的次数达到最大迭代次数，各所述客户端利用最后一次更新得到的局部模型处理其接收到的待处理数据。2.如权利要求1所述的去中心化的联邦学习方法，其特征在于，所述S1和S2之间还包括：为每两个所述客户端之间的通信路径设置相应的权重系数，所述权重系数满足：客户端k和客户端j直接通信时，客户端k和客户端j之间的权重系数W
kj
＞0；客户端k和客户端j间接通信时，W
kj
＝0；客户端k的权重系数W
kk
＞0；K为参与联邦学习的客户端的数量，客户端k和客户端j为任意两个所述客户端。3.如权利要求2所述的去中心化的联邦学习方法，其特征在于，各所述权重系数形成对称的权重矩阵W，所述权重矩阵W满足：其中，w为任一所述局部模型的模型参数，1K为K阶分量全为1的向量，λ为矩阵的谱范数。4.如权利要求1所述的去中心化的联邦学习方法，其特征在于，所述S3中各客户端更新后的模型参数为：后的模型参数为：g
k
(w
k
(t))满足：(t))满足：其中，t为上一时刻，t+1为当前时刻，w
k
(t+1)为当前时刻客户端k中局部模型的模型参
数，w
j
(t)为上一时刻客户端j中局部模型的模型参数，K为参与联邦学习的客户端的数量，W
kj
为客户端k和客户端j之间的权重系数，η
t
为所述自适应学习率，g
k
(w
k
(t))为上一时刻客户端k在B
k
(t)上的局部模型的损失函数梯度，B
k
(t)为客户端k中数据集的任一子集，m
′
k
为B
k
(t)中样本的数量，f(A
ki
，b
ki
，w...

【专利技术属性】
技术研发人员：袁烨，陈蕊娟，王茂霖，孙川，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：