一种隐私保护的横向联邦学习安全聚合方法、系统、设备及介质技术方案

一种隐私保护的横向联邦学习安全聚合方法、系统、设备及介质，方法包括全局模型分发、全局模型解密、本地模型训练、本地模型加密与上传、全局模型安全聚合、模型加权差异计算与上传、异常检测及异常节点更新；系统、设备及介质能够基于隐私保护的横向联邦学习安全聚合方法，进行攻击的检测和防御；本发明专利技术可以有效抵御α攻击与β攻击这两种攻击方式，使全局模型精度最终稳定收敛在一个较高的精度范围内；同时，相较于原本隐私保护联邦学习系统所产生的计算开销和通信开销，本发明专利技术产生的额外开销较小，不会对系统的资源开销带来过多负担。不会对系统的资源开销带来过多负担。不会对系统的资源开销带来过多负担。

【技术实现步骤摘要】
一种隐私保护的横向联邦学习安全聚合方法、系统、设备及介质


[0001]本专利技术属于网络空间安全
，尤其涉及一种隐私保护的横向联邦学习安全聚合方法、系统、设备及介质。

技术介绍

[0002]现有的研究表明，在模型聚合过程中，攻击者可以通过各参与方上传的本地模型信息来推断参与方的隐私数据信息。为了抵御这种攻击，产生了多种隐私保护的联邦学习算法，这些算法主要利用了同态加密、差分隐私和安全多方计算技术等对本地模型与全局模型进行隐私保护。
[0003]由于分布式协作和隐私保护的特性，联邦学习可能会受到各种安全威胁。如现有多数联邦学习算法通常假设各参与方均为诚实的，然而实际环境中这种假设并非总是成立。参与方可以修改其真实本地模型或直接上传随机本地模型信息至服务器，从而导致聚合得到的全局模型性能下降，我们将这类参与方称为拜占庭节点或恶意参与方。如何有效地识别出恶意参与方，避免或减少其对全局模型精度的不良影响是现如今亟待解决的问题。
[0004]当联邦学习系统中的本地模型信息与全局模型信息均通过同态加密技术进行隐私保护时，拜占庭节点的检测将变得异常困难。针对这一问题，有学者提出了解决方案来检测拜占庭节点，核心思想为：参与方首先计算全局模型信息与自身的本地模型信息之差来得到其他参与方的模型聚合结果，然后将自身的本地模型与其他参与方的模型聚合结果之间的差异上传至聚合服务器，接着聚合服务器根据所有参与方上传的模型差异信息进行异常点检测，从而发现拜占庭节点(称为A防御方案)。该方案的有效性依赖于敌手只能发起随机生成本地模型的投毒攻击(称为α攻击)。
[0005]对于拜占庭节点不再随机生成本地模型，而是首先计算模型中各参数的重要性，基于计算结果，将本地模型中重要性高的参数设置为随机值，将其他参数设置为真实参数值，然后将拥有部分随机值参数的本地模型上传至服务器，从而减小了其本地模型与其他良性本地模型之间的差异。在上传其本地模型与其他参与方的聚合模型之间的差异时，将给定比例的数值设定为0，其余数值为差异计算结果的真实值。这种攻击方式(称为β攻击)的隐蔽性更强，无法被上文所述的现有拜占庭节点检测方案(A防御方案)防御。

技术实现思路

[0006]为了克服上述现有技术的不足，本专利技术的目的在于提供一种隐私保护的横向联邦学习安全聚合方法、系统、设备及介质，首先，服务器S基于接收到的加密本地模型按照系统所采用的聚合方法进行全局模型聚合，并将真实聚合结果分发给各参与方；参与方对加密全局模型参数进行解密，得到全局模型参数；参与方基于全局模型参数及其本地数据进行本地模型训练，并对本地模型加密与上传；服务器接收到各参与方发送的加密本地模型后，
聚合各参与方的加密本地模型，得到更新后的全局模型；由参与方本地计算模型差异信息并上传至服务器，代替服务器直接计算模型差异度的传统方法；服务器S将各参与方发送的模型差异集合存储于模型距离数据库，通过DBSCAN聚类算法或constrained K
‑
means聚类算法进行异常检测；最后，服务器S根据异常检测结果，更新其用于存放异常节点身份标识的异常节点列表(BNL)；能够有效抵御α攻击与β攻击这两种攻击方式，使全局模型精度最终稳定收敛在一个较高的精度范围内；同时，相较于原本隐私保护联邦学习系统所产生的计算开销和通信开销；本专利技术产生的额外开销较小，不会对系统的资源开销带来过多负担。
[0007]为了实现上述目的，本专利技术采用如下技术方案：
[0008]一种隐私保护的横向联邦学习安全聚合方法，利用服务器S基于接收到的加密本地模型按照系统所采用的聚合方法进行全局模型聚合，并将真实聚合结果分发给各参与方；参与方对加密全局模型参数进行解密，得到全局模型参数；参与方基于全局模型参数及其本地数据进行本地模型训练，并对本地模型加密与上传；服务器接收到各参与方发送的加密本地模型后，聚合各参与方的加密本地模型，得到更新后的全局模型；由参与方本地计算模型差异信息并上传至服务器，代替服务器直接计算模型差异度的现有方法；服务器S将各参与方发送的模型差异集合存储于模型距离数据库，通过基于聚类的离群点检测算法进行异常检测；最后，服务器S根据异常检测结果，更新其用于存放异常节点身份标识的异常节点列表BNL。
[0009]所述聚类的离群点检测算法包括DBSCAN聚类算法或constrained K
‑
means聚类算法。
[0010]一种隐私保护的横向联邦学习安全聚合方法，具体包括以下步骤：
[0011]Step1全局模型分发
[0012]服务器S在联邦学习训练开始前随机生成初始全局模型参数G0并利用参与方共享公钥对其加密获得EG0＝Enc(pk,G0)，然后向各参与方分发EG0；在后续训练过程中，服务器S将基于接收到的加密本地模型参数根据安全聚合规则进行全局模型参数聚合得到更新的加密全局模型参数EG
t
(t∈[1,p])；各参与方利用服务器S发送的全局模型参数EG
t
以及自身本地数据执行下一轮本地模型训练；
[0013]Step2全局模型解密
[0014]参与方u
i
收到EG
t
(t∈[0,p
‑
1])后，执行G
t
＝Dec(sk,EG
t
)对加密全局模型参数进行解密，得到全局模型参数G
t
；
[0015]Step3本地模型训练
[0016]参与方u
i
基于G
t
及其本地数据进行本地模型训练，得到本地模型其中，本地模型的参数组成本地模型向量p为联邦学习训练轮数，m为神经网络模型层数；
[0017]Step4本地模型加密与上传
[0018]参与方u
i
利用公式3对本地模型向量中所有元素进行加密：
[0019][0020]令上传加密本地模型参数至服务器S；
[0021]Step5全局模型安全聚合
[0022]服务器S接收到各参与方发送的加密本地模型后，利用公式4聚合各参与方的加密本地模型，得到更新后的全局模型的加密本地模型，得到更新后的全局模型
[0023][0024]其中，Add()为Paillier同态加密算法中的同态加法函数，为加密本地模型的第j层参数；
[0025]Step6模型加权差异计算与上传
[0026]由参与方本地计算模型差异信息并上传至服务器S，代替服务器直接计算模型差异度的传统方法，实现隐私保护的异常检测；
[0027]Step7异常检测
[0028]服务器S将各参与方发送的模型差异集合服务器S将各参与方发送的模型差异集合存储于模型距离数据库，通过DBSCAN聚类算法或constrained K
‑
means聚类算法进行异常检测，被检测出的离群节点将被视为拜占庭节点；
[0029]Step8异常节点更新
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种隐私保护的横向联邦学习安全聚合方法，其特征在于，利用服务器S基于接收到的加密本地模型按照系统所采用的聚合方法进行全局模型聚合，并将真实聚合结果分发给各参与方；参与方对加密全局模型参数进行解密，得到全局模型参数；参与方基于全局模型参数及其本地数据进行本地模型训练，并对本地模型加密与上传；服务器接收到各参与方发送的加密本地模型后，聚合各参与方的加密本地模型，得到更新后的全局模型；由参与方本地计算模型差异信息并上传至服务器，代替服务器直接计算模型差异度的现有方法；服务器S将各参与方发送的模型差异集合存储于模型距离数据库，通过基于聚类的离群点检测算法进行异常检测；最后，服务器S根据异常检测结果，更新其用于存放异常节点身份标识的异常节点列表BNL。2.根据权利要求1所述的一种隐私保护的横向联邦学习安全聚合方法，其特征在于，所述聚类的离群点检测算法包括DBSCAN聚类算法或constrained K
‑
means聚类算法。3.根据权利要求1或2所述的一种隐私保护的横向联邦学习安全聚合方法，其特征在于，具体包括以下步骤：Step1全局模型分发服务器S在联邦学习训练开始前随机生成初始全局模型参数G0并利用参与方共享公钥对其加密获得EG0＝Enc(pk,G0)，然后向各参与方分发EG0；在后续训练过程中，服务器S将基于接收到的加密本地模型参数根据安全聚合规则进行全局模型参数聚合得到更新的加密全局模型参数EG
t
(t∈[1,p])；各参与方利用服务器S发送的全局模型参数EG
t
以及自身本地数据执行下一轮本地模型训练；Step2全局模型解密参与方u
i
收到EG
t
(t∈[0，p
‑
1])后，执行G
t
＝Dec(sk，EG
t
)对加密全局模型参数进行解密，得到全局模型参数G
t
；Step3本地模型训练参与方u
i
基于G
t
及其本地数据进行本地模型训练，得到本地模型其中，本地模型的参数组成本地模型向量p为联邦学习训练轮数，m为神经网络模型层数；Step4本地模型加密与上传参与方u
i
利用公式3对本地模型向量中所有元素进行加密：令上传加密本地模型参数至服务器S；Step5全局模型安全聚合服务器S接收到各参与方发送的加密本地模型后，利用公式4聚合各参与方的加密本地模型，得到更新后的全局模型密本地模型，得到更新后的全局模型密本地模型，得到更新后的全局模型其中，Add()为Paillier同态加密算法中的同态加法函数，为加密本地模型的第j
层参数；Step6模型加权差异计算与上传由参与方本地计算模型差异信息并上传至服务器S，代替服务器直接计算模型差异度的传统方法，实现隐私保护的异常检测；Step7异常检测服务器S将各参与方发送的模型差异集合服务器S将各参与方发送的模型差异集合存储于模型距离数据库，通过DBSCAN聚类算法或constrained K
‑
means聚类算法进行异常检测，被检测出的离群节点将被视为拜占庭节点；Step8异常节点更新服务器S根据异常检测结果，更新其用于存放异常节点身份标识的异常节点列表(BNL)，该列表中的节点后续所上传的本地模型将被丢弃，不参与下一轮全局模型的聚合过程；在联邦学习训练开始前，异常节点列表默认为空。4.根据权利要求3所述的一种隐私保护的横向联邦学习安全聚合方法，其特征在于，所述Step6的具体方法为：首先，参与方u
i
对EG
t
(t∈[1，p])进行解密得到G
t
，利用参...

【专利技术属性】
技术研发人员：郭晶晶，刘玖樽，马勇，苗可，刘志全，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：