基于多维指标动态识别联邦学习中的后门攻击防御方法技术

本发明专利技术公开了一种基于多维指标动态识别联邦学习中的后门攻击防御方法，包括以下步骤：首先引入曼哈顿距离，利用曼哈顿距离，提出的基于距离的防御措施对隐蔽的后门显示出显著的性能。为了应对各种攻击，利用多种指标合作来识别恶意的梯度，应用马氏距离并生成动态权重，以处理参与者的非IID分布和不同距离带来的不同尺度，最后，为每个提交的梯度计算分数，并根据分数只聚集良性的梯度；采用多维指标去动态识别联邦学习中的后门攻击，可以在保证主任务准确率及模型性能的同时，尽可能多的抵御不同的后门攻击手段，同时可以适应非独立同分布的数据分布情况，并且可以去防御隐蔽的、被攻击者精心设计后的后门攻击。被攻击者精心设计后的后门攻击。被攻击者精心设计后的后门攻击。

【技术实现步骤摘要】
基于多维指标动态识别联邦学习中的后门攻击防御方法


[0001]本专利技术涉及人工智能数据安全领域，具体涉及一种基于多维指标动态识别联邦学习中的后门攻击防御方法。

技术介绍

[0002]联邦学习是一种满足隐私保护、符合《数据安全保护法》和《个人隐私保护法》相关规定的协同式机器学习框架，但是由于无法检查合作方的数据，容易收到来自恶意参与方的后门攻击的影响。如图1所示，在联邦学习的框架下，各方都使用自己的数据进行模型的训练，只是将每次模型迭代更新的梯度等参数在公共区域进行聚合和更新，各方数据都保留在本地没有移出，不泄露隐私也不违反法规；多个参与者联合数据建立虚拟的共有模型，并且共同获益；在联邦学习的体系下，各个参与者的身份和地位平等；联邦学习的建模效果和将整个数据集放在一处建模的效果相同，或相差不大。联邦学习系统很容易受到后门的影响，后门攻击，也称为有目标的数据投毒攻击就是在特定对手选择的输入上，操纵模型走向目标行为。与无目标的数据投毒攻击相比，后门攻击更难被发现，因为它不影响模型的常规功能，其梯度与良性的更相似。因为联邦学习出于隐私考虑，中央服务器对用户本地数据和训练过程没有检查权限，使得其安全性降低从而更容易受到攻击的破坏。模型替换攻击通过单次攻击成功地将后门注入全局模型中。一些精心设计的攻击战略性地瞄准了防御的弱点，如PGD攻击缩放和投影梯度，或DBA攻击在上传触发器之前分割它们。此外，Edge
‑
case PGD攻击修改了中毒的数据和模型。无疑，这些攻击对联邦学习系统的安全性提出了巨大的挑战。r/>[0003]现有的联邦学习中后门攻击的防御方法主要有以下两种：第一种是通过分类的方式将攻击者上传的梯度所剔除；第二种则是通过差分隐私的手段对联邦学习的模型添加噪声以逐渐消除后门。第一种方案的问题是无法识别比较隐蔽的后门攻击，特别是经过模型放缩后的后门攻击，同时这种方法难以应对不同的攻击策略，并且难以适应客户的数据不是独立同分布的情况；第二种方案的问题则是，添加的噪声会对模型主任务的性能产生较大影响，违背了协同训练的目的。
[0004]现有防御后门攻击的防御方法主要缺点有以下几点。
[0005]1.大多防御往往是假设特定的数据分布，例如Krum防御方法通过比较每个客户模型之间的L2范数，剔除与其他模型L2范数较高的客户模型，其需要假设数据分布是独立同分布的(Machine Learning with Adversaries：Byzantine Tolerant Gradient Descent，Peva Blanchard，El Mahdi El Mhamdi*，Rachid Guerraoui，Julien Stainer)；Foolsgold防御方法则是比较客户模型与历史的余弦相似度(The Limitations of Federated Learning in Sybil Settings，Clement Fung，Chris J.M.Yoon，Ivan Beschastnikh)，认为攻击者上传的模型具有一致性，而良性客户端则不具有一致性，其假设数据分布是非独立同分布的，造成适应性低；
[0006]2.目前很多防御会基于在向量空间中的欧氏距离去识别恶意的梯度例如Krum和
RFA防御算法，RFA防御算法通过各个客户端的几何中位数代替原有的平均算法，但是欧氏距离在高维空间中受到维度诅咒的影响较大，识别能力差，而神经网络又是很典型的高维空间，造成识别准确度低(Robust Aggregation for Federated Learning，Krishna Pillutla，Sham M.
[0007]Kakade，and Zaid Harchaoui)；
[0008]3.现有的防御大多无法防御经过模型放缩、隐蔽后门数据的攻击例如Edge
‑
case PGD攻击，而只能通过差分隐私加噪声的方法去防御例如Weak
‑
DP防御算法(Can You Really Backdoor Federated Learning，Ziteng Sun*，Peter Kairouz，Ananda Theertha Suresh，H.
[0009]Brendan McMahan)，而这样会降低模型主任务准确率，造成防御成本高。
[0010]4.大多后门攻击的防御策略死板单一，只能有针对性的去防御特定的攻击，难以去有效防御多种多样的攻击手段，防御效率差，例如Krun和RFA通过欧式距离去防御，Foolsgold通过余弦相似度去防御，很容易被攻击者进行针对性的突破；

技术实现思路

[0011]本专利技术目的在于提出基于多维指标动态识别联邦学习中的后门攻击防御方法，本专利技术首先引入了曼哈顿距离，在理论上它在高维空间比欧氏距离更有意义，利用曼哈顿距离，提出的基于距离的防御措施对隐蔽的后门显示出显著的性能。为了应对各种攻击，利用多种指标合作来识别恶意的梯度。此外，应用马氏距离并生成动态权重，以处理参与者的非IID分布和不同距离带来的不同尺度。最后，为每个提交的梯度计算分数，并根据分数只聚集良性的梯度。采用多维指标去动态识别联邦学习中的后门攻击，可以在保证主任务准确率及模型性能的同时，尽可能多的抵御不同的后门攻击手段，同时可以适应非独立同分布的数据分布情况，并且可以去防御隐蔽的、被攻击者精心设计后的后门攻击。
[0012]本专利技术至少通过如下技术方案之一实现。
[0013]基于多维指标动态识别联邦学习中的后门攻击防御方法，包括以下步骤：
[0014]S1、初始化联邦学习框架，定义和计算梯度特征，定义并计算每个客户端的特征值；
[0015]S2、使用马氏距离计算客户端动态权重和分数，按照距离分数d
i
进行排序；
[0016]S3、剔除攻击梯度、聚合良性梯度并添加噪声。
[0017]进一步地，定义梯度的特征如下：
[0018][0019][0020][0021]其中，i为第i个用户，w
i
为第i个用户训练的本地模型，w0为上一轮聚合后并下发的全局模型；第i个用户训练的梯度特征包括曼哈顿距离欧氏距离和余弦距离用如下公式表达用户梯度特征信息：
[0022]x＝(x
Man
，x
Eul
，x
Cosine
)(4)
[0023]进一步地，选用离散度作为评判一个梯度是否为异常值的依据，定义并计算每个客户的模型的特征值：
[0024][0025][0026][0027]其中分别为重定义的特征值，是梯度模型原有特征值，而是本轮上传的所有梯度中除以外的其他梯度。
[0028]进一步地，在定义梯度特征之后，用如下公式表达用户梯度的特征信息：
[0029][0030]其中x
′
(i)
表示第i个客户端的离散度向量，表示在本轮选择的K个客户端中第i个客户端与其余客户端x
...

【技术保护点】

【技术特征摘要】
1.基于多维指标动态识别联邦学习中的后门攻击防御方法，其特征在于，包括以下步骤：S1、初始化联邦学习框架，定义和计算梯度特征，定义并计算每个客户端的特征值；S2、使用马氏距离计算客户端动态权重和分数，按照距离分数d
i
进行排序；S3、剔除攻击梯度、聚合良性梯度并添加噪声。2.根据权利要求1所述的基于多维指标动态识别联邦学习中的后门攻击防御方法，其特征在于，定义梯度的特征如下：定义梯度的特征如下：定义梯度的特征如下：其中，i为第i个用户，w
i
为第i个用户训练的本地模型，w0为上一轮聚合后并下发的全局模型；第i个用户训练的梯度特征包括曼哈顿距离欧氏距离和余弦距离用如下公式表达用户梯度特征信息：x＝(x
Man
,x
Eul
,x
Cosine
)(4)。3.根据权利要求2所述的基于多维指标动态识别联邦学习中的后门攻击防御方法，其特征在于，选用离散度作为评判一个梯度是否为异常值的依据，定义并计算每个客户的模型的特征值：型的特征值：型的特征值：其中分别为重定义的特征值，是梯度模型原有特征值，而是本轮上传的所有梯度中除以外的其他梯度。4.根据权利要求3所述的基于多维指标动态识别联邦学习中的后门攻击防御方法，其特征在于，在定义梯度特征之后，用如下公式表达用户梯度的特征信息：其中x
′
(i)
表示第i个客户端的离散度向量，表示在本轮选择的K个客户端中第i个客户端与其余客户端x
j
的在曼哈顿距离上差值的绝对值的和，以作为在该指标上的离散度，和分别为在欧氏距离和余弦距离指标上的离散度。5.根据权利要求1所述的基于多维指标动态识别联邦学习中的后门攻击防御方法，其
特征在于，使用马氏距离给梯度特征赋权计算动态权重和分数：其中Σ为当轮选到参与训练的所有用户的梯度特征的矩阵的协方差矩阵，其求逆得到的逆矩阵作为该轮次的动态权重，d
i
为通过第i个客户端的离散度向量x
′
(i)
求得的分数，为x
′
(i)
的转置。6.根据权利要求1所述的基于多维指标动态识别联邦学习中的后门攻击防御方法，其特征在于，初始化由N个客户端组成的联邦学习框架，包括以下步骤：(1)、中央服务器下发给K个参与本轮训练的客户端当轮的初始全局模型w0；(2)、每个客户端利用其本地数据在本地训练模型w0，并将训练好的本地模型w
i
上传服务器，其中w
i
为第i个客户端上传的本地模型；(3)、服务器接收K个训练好...

【专利技术属性】
技术研发人员：高英，黄思铨，陈冲，时乐宇，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：