一种基于谱聚类的鲁棒联邦学习异常客户端检测方法技术

本发明专利技术属于联邦学习异常检测领域，公开了一种基于谱聚类的鲁棒联邦学习异常客户端检测方法。服务器通过建立预测模型、计算局部模型与预测模型的余弦相似度构建无向图；计算无向图的拉普拉斯矩阵得到样本集；服务器采用基于K

【技术实现步骤摘要】
一种基于谱聚类的鲁棒联邦学习异常客户端检测方法


[0001]本专利技术涉及联邦学习异常检测领域，尤其涉及一种基于谱聚类的鲁棒联邦学习异常客户端检测方法。

技术介绍

[0002]联邦学习(FL)是一种基于分散数据的新兴学习范式。在联邦学习场景中，多个客户端(例如智能手机、物联网设备、边缘数据中心)共同学习机器学习模型，称为全局模型，而无需与云服务器共享其本地训练数据。FL迭代地执行以下三个步骤：服务器将当前全局模型发送给选定的客户端；每个选定的客户端在其本地训练数据上对接收到的全局模型进行微调，并将模型参数更新或梯度更新发送回服务器；服务器根据聚合规则聚合接收到的模型更新，并更新全局模型。
[0003]联邦学习(FL)容易受到中毒攻击，恶意客户端使用有毒数据训练局部模型，从而向服务器发送有毒的局部模型更新来破坏全局模型。研究人员通过比较恶意模型与正常模型的差异识别恶意节点并提供基于信任评估的防御方案以抵御联邦学习中的恶意攻击，从而保证全局模型的精度。
[0004]2021年，Xiaoyu Cao等人在《FLTrust:Byzantine
‑
robust Federated Learning via Trust Bootstrapping》中提出了一种基于信任引导的拜占庭鲁棒联邦学习FLTrust方法。通过先验数据集的收集和模型训练，引导服务器通过对客户端模型相似度比较进行信任评估，并通过评估结果和归一化模型更新完成恶意客户端检测，抵御恶意攻击并提高全局模型精度。2022年，Zehui Zhang等人在《DetectPMFL:Privacy
‑
Preserving Momentum Federated Learning Considering Unreliable Industrial Agents》中提出一种考虑不可靠工业代理的检隐私保护动量联邦学习方法DetectPMFL。该方法用CKKS方案对本地数据进行加密，并采用余弦相似度区分工业代理，基于余弦相似度识别不可靠的工业代理，解决了不可靠工业代理收集的低质量数据降低模型精度问题。
[0005]在低密度网络联邦学习场景下，客户端部署稀疏，不仅存在恶意客户端还存在由于自然故障导致的低质客户端，为了完成正常的联邦学习任务应对客户端进行合理分类并使其有机会重新加入联邦学习过程。FLTrust能够抵御恶意客户端的自适应攻击并对其进行信任评估，但未考虑自然故障节点(不可靠客户端)带来的影响；DetectPMFL针对工业代理区分不可靠或低质客户端，但没有相应的赎回机制使其重新加入联邦学习过程。
[0006]因此，联邦学习客户端检测机制仍存在一些不足，主要表现在：(1)没有考虑网络疏密性，在客户端稀疏场景中，隔离恶意节点会导致联邦学习客户端数量不足，影响全局模型的性能。(2)没有考虑场景的特殊性，联邦学习中的客户端质量受到环境和恶意攻击等多重因素的影响，恶意客户端检测忽略了自然故障节点和恶意节点的区别。(3)没有考虑资源的利用最大化，自然故障节点受到环境和通信条件等影响，可能被误识别为恶意节点，同时缺少相应的赎回机制，浪费了自然故障节点的数据资源。这些缺陷使得现有的联邦学习异常客户端检测方法在实际应用时会面临通用性较差、无法最大化利用可用资源的挑战。

技术实现思路

[0007]本专利技术目的是提出一种基于谱聚类的鲁棒联邦学习异常客户端检测方法，以解决上述技术问题。
[0008]为实现上述目的，本专利技术技术方案如下：一种基于谱聚类的鲁棒联邦学习异常客户端检测方法，步骤如下：
[0009]步骤1、建立场景模型；
[0010]网络模型包括1个服务器和N个客户端节点；服务器与各客户端节点在通信范围内进行通信，客户端之间不进行通信，且每个客户端节点具有相同的所需能量、计算和存储资源，客户端在部署区域内移动；
[0011]在联邦学习过程中，各个客户端收集数据储存在本地；服务器下发初始化模型至客户端，客户端使用本地数据对初始模型进行训练；客户端定期将模型参数值发送至服务器，服务器通过聚合各个模型更新创建全局模型；经过多次迭代训练得到最终的全局模型；
[0012]服务器为可信服务器，客户端包括恶意客户端、故障客户端和正常客户端；
[0013]步骤2、异常客户端检测；
[0014]步骤2.1)、建立预测模型；
[0015]联邦学习初始迭代中，设定每个客户端均为正常客户端；服务器下发初始模型ω0到客户端；客户端接收到初始模型后，通过自己的本地数据Data
l
对初始模型进行训练，并将训练好的局部模型梯度上传至服务器；服务器进行局部模型聚合得到全局模型ω
t
，聚合过程如下：
[0016][0017]其中，ω
t
表示第t轮迭代得到的全局模型，ω
k,t
‑1表示第t
‑
1轮客户端k上传的本地模型，n
k
表示客户端k的样本数量，n表示所有客户端的样本数量之和，N表示客户端总数；
[0018]经过t
‑
1轮迭代后，服务器得到局部模型梯度聚合得到全局模型ω
t
，作为下轮预测模型M
p
；
[0019]步骤2.2)、建立拉普拉斯矩阵；
[0020]从第t轮训练开始，客户端中存在故障客户端和/或恶意客户端，建立客户端的拉普拉斯矩阵作为谱聚类的基础，用于区分客户端类别；
[0021](2.2.1)构建无向图：在第t轮及后续训练过程中，客户端接收服务器下发的模型，使用本地数据训练局部模型并上传至服务器；服务器接收到各个客户端上传的局部模型后，计算各个局部模型梯度与预测模型M
p
的余弦相似度q
i
，余弦相似度集合q＝{q1,q2,q3,
…
,q
N
}，计算过程如下：
[0022][0023]定义无向图G(V,E)，局部模型为无向图中顶点V，无向图中的边矩阵为E；计算顶点i与顶点j之间的相似度差值，得到相似度差值矩阵S：
[0024]S
ij
＝q
i
‑
q
j
.
[0025]设定相似度差阈值δ，比较顶点i与顶点j的相似度差值与阈值δ的关系，当相似度差值未超过阈值δ，则在无向图中连接两个顶点，更新E
ij
和E
ji
为1；即：
[0026][0027](2.2.2)邻接矩阵更新：建立邻接矩阵R，根据上述更新的边矩阵E，计算相邻顶点i和顶点j的局部模型的余弦相似度，作为边的权重对邻接矩阵R进行更新，过程如下：
[0028][0029](2.2.3)度矩阵更新：建立度矩阵D，对于带有边的权重的无向图G，度矩阵各元素为顶点的权重之和，过程如下：
[0030][0031](2.2.4)拉普拉斯矩阵更新：根据上述有N个顶点的无本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于谱聚类的鲁棒联邦学习异常客户端检测方法，其特征在于，步骤如下：步骤1、建立场景模型；网络模型包括1个服务器和N个客户端节点；服务器与各客户端节点在通信范围内进行通信，客户端之间不进行通信，且每个客户端节点具有相同的所需能量、计算和存储资源，客户端在部署区域内移动；在联邦学习过程中，各个客户端收集数据储存在本地；服务器下发初始化模型至客户端，客户端使用本地数据对初始模型进行训练；客户端定期将模型参数值发送至服务器，服务器通过聚合各个模型更新创建全局模型；经过多次迭代训练得到最终的全局模型；服务器为可信服务器，客户端包括恶意客户端、故障客户端和正常客户端；步骤2、异常客户端检测；步骤2.1)、建立预测模型；联邦学习初始迭代中，设定每个客户端均为正常客户端；服务器下发初始模型ω0到客户端；客户端接收到初始模型后，通过自己的本地数据Data
l
对初始模型进行训练，并将训练好的局部模型梯度上传至服务器；服务器进行局部模型聚合得到全局模型ω
t
，聚合过程如下：其中，ω
t
表示第t轮迭代得到的全局模型，ω
k,t
‑1表示第t
‑
1轮客户端k上传的本地模型，n
k
表示客户端k的样本数量，n表示所有客户端的样本数量之和，N表示客户端总数；经过t
‑
1轮迭代后，服务器得到局部模型梯度聚合得到全局模型ω
t
，作为下轮预测模型M
p
；步骤2.2)、建立拉普拉斯矩阵；从第t轮训练开始，客户端中存在故障客户端和/或恶意客户端，建立客户端的拉普拉斯矩阵作为谱聚类的基础，用于区分客户端类别；(2.2.1)构建无向图：在第t轮及后续训练过程中，客户端接收服务器下发的模型，使用本地数据训练局部模型并上传至服务器；服务器接收到各个客户端上传的局部模型后，计算各个局部模型梯度与预测模型M
p
的余弦相似度q
i
，余弦相似度集合q＝{q1,q2,q3,
…
,q
N
}，计算过程如下：定义无向图G(V,E)，局部模型为无向图中顶点V，无向图中的边矩阵为E；计算顶点i与顶点j之间的相似度差值，得到相似度差值矩阵S：S
ij
＝q
i
‑
q
j
.设定相似度差阈值δ，比较顶点i与顶点j的相似度差值与阈值δ的关系，当相似度差值未超过阈值δ，则在无向图中连接两个顶点，更新E
ij
和E
ji
为1；即：(2.2.2)邻接矩阵更新：建立邻接矩阵R，根据上述更新的边矩阵E，计算相邻顶点i和顶
点j的局部模型的余弦相似度，作为边的权重对邻接矩阵R进行更新，过程如下：(2.2.3)度矩阵更新：建立度矩阵D，对于带有边的权重的无向图G，度矩阵各元素为顶点的权重之和，过程如下：(2.2.4)拉普拉斯矩阵更新：根据上述有N个顶点的无向图G的邻接矩阵和度矩阵，计算无向图G的拉普拉斯矩阵L，过程如下：L＝D
‑
R步骤2.3)、基于拉普拉斯矩阵进行谱聚类；根据上述拉普拉斯矩阵L，求出其特征值λ及其对应的特征向量p，按特征值由小到大排序，对应的特征向量排序为p1,p2,
…
,p
N
，取前2个不为零的特征值对应的特征向量，组成特征向量矩阵F(N*2)，F中每一行作为一个2维的样本，共输出N个样本形成样本集；对上述样本进行谱聚类；按照样本之间的距离大小，将样...

【专利技术属性】
技术研发人员：覃振权，孟维程，卢炳先，王雷，朱明，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：