【技术实现步骤摘要】
本专利技术涉及联邦学习领域，特别涉及基于梯度的关键维度提取的联邦学习防御方法及系统。
技术介绍
1、联邦学习这种新兴分布式框架允许数据在本地生成、存储，并通过多个客户端间聚合模型参数更新而非原始数据来共建模型，从而确保数据隐私。它采用去中心化学习范式，在诸如智能手机、医疗设备等客户端上独立训练模型，并将更新向量发送至中心服务器聚合后形成全局模型，此过程循环进行直至达成目标精度，避免了敏感数据的集中存储和处理风险。
2、随着联邦学习技术的不断发展，其固有的分布式特性虽然带来了数据隐私保护的优势，但也使得系统变得更加脆弱，容易受到恶意攻击的威胁。这些攻击威胁到了联邦学习系统的健壮性，并且可以大致分为两大类：目标攻击和非目标攻击。目标攻击旨在通过精确的、恶意的修改，使得全局模型在特定任务上的表现按照攻击者的意图发生变化，而不是完全破坏模型的性能。这种攻击的一个典型例子是后门攻击，其中攻击者在模型中植入特定的触发器，以在模型遇到带有该触发器的输入时改变其行为。非目标攻击则不针对特定的输出，而是旨在广泛地破坏模型的性能和可靠性，例如通过篡改训练数据或模型更新过程来干扰学习过程。
3、通过对以上攻击类型的识别和理解，存在几种经典的防御机制来保护联邦学习系统不受这些潜在威胁的影响，确保模型的健壮性和数据的安全性。这些防御机制大多直接基于梯度向量的统计特征和相似性，例如，通过选择与其他模型更新的欧几里得距离之和最小的更新来排除异常值；又例如，通过计算所有提交的模型更新的中位数而不是平均值进行聚合来抵御极端的篡改；又例如，
4、现有的针对非独立同分布数据的鲁棒性算法包括基于模型性能的聚合方法、优化训练函数的策略、基于共享数据和基于个性化训练方法。而基于模型性能的聚合方法和优化训练函数的策略增加了模型训练的复杂性和计算成本；基于共享数据的方法的缺陷在于可能违反数据隐私和保密原则，特别是当共享的数据包含敏感信息时；基于个性化训练的方法需要每个客户端存储更多的模型数据，对客户端的存储能力提出了挑战。
5、因此，需要提供基于梯度的关键维度提取的联邦学习防御方法及系统，用于在非独立同分布的数据场景下有效区分恶意梯度和良性梯度，提高联邦学习系统的健壮性。
技术实现思路
1、本专利技术提供基于梯度的关键维度提取的联邦学习防御方法，包括：获取多个客户端提交的梯度信息；基于所述多个客户端提交的梯度信息，提取多个候选关键维度；通过主成分分析法基于所述多个客户端提交的梯度信息和所述多个候选关键维度，确定特征向量集合；基于所述特征向量集合，确定降维数据矩阵；基于所述降维数据矩阵，对所述多个客户端进行聚类；基于聚类结果，确定恶意客户端。
2、进一步地，所述基于所述多个客户端提交的梯度信息，提取多个候选关键维度，包括：对于每个所述客户端，基于所述客户端的梯度向量中每个元素的绝对值，确定所述客户端对应的多个第一关键维度；对于每个维度，基于所述多个客户端提交的梯度信息，计算所述维度对应的均值和标准差，基于所述维度对应的均值和标准差，确定所述维度对应的阈值；对于每个所述客户端，基于所述客户端的梯度向量和每个所述维度对应的阈值，确定所述客户端对应的第二关键维度；基于每个所述客户端对应的多个第一关键维度和第二关键维度，统计每个所述维度对应的频次；基于每个所述维度对应的频次，提取多个候选关键维度。
3、进一步地，所述通过主成分分析法基于所述多个客户端提交的梯度信息和所述多个候选关键维度，确定特征向量集合，包括：消除每个所述候选关键维度的均值偏差，确定每个所述客户端对应的关键维度梯度向量；基于每个所述客户端对应的关键维度梯度向量，生成梯度数据矩阵，其中，所述梯度数据矩阵的一个行向量为一个所述客户端对应的关键维度梯度向量；计算所述梯度数据矩阵对应的均值向量，其中，所述均值向量的一个元素表征一个所述候选关键维度的梯度平均值；基于所述均值向量，对所述梯度数据矩阵进行中心化，生成中心化梯度数据矩阵；计算所述中心化梯度数据矩阵对应的协方差矩阵；基于所述协方差矩阵，确定所述特征向量集合。
4、进一步地，基于所述协方差矩阵，确定所述特征向量集合，包括：基于所述协方差矩阵求解特征方程det(c-λi)＝0，获得一组特征值，其中，c为协方差矩阵，i为单位矩阵，λ为待求解的特征值；对于每个特征值，通过对(c-λii)·vi＝0求解，获取所述特征值对应的特征向量，其中，λi为第i个特征值，vi为第i个特征值对应的特征向量。
5、进一步地，基于所述特征向量集合，确定降维数据矩阵，包括：基于所述特征向量集合，生成降维矩阵；将所述梯度数据矩阵与所述降维矩阵相乘，得到所述降维数据矩阵。
6、进一步地，基于所述降维数据矩阵，对所述多个客户端进行聚类，包括：s1、基于所述降维数据矩阵，确定集合，其中，所述集合中的一个元素表征一个所述客户端对应的特征向量，执行s2；s2、从所述集合中选取多个聚类中心，执行s2；s3、对于每个所述特征向量，计算所述特征向量与每个所述聚类中心之间的距离，将所述特征向量分配至距离最小的聚类中心所对应的簇，执行s4；s4、完成每个所述特征向量的分配后，为每个簇计算新的聚类中心，并判断是否满足预设收敛条件，若是，完成聚类，若否，执行s3。
7、进一步地，基于聚类结果，确定恶意客户端，包括：对于每个所述簇，计算所述簇包括的客户端的数量，当所述簇包括的客户端的数量小于预设数量阈值时，丢弃所述簇，并将所述簇包括的用户端分配至距离最小的聚类中心所对应的簇；对于每个所述簇，基于所述簇包括的每个客户端与聚类中心之间的距离，计算所述簇对应的距离平均值；基于每个所述簇对应的距离平均值，计算距离标准差；对于每个所述簇，基于所述簇对应的距离平均值和所述距离标准差，计算所述簇对应的距离阈值，基于每个客户端与聚类中心之间的距离和所述簇对应的距离阈值，确定所述簇中的恶意客户端。
8、进一步地，所述方法还包括：对于每个所述恶意客户端，更新所述恶意客户端的信誉分值。
9、进一步地，所述方法还包括：基于更新后的所述恶意客户端的信誉分值，对每个所述客户端的梯度向量进行聚合，形成新的机器学习模型。
10、本专利技术提供基于梯度的关键维度提取的联邦学习防御系统，包括：信息获取模块，用于获取多个客户端提交的梯度信息；维度确定模块，用于基于所述多个客户端提交的梯度信息，提取多个候选关键维度；维度提取模块，用于通过本文档来自技高网...
【技术保护点】
1.基于梯度的关键维度提取的联邦学习防御方法，其特征在于，包括：
2.根据权利要求1所述的基于梯度的关键维度提取的联邦学习防御方法，其特征在于，所述基于所述多个客户端提交的梯度信息，提取多个候选关键维度，包括：
3.根据权利要求2所述的基于梯度的关键维度提取的联邦学习防御方法，其特征在于，所述通过主成分分析法基于所述多个客户端提交的梯度信息和所述多个候选关键维度，确定特征向量集合，包括：
4.根据权利要求3所述的基于梯度的关键维度提取的联邦学习防御方法，其特征在于，基于所述协方差矩阵，确定所述特征向量集合，包括：
5.根据权利要求3所述的基于梯度的关键维度提取的联邦学习防御方法，其特征在于，基于所述特征向量集合，确定降维数据矩阵，包括：
6.根据权利要求1-5中任意一项所述的基于梯度的关键维度提取的联邦学习防御方法，其特征在于，基于所述降维数据矩阵，对所述多个客户端进行聚类，包括：
7.根据权利要求6所述的基于梯度的关键维度提取的联邦学习防御方法，其特征在于，基于聚类结果，确定恶意客户端，包括：
9.根据权利要求8所述的基于梯度的关键维度提取的联邦学习防御方法，其特征在于，还包括：
10.基于梯度的关键维度提取的联邦学习防御系统，其特征在于，包括：
...【技术特征摘要】
1.基于梯度的关键维度提取的联邦学习防御方法，其特征在于，包括：
2.根据权利要求1所述的基于梯度的关键维度提取的联邦学习防御方法，其特征在于，所述基于所述多个客户端提交的梯度信息，提取多个候选关键维度，包括：
3.根据权利要求2所述的基于梯度的关键维度提取的联邦学习防御方法，其特征在于，所述通过主成分分析法基于所述多个客户端提交的梯度信息和所述多个候选关键维度，确定特征向量集合，包括：
4.根据权利要求3所述的基于梯度的关键维度提取的联邦学习防御方法，其特征在于，基于所述协方差矩阵，确定所述特征向量集合，包括：
5.根据权利要求3所述的基于梯度的关键维度提取的联邦学习防御方...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。