一种不依赖梯度的聚类联邦学习方法及系统技术方案

本发明专利技术公开了一种不依赖梯度的聚类联邦学习方法及系统，本发明专利技术方法包括：客户端分别计算数据分布信息及相互的交集相似度并构造交集相似度向量；服务器收集交集相似度向量并构建相似度矩阵，对客户端进行聚类并执行模型训练，在服务器检测到模型的精度下降且确定恶意簇后，选择客户端来组成验证委员会并进行验证并投票将恶意模型排除、保留良性模型。本发明专利技术中服务器不需要依靠客户端的梯度信息进行聚类而是根据客户端的数据分布之间的交集相似度来进行聚类，避免了客户端的梯度信息泄露问题，保护了客户端的梯度安全，增强了聚类联邦学习过程中的安全性、可靠性、并且提高了训练精度。练精度。练精度。

【技术实现步骤摘要】
一种不依赖梯度的聚类联邦学习方法及系统


[0001]本专利技术涉及人工智能的聚类联邦学习
，具体涉及一种不依赖梯度的聚类联邦学习方法及系统。

技术介绍

[0002]虽然随着信息化的发展，信息越来越丰富，但是信息本质上是以孤岛的形式存在的，因为他们高度敏感。一个很典型的应用领域为医疗领域。医疗行业的数据十分敏感，因为可能涉及病人的重要隐私，这些数据通常由不同的医院保留。而各个医院拥有的数据的侧重点可能是不同的(比如有的医院擅长治疗心脏病，有的医院擅长治疗肾脏等)，即存在数据非独立同分布问题。近年来，联邦学习在解决模型训练和数据隐私保护之间的冲突方面引起了人们的关注。而传统的联邦学习并不能很好地解决各客户端之间数据的非独立同分布问题。针对上述问题，现有技术提出了聚类联邦学习，使用梯度来衡量客户端之间数据分布的相似性，并为其分簇，以解决非独立同分布问题。但是，最近的研究表明，客户的隐私信息甚至原始训练数据都可以通过梯度来恢复，且梯度维度往往会随着模型复杂性的增加而爆炸。同时，现有的聚类联邦学习方案无法将具有多样性数据的客户端分组到多个簇中，导致无法充分利用一些客户拥有的多样性数据。此外，与联邦学习相比，聚类联邦学习中的簇结构为恶意客户端提供了合谋聚集在一个簇中并通过在本地发起模型中毒攻击来毒化聚合的簇模型的机会，从而导致模型训练失败。因此，如何在聚类联邦学习中保护客户端的隐私，充分利用客户端数据的多样性和可用性，将对行业的发展有着至关重要的影响。与此同时，如何提高对恶意模型的检测效率，降低检测开销，提高训练过程中的安全性也是需要解决的重要问题。

技术实现思路

[0003]本专利技术要解决的技术问题：针对现有技术的上述问题，提供一种不依赖梯度的聚类联邦学习方法及系统，本专利技术中服务器不需要依靠客户端的梯度信息进行聚类而是根据客户端的数据分布之间的交集相似度来进行聚类，避免了客户端的梯度信息泄露问题，保护了客户端的梯度安全，增强了聚类联邦学习过程中的安全性、可靠性、并且提高了训练精度。
[0004]为了解决上述技术问题，本专利技术采用的技术方案为：
[0005]一种不依赖梯度的聚类联邦学习方法，包括：
[0006]S1，客户端分别计算自己的标签样本的数据分布信息，获得自己与其他客户端的数据分布信息之间的交集相似度并构造交集相似度向量；
[0007]S2，服务器收集各个客户端的交集相似度向量并构建相似度矩阵；
[0008]S3，服务器基于相似度矩阵使用保证多样性的聚类方法对客户端进行聚类，并执行模型训练步骤，且在服务器检测到模型的精度下降时，跳转下一步；
[0009]S4，服务器检测恶意簇，且在确定恶意簇后，选择拥有与恶意簇中的客户端最相似
数据分布、且不在恶意簇中的客户端来组成验证委员会；
[0010]S6，利用验证委员会的成员为恶意簇中成员的模型进行验证并投票决定为良性模型和恶意模型，将恶意模型排除、保留良性模型。
[0011]可选地，步骤S1中客户端分别计算自己的标签样本的数据分布信息的函数表达式为：
[0012][0013]上式中，以及分别表示第1、2以及第i个客户端的单一标签的数据分布信息，且有任意第i个客户端的单一标签的数据分布信息的计算函数表达式为：
[0014][0015]其中，表示第i个客户端的第i个索引的数据数量，idx
i
表示标签i的索引，Q
max
表示一个预先定义的任意标签数量的最大值，且任意一个标签的数量都不可以超过这个最大值，X
i
表示第i个客户端构建的数据分布信息，j为第i个客户端的第j个索引的序号。
[0016]可选地，步骤S1中构造的交集相似度向量的函数表达式为：
[0017][0018]上式中，ISM
i
为第i个客户端的交集相似度向量，ISM
i
[1]～ISM
i
[j]表示第i个客户端对第1～j个客户端的数据分布相似度，|X
i
∩X
j
|表示第i个客户端与第j个客户端之间的数据分布的交集，X
i
表示第i个客户端构建的数据分布信息，X
j
表示第j个客户端构建的数据分布信息。
[0019]可选地，步骤S2中构建的相似度矩阵的函数表达式为：
[0020][0021]上式中，M
sim
为相似度矩阵，任意第i行表示第i个客户端对第1～n个客户端的数据分布相似度构成的交集相似度向量。
[0022]可选地，步骤S3中服务器基于相似度矩阵使用保证多样性的聚类方法对客户端进行聚类包括：将所有交集相似度高于阈值α的客户端聚集成候选簇集合并去重，使得该候选簇集合中包含了所有可能的聚类结果；在该候选簇集合中，计算每一个候选簇的权重，并使用贪心算法，每次选择可使负载最小的候选簇加入到最终簇集合中，直至所有客户端都被分配到最终簇集合中。
[0023]可选地，所述计算每一个候选簇的权重的函数表达式为：
[0024][0025]上式中，Cost(S
′
i
)表示计算候选簇S
′
i
的成本，ID为客户端的编号，M
sim
[i][ID]为相似度矩阵的第i行第ID列的元素；所述负载的计算函数表达式为：
[0026][0027]上式中，Payload表示负载，S
′
\I表示尚未被选入最终簇的候选簇集合，S
′
表示候选簇集合，I表示已被选入最终簇的客户端的编号。
[0028]可选地，步骤S4中服务器检测恶意簇是指服务器根据自己的本地数据检测最终簇集合中每个簇的精度，并选择其中精度最低的簇作为恶意簇。
[0029]可选地，步骤S6中利用验证委员会的成员为恶意簇中成员的模型进行验证并投票决定为良性模型和恶意模型包括：利用验证委员会的成员根据自己的本地数据验证恶意簇中每个成员的模型精度，将精度低于平均值的模型成员视为恶意模型并投票，最终将对所有投票结果进行加和，票数高于平均票数的模型将被验证委员会认定为恶意模型，否则被验证委员会认定为良性模型。
[0030]此外，本专利技术还提供一种不依赖梯度的聚类联邦学习系统，包括相互连接的多个客户端，所述客户端包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述不依赖梯度的聚类联邦学习方法。
[0031]此外，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述不依赖梯度的聚类联邦学习方法。
[0032]和现有技术相比，本专利技术主要具有下述优点：
[0033]1、本专利技术在聚类的过程中，服务器不需要依靠客户端的梯度信息进行聚类，而是根据客户端的数据分布之间的交集相似度来进行聚类，从而避免了客户端的梯度信息泄露问题，保护了客户端的梯度安全，增强了聚类联邦学本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种不依赖梯度的聚类联邦学习方法，其特征在于，包括：S1，客户端分别计算自己的标签样本的数据分布信息，获得自己与其他客户端的数据分布信息之间的交集相似度并构造交集相似度向量；S2，服务器收集各个客户端的交集相似度向量并构建相似度矩阵；S3，服务器基于相似度矩阵使用保证多样性的聚类方法对客户端进行聚类，并执行模型训练步骤，且在服务器检测到模型的精度下降时，跳转下一步；S4，服务器检测恶意簇，且在确定恶意簇后，选择拥有与恶意簇中的客户端最相似数据分布、且不在恶意簇中的客户端来组成验证委员会；S6，利用验证委员会的成员为恶意簇中成员的模型进行验证并投票决定为良性模型和恶意模型，将恶意模型排除、保留良性模型。2.根据权利要求1所述的不依赖梯度的聚类联邦学习方法，其特征在于，步骤S1中客户端分别计算自己的标签样本的数据分布信息的函数表达式为：上式中，以及分别表示第1、2以及第i个客户端的单一标签的数据分布信息，且有任意第i个客户端的单一标签的数据分布信息的计算函数表达式为：其中，表示第i个客户端的第i个索引的数据数量，idx
i
表示标签i的索引，Q
max
表示一个预先定义的任意标签数量的最大值，且任意一个标签的数量都不可以超过这个最大值，X
i
表示第i个客户端构建的数据分布信息，j为第i个客户端的第j个索引的序号。3.根据权利要求2所述的不依赖梯度的聚类联邦学习方法，其特征在于，步骤S1中构造的交集相似度向量的函数表达式为：上式中，ISM
i
为第i个客户端的交集相似度向量，ISM
i
[1]～ISM
i
[j]表示第i个客户端对第1～j个客户端的数据分布相似度，|X
i
∩X
j
|表示第i个客户端与第j个客户端之间的数据分布的交集，X
i
表示第i个客户端构建的数据分布信息，X
j
表示第j个客户端构建的数据分布信息。4.根据权利要求3所述的不依赖梯度的聚类联邦学习方法，其特征在于，步骤S2中构建的相似度矩阵的函数表达式为：上式中，M
sim
为相似度矩阵，任意第i行表示第i个客户端对第1～n个...

【专利技术属性】
技术研发人员：徐旸，张益邦，谭运林，张程，谢鲲，唐卓，李肯立，张尧学，
申请(专利权)人：湖南大学，
类型：发明
国别省市：