【技术实现步骤摘要】
本专利技术涉及联邦学习，尤其涉及在non-iid数据下基于推理相似性与软聚类的联邦学习方法和装置。
技术介绍
1、联邦学习是一种分布式机器学习方法，解决了传统集中式学习方法带来的挑战。在传统的机器学习中，数据通常被聚合在一个中央服务器上，这使其容易发生数据泄漏和安全风险。联邦学习的学习过程是分散的，数据保存在参与设备上。这种方法确保了保护数据的隐私和机密性。联邦学习使用分布式计算来跨多个设备联合训练机器学习模型，而无需共享原始数据。每个客户端使用自己的数据执行本地模型训练，并且只向中央服务器发送模型更新，在中央服务器上聚合模型以构建一个全局模型。这种转变使用户能够在维护数据安全的同时有效地进行协作。联邦学习的适用性可以扩展到各种领域，包括医疗保健、金融和智能设备。通过使机器学习算法更接近数据源，联邦学习促进了模型训练而不损害隐私。然而，在将数据存储在客户机上的分布式体系结构中，它也带来了几个挑战，其中数据异构性尤为突出。联邦学习中的数据异构性问题主要是由参与训练的各客户端的数据虽独立分布但不服从同一采样方法(non-iid)所导致的，这一问题也导致模型精度的严重下降。
2、为了解决数据异构性问题，根据fedavg提出了许多优化算法。fedprox通过在优化目标中引入一个近端项,该术语优先考虑了在更新过程中与全局模型权重紧密一致的局部模型权重，从而减轻了non-iid数据和设备异构性的负面影响来提高模型的整体性能。fednova采用归一化平均，在每次迭代中对单个设备进行局部训练，并在将局部模型参数传输到中央服务器之前进
3、个性化聚类学习旨在将联邦学习与聚类学习相结合，以进一步满足联邦学习中的个性化需求。它考虑了参与者之间的数据差异和个体特征，允许每个参与者基于自己的数据进行个性化的模型训练和聚类。ifca是一种迭代联邦聚类算法，该算法交替估计用户的集群身份，并通过梯度下降优化用户集群的模型参数。flis算法是最新的一种利用数据相似性进行硬聚类的联邦学习方法。它主要通过利用从服务器端推断出的数据相似性信息来对客户端进行聚类，从而提高了在non-iid数据场景中进行模型训练的效率和性能。
4、fedprox对于高度异构的数据集，需要仔细调整超参数以达到最佳效果。在某些情况下，fedprox可能需要更多的通信回合和计算时间来实现收敛。fednova在处理高度异构的数据时，可能仍然遭受性能下降或高通信开销。对于ifca方法存在一个潜在的风险是，仍然需要用户将他们的集群身份估计发送到中央服务器。
5、flis虽然相较于以往的聚类方法通过推理相似性提高了聚类的准确性，但它也表现出一定的局限性。
6、(1)flis根据固定的阈值来作为聚类的依据，将相似度矩阵值大于阈值的客户端归类到同一个簇中。看似是个很好的方式，但是对于不同数据集以及不同异质程度下的最佳阈值都不同，这种固定的阈值方法可能会忽略客户端之间潜在的相关性和相似性。
7、(2)另一方面，flis采用硬聚类的思路，将每个客户端分配到单独的簇中进行训练，客户端模型更新取决于它们所属的簇。在数据异构性的场景中，不同客户端之间的差异变得相对复杂，以至于硬聚类方法无法精确捕获。因此，它不能更好的利用客户端模型信息来提升训练效果。
技术实现思路
1、本专利技术针对flis根据固定阈值聚类和硬聚类导致客户端模型信息利用不足的问题，提出一种基于推理相似性与软聚类的联邦学习方法(flisc)和装置，将flis算法改进为更加灵活的自适应软聚类来增强对算法的优化，这种自适应使客户端能够根据客户端数据分布来执行灵活的聚类。而且为了有效地针对训练过程中出现簇中重叠客户端情况，对具有重叠客户端的簇采用了加权合并策略，利用合并簇中的数据量的比例作为加权因子。通过这些改进，提高了在non-iid数据下联邦学习的测试精确性。
2、为了实现上述目的，本专利技术采用以下技术方案：
3、本专利技术一方面提出一种基于推理相似性与软聚类的联邦学习方法，包括：
4、步骤1：在服务器端布置用来进行相似性推理的小数据集；
5、步骤2：服务器进行模型初始化并下发给参与训练的客户端；
6、步骤3：客户端收到模型后利用本地数据进行训练；
7、步骤4：客户端将训练好的模型上传到服务器端；
8、步骤5：服务器端利用小数据集对收到的模型进行推理，得到本轮训练客户端数据的相似矩阵；
9、步骤6：将相似矩阵中每个客户端相似值最大的前m个划分为一簇，对不同簇内进行模型平均；
10、步骤7：对客户端存在多个簇的情况进行加权合并，簇内的数据量作为权重分配的依据；
11、步骤8：服务器端将训练结束后得到的簇集合模型发给下一轮训练的客户端；
12、步骤9：客户端收到上一轮的簇集合模型，选择损失最小的簇模型来进行本地训练，之后重复步骤4至步骤9直到训练结束。
13、进一步地，所述步骤5包括：
14、服务器基于真实数据或合成数据构成的小数据集来进行客户端模型的相似推理，在对每个客户端推理后，服务器获得一个相应的one-hot编码，一轮训练中所有客户机的one-hot编码形成张量，利用张量的哈达玛积和矩阵二范数运算得到客户端的相似矩阵。
15、进一步地，所述步骤6包括：
16、每个客户端选择相似矩阵中值最大的前m个客户端形成簇集合，将簇内客户端的模型进行平均作为簇的模型。
17、进一步地，所述步骤7包括：
18、在重叠的客户端集群之间引入加权聚合，在划分簇后先将簇模型进行平均，在合并时将两簇模型根据簇数据量大小作为加权因子进行最终的模型平均。
19、本专利技术另一方面提出一种基于推理相似性与软聚类的联邦学习装置，包括：
20、小数据集布置模块，用于在服务器端布置用来进行相似性推理的小数据集；
21、模型初始化模块，用于服务器进行模型初始化并下发给参与训练的客户端；
22、本地模型训练模块，用于客户端收到模型后利用本地数据进行训练；
23、模型上传模块，用于客户端将训练好的模型上传到服务器端；
24、推理模块，用于服务器端利用小数据集对收到的模型进行推理，得到本轮训练客户端数据的相似矩阵；
25、自适应聚类模块，用于将相似矩阵中每个客户端相似值最大的前m个划分为一簇，对不同簇内进行模型平均；
26、重叠簇加权聚合模块，用于对客户端存在多个簇的情况进行加权合并，簇内的数据量作为权重分配的依据；
27、模型下发模块，用于服务器端将训练结束后得到的簇集合模型发给下一轮训练的客户端；
28、迭代训练模块，用于客户端收到上一轮的簇集合模型，选择损失本文档来自技高网...
【技术保护点】
1.一种基于推理相似性与软聚类的联邦学习方法，其特征在于，包括：
2.根据权利要求1所述的基于推理相似性与软聚类的联邦学习方法，其特征在于，所述步骤5包括：
3.根据权利要求1所述的基于推理相似性与软聚类的联邦学习方法，其特征在于，所述步骤6包括：
4.根据权利要求1所述的基于推理相似性与软聚类的联邦学习方法，其特征在于，所述步骤7包括：
5.一种基于推理相似性与软聚类的联邦学习装置，其特征在于，包括：
6.根据权利要求5所述的基于推理相似性与软聚类的联邦学习装置，其特征在于，所述推理模块具体用于：
7.根据权利要求5所述的基于推理相似性与软聚类的联邦学习装置，其特征在于，所述自适应聚类模块具体用于：
8.根据权利要求5所述的基于推理相似性与软聚类的联邦学习装置，其特征在于，所述重叠簇加权聚合模块具体用于：
【技术特征摘要】
1.一种基于推理相似性与软聚类的联邦学习方法，其特征在于，包括：
2.根据权利要求1所述的基于推理相似性与软聚类的联邦学习方法，其特征在于，所述步骤5包括：
3.根据权利要求1所述的基于推理相似性与软聚类的联邦学习方法，其特征在于，所述步骤6包括：
4.根据权利要求1所述的基于推理相似性与软聚类的联邦学习方法，其特征在于，所述步骤7包括：
5.一种基...
【专利技术属性】
技术研发人员：何欣，许通通，王光辉，于俊洋，许元昊，徐豪，刘孟辉，
申请(专利权)人：河南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。