【技术实现步骤摘要】
本专利技术涉及一种异构纵向联邦学习方法，尤其涉及一种基于无监督学习的高效异构纵向联邦学习方法，属于人工智能分布式联邦学习。
技术介绍
1、由于移动设备和物联网设备之间形成的数据孤岛，严重影响了数据安全流通。作为一种分布式机器学习的新范式，联邦学习技术为了实现数据安全流通成为了可能。联邦学习技术，是通过获得各参与方的本地模型并聚合得到全局模型，进而实现数据的安全流通。
2、在纵向联邦学习中，通常将纵向联邦学习的参与者客户端分为一个主动方和多个被动方。其中，主动方是指具有特征和标签的参与方，被动方只有样本特征的参与方。在训练的过程中，被动方协助主动方完成模型训练。在实际应用中，参与方的计算能力和资源通常是异构的。为了满足异构的参与方，需要实现训练各个参与方拥有的具有相同功能的不同大小的异构网络模型。
3、然而，现有的纵向联邦学习技术中，主动方聚合中间数据或预测结果，以获得客户的局部特征知识。一般来说，这些方法假设参与方具有相同的模型结构。此外，现有的纵向联邦学习技术几乎没有考虑到全局模型的收敛性同时受到本地模型结构和样本的影响。因此，现有的纵向联邦学习方法不适用于异构参与方的协作训练全局模型。如何实现在异构纵向联邦学习，是面临的挑战之一。
4、此外，通信成本是影响纵向联邦学习技术广泛应用的另一个关键因素。原则上，现有的减少纵向联邦学习通信的研究包括数据压缩和局部多轮训练。一般来说，压缩本地数据的方法是在通信开始之前被动地压缩本地数据。因此，它能够减少数据维度的传输，并降低通信成本。然而，在纵向联邦
5、为了减少主动方与被动方之间的通信，现有研究提出了局部多轮培训。也就是说，客户首先进行多轮的本地培训，然后进行综合培训。然而，现有的关于本地多轮培训的研究几乎假设被动方拥有一个标签的副本，这与实际的应用场景不一致。这意味着在纵向联邦学习中只有一个主动方拥有该标签，而其他被动方只拥有该样本的特性。被动方将协助积极方实施培训。通信成本是限制纵向联邦学习广泛应用的另一个关键挑战。
6、因此，在参与方本地是异构模型的场景下，如何有效降低参与方间的通信，提高异构纵向联邦学习的性能，是当前面临的关键性问题。
技术实现思路
1、本专利技术的目的是针对现有技术存在的问题和缺陷，为了实现在异构参与方下纵向联邦学习方法、减少全局模型训练的通信量，创造性地提出一种基于无监督学习的高效异构纵向联邦学习方法。
2、首先，对本专利技术涉及的概念和内容进行说明。
3、纵向联邦学习：指在保证参与方的本地数据不出域的情况下，各参与方实现样本对齐特征联合的联邦学习训练过程。
4、参与方：指拥有本地数据并参与到联邦学习训练的客户端。
5、主动方：拥有标签值和本地特征的参与方称为主动方。
6、被动方：只拥有本地特征而不拥有标签的参与方称为被动方。
7、表示层：指本地异构网络的激活函数之前的部分。通过表示层将所有的本地特征嵌入到相同的空间中，输出本地嵌入值。
8、决策层：指本地异构网络的激活函数之后的部分，通过决策层来得到本地异构网络的预测结果。
9、原型：指本地异构网络的表示层输出的本地嵌入值。由于所有的参与方都将各自本地特征嵌入到相同的空间中，称本地嵌入值为原型。
10、本专利技术采用以下技术方案实现。
11、一种基于无监督学习的高效异构纵向联邦学习方法，包括以下步骤：
12、步骤1：模型初始化。各个参与方初始化本地模型参数和本地优化算法。
13、步骤2：在不暴露参与方本地数据的情况下，各参与方通过隐私集合求交，求得所有参与方的数据交集。参与方包括被动方和主动方。
14、步骤3：被动方使用本地特征和无监督学习方法训练本地预训练模型。
15、具体地，步骤3包括以下步骤：
16、步骤3.1：被动方初始化无监督学习所需的参数，包括随机目标值c、学习率η；
17、步骤3.2：被动方计算本轮的随机目标c的最佳扰动矩阵p，可以使用匈牙利算法实现；
18、步骤3.3：被动方根据最佳扰动矩阵p计算本轮本地模型的损失值l；
19、步骤3.4：被动方根据损失值l计算本地模型梯度g；
20、步骤3.5：被动方使用梯度下降法，利用本地模型梯度g来更新本地模型参数；
21、步骤3.6：重复步骤3.2至步骤3.5，直到本地模型达到预期的收敛精度或达到预先协商的最大训练轮数，此时停止训练；
22、步骤4：被动方使用本地特征和预训练模型的表示层计算本地嵌入值(原型)。
23、具体地，步骤4包括以下步骤：
24、步骤4.1：被动方将本地特征作为预训练模型表示层的输入，经过表示层的计算后，输出本地嵌入值；
25、步骤4.2：被动方使用本地嵌入值作为预训练模型预测层的输入，经过预测层的计算后，输出本地预测结果；
26、步骤4.3：被动方将本地嵌入值和本地预测结果发送给主动方(具有标签的参与方)。
27、步骤5：主动方计算各被动方的聚合权重值。
28、具体地，步骤5包括以下步骤：
29、步骤5.1：主动方接收到所有被动方发送的本地预测结果；
30、步骤5.2：主动方根据本地标签和被动方发预测结果，计算得到被动方的权重值；
31、步骤6：训练全局模型。
32、具体地，步骤6包括以下步骤：
33、步骤6.1：主动方使用本地特征和全局模型的表示层，计算得到本地嵌入值。
34、步骤6.2：主动方使用权重聚合各被动方的本地嵌入值，得到被动方全局嵌入值；
35、步骤6.3：主动方在本地嵌入值中加入被动方全局嵌入值，获得全局嵌入值；
36、步骤6.4：主动方将全局嵌入值作为全局模型预测层的输入，计算得到全局预测值；
37、步骤6.5：主动方根据全局预测值和标签，计算全局损失函数；
38、步骤6.6：主动方根据全局损失函数，计算梯度值；
39、步骤6.7：主动方使用梯度下降法，更新全局模型；
40、步骤6.8：重复步骤6.1至步骤6.7，直到训练模型达到预期的收敛精度或达到预先协商的最大训练轮数，此时停止训练。
41、通过上述技术手段，实现了在不泄露数据和侵犯隐私的情况下的基于无监督学习的高效异构纵向联邦学习。
42、有益效果
43、本专利技术方法，与现有技术相比，具有以下优点：
44、1.本专利技术提高了在异构参与方情况下纵向联邦学习的训练模型的精度。本专利技术采用权重聚合原型本文档来自技高网...
【技术保护点】
1.一种基于无监督学习的高效异构纵向联邦学习方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于无监督学习的高效异构纵向联邦学习方法，其特征在于，步骤3包括以下步骤：
3.如权利要求1所述的一种基于无监督学习的高效异构纵向联邦学习方法，其特征在于，步骤4包括以下步骤：
4.如权利要求1所述的一种基于无监督学习的高效异构纵向联邦学习方法，其特征在于，步骤5包括以下步骤：
5.如权利要求1所述的一种基于无监督学习的高效异构纵向联邦学习方法，其特征在于，步骤6包括以下步骤：
【技术特征摘要】
1.一种基于无监督学习的高效异构纵向联邦学习方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于无监督学习的高效异构纵向联邦学习方法，其特征在于，步骤3包括以下步骤：
3.如权利要求1所述的一种基于无监督学习的高效异构纵向联邦学习...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。