一种基于自监督学习的纵向联邦学习方法技术

本发明专利技术公开了一种基于自监督学习的纵向联邦学习方法，属于机器学习技术领域。该方法包括：对于任意两个参与方，使用重叠数据样本互为正样本对进行重叠网络的自监督训练；对两个参与方的本地数据进行压缩处理，得到降维后的数据矩阵，使用压缩数据与重叠编码器对本地在线网络和目标网络进行自监督训练；将每一参与方训练好的本地在线网络的尾部编码器以及预测器参数上传至服务器求平均，然后下发各参与方更新进行下一轮的训练。本发明专利技术采用对本地数据进行压缩处理以及传递特征表示代替传输加密参数，降低了对设备计算能力的要求；同时该方法不仅充分利用重叠样本，而且还能够使用非重叠样本进行训练，显著提高样本的使用率。

【技术实现步骤摘要】

本专利技术涉及机器学习，特别涉及一种基于自监督学习的纵向联邦学习方法。

技术介绍

1、联邦学习是安全分布式机器学习的新兴领域，适用于一种跨设备场景，通过多方协作来构建机器学习模型。联邦学习无需集中存储和传输数据，能够有效地解决数据孤岛和隐私保护等问题。通常认为联邦学习分为横向联邦学习、纵向联邦学习和联邦迁移学习三类。在纵向联邦学习中，不同数据集共享相同的样本或用户(重叠样本)，但这些样本或用户具有不同的特征。为构建性能更优越的联邦模型，可以合并这些相同样本的特征信息。

2、然而，目前在纵向联邦学习领域，仍然面临着一系列重要挑战。首要挑战是重叠样本的不足，因为不同数据源可能涉及不同领域、来源或业务流程，导致它们的数据分布和特性存在显著差异，进而使得重叠样本变得稀缺。其次，缺乏带标签的样本也是一个显著问题。在实际应用中，标记数据通常需要人工创建，而且可能需要专业领域知识或大量时间。尤其是对于复杂的多类别分类或细粒度标注任务，标记样本可能会非常耗时且困难，同时也需要更高的成本投入。此外，传统算法通过采用同态加密、安全多方计算、差分隐私等技术，对模型参本文档来自技高网...

【技术保护点】

1.一种基于自监督学习的纵向联邦学习方法，应用于纵向联邦学习的服务器和各参与方，其特征在于：所述各参与方均包含重叠网络、本地在线网络和目标网络；所述重叠网络包括重叠编码器和重叠预测器；所述本地在线网络包括第一编码器和预测器；所述目标网络包括第二编码器；所述第一编码器和第二编码器均被划分为头部编码器和尾部编码器；

2.根据权利要求1所述的基于自监督学习的纵向联邦学习方法，其特征在于，所述重叠数据表示来自于各参与方的本地数据的交集。

3.根据权利要求1所述的基于自监督学习的纵向联邦学习方法，其特征在于，所述步骤(1)具体为：

4.根据权利要求1所述的基于自...

【技术特征摘要】

1.一种基于自监督学习的纵向联邦学习方法，应用于纵向联邦学习的服务器和各参与方，其特征在于：所述各参与方均包含重叠网络、本地在线网络和目标网络；所述重叠网络包括重叠编码器和重叠预测器；所述本地在线网络包括第一编码器和预测器；所述目标网络包括第二编码器；所述第一编码器和第二编码器均被划分为头部编码器和尾部编码器；

2.根据权利要求1所述的基于自监督学习的纵向联邦学习方法，其特征在于，所述重叠数据表示来自于各参与方的本地数据的交集。

3.根据权利要求1所述的基于自监督学习的纵向联邦学习方法，其特征在于，所述步骤(1)具体为：

4.根据权利要求1所述的基于自监督学习的纵向联邦学习方法，其特征在于：所述步骤(2)中采用主成分分析对所述本地数据进行压缩处理；具体步骤如下：

5.根据权利要求1所述的基于自监督学习的纵向联邦学习方法，其特征在于，所述自监督学习方法包括moco、byol或simsiam。

6.根据权利要求1所...

【专利技术属性】
技术研发人员：赵晓丽，邹丰宇，方志军，罗光圣，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：