基于加性集成的隐私保护垂直联邦学习方法及系统技术方案

本公开提供了基于加性集成的隐私保护垂直联邦学习方法及系统，涉及信息与数据安全技术领域，包括：初始化服务器端与各个参与者，构建加性集成纵向联邦学习框架；在联邦学习框架中，服务器端的顶层模型被分配给每个参与者，且各个参与者通过梯度提升机制进行底层模型的按序训练；其中，参与者利用本地隐私数据训练底层模型后，将底部模型的输出上传至其对应的顶部模型，服务器计算每个顶部模型的损失，并将梯度传播到下一个参与者的底部模型，下一个参与者通过考虑前序参与者的残差，串行化实现下一个参与者的底部模型和顶部模型的训练，通过集成学习和梯度提升，形成参与者模型之间的互补效应，实现加性集成的垂直联邦学习。

【技术实现步骤摘要】

本公开涉及信息与数据安全，具体涉及基于加性集成的隐私保护垂直联邦学习方法及系统。

技术介绍

1、本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。

2、随着全球数字化转型的加速推进，用户数据安全与隐私保护已成为国际社会的普遍共识。现有保护条例虽然保障了用户隐私，却也催生了所谓的“数据孤岛”现象，导致不同机构之间难以共享数据，进而影响了联合建模和机器学习的效果。为了解决这一困境，联邦学习作为一种创新的分布式机器学习技术应运而生。联邦学习最早由google研究团队于2016年提出，其核心思想是在不共享原始数据的前提下，允许各参与方通过加密后的模型参数进行协同训练，从而保护数据隐私的同时，实现数据的联合建模。

3、联邦学习根据参与方数据的特征和样本空间的不同重叠情况，可以分为横向联邦学习(hfl)和纵向联邦学习(vfl)两大主要范式。横向联邦学习适用于各参与方拥有相同特征空间但样本空间存在差异的场景，如多个地区的医疗机构共享不同患者的数据进行联合建模。而纵向联邦学习则适用于参与方共享样本标识，但各自拥有不同特征空间的本文档来自技高网...

【技术保护点】

1.基于加性集成的隐私保护垂直联邦学习方法，其特征在于，包括：

2.如权利要求1所述的基于加性集成的隐私保护垂直联邦学习方法，其特征在于，在加性集成纵向联邦学习框架中，服务器端为每个参与者分配独立的顶层模型，且参与者按序训练，后续参与者的训练目标变为前序参与者的伪残差，通过为每个参与者训练底层模型，且各参与者的训练目标不再共享相同标签。

3.如权利要求1所述的基于加性集成的隐私保护垂直联邦学习方法，其特征在于，参与者利用本地隐私数据训练底层模型包括：根据特征将公共数据集D划分为不同的参与者，在所有参与者之间对齐的数据样本中，每个参与者将使用基于其底部模型的本地隐私...

【技术特征摘要】

1.基于加性集成的隐私保护垂直联邦学习方法，其特征在于，包括：

2.如权利要求1所述的基于加性集成的隐私保护垂直联邦学习方法，其特征在于，在加性集成纵向联邦学习框架中，服务器端为每个参与者分配独立的顶层模型，且参与者按序训练，后续参与者的训练目标变为前序参与者的伪残差，通过为每个参与者训练底层模型，且各参与者的训练目标不再共享相同标签。

3.如权利要求1所述的基于加性集成的隐私保护垂直联邦学习方法，其特征在于，参与者利用本地隐私数据训练底层模型包括：根据特征将公共数据集d划分为不同的参与者，在所有参与者之间对齐的数据样本中，每个参与者将使用基于其底部模型的本地隐私数据完成正向传播过程，利用深度神经网络模型作为底层模型获得每个私有隐私数据样本的潜在表示。

4.如权利要求1所述的基于加性集成的隐私保护垂直联邦学习方法，其特征在于，来自参与者的本地输出作为输入传递给他们对应的顶层模型，在加性集成纵向联邦学习框架中，每个参与者都有自己独立的顶层模型，通过另一个dnn模型来实现，通过顶层模型，获得每个参与者数据的最终输出预测，参与者对于多类任务的最终输出是概率，根据梯度提升机制，表示的最终预测考虑之前的前序底层模型的输出。

5.如权利要求1所述的基于加性集成的隐私保护垂直联邦学习方法，其特征在于，服务器执行反...

【专利技术属性】
技术研发人员：王闪闪，杜存鹏，陈贞翔，王星童，张建滨，许纹琳，马昊，陈键，刘少磊，
申请(专利权)人：济南大学，
类型：发明
国别省市：