基于联邦学习的线性模型训练方法及数据处理方法技术

技术编号:46630921 阅读:0 留言:0更新日期:2025-10-14 21:30
本发明专利技术实施例提供的基于联邦学习的线性模型训练方法及数据处理方法,通过提供一种Guest方模型权重全程加密的状态下的模型训练机制和数据推理机制,实现了安全强度更高的协同训练,进一步降低Guest方在获取Host方部分样本数据后反推其余样本的可能。在模型训练机制中,通过增加不同Host方之间的通信交互流程,以及解密后使用另一Host方的公钥重新加密梯度,在各Host方聚合得到另一Host方公钥对应的Guest方盲化梯度密文,最终实现与该梯度相关的所有中间数据及最终数据对所有数据参与方均全程保持加密,Guest方却最终可获得用于更新本轮新模型权重密文的梯度密文,并且传输量及计算消耗增加量也较低。

【技术实现步骤摘要】

本专利技术涉及信息安全,尤指一种基于联邦学习的线性模型训练方法及数据处理方法


技术介绍

1、本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

2、联邦学习是一种机器学习方式,能有效帮助各参与方(可以代表个人或机构)在满足数据隐私保护的要求下,联合训练模型。联邦学习过程中各方数据都保留在本地,不泄露隐私也不违反法规,各参与方数据联合建立虚拟的共有模型,并且共同获益。

3、联邦学习包括横向联邦学习(horizontal federated learning,hfl)、纵向联邦学习(vertical federated learning,vfl)等。其中,横向联邦学习指的是不同参与方的数据有较大的特征的重叠,但数据样本的重叠度不高。例如,联邦学习的参与方是两家服务于不同区域的银行,他们所服务的客户群体差别较大,但客户的特征可能会因为相似的商业模式而重叠度较高。而纵向联邦学习指的是不同参与方的数据样本有较大的重叠,但样本特征的重叠度不高。例如,联邦学习的参与方是一家银行与一家本文档来自技高网...

【技术保护点】

1.一种基于联邦学习的线性模型训练方法,其特征在于,应用于数据使用Guest方;所述方法包括至少一轮模型训练步骤,其中每轮模型训练步骤包括:

2.如权利要求1所述的方法,其特征在于,所述基于当前所述Host方对应的第二线性模型对所述Host方对应的Guest方训练样本集进行处理,确定所述Host方对应的Guest方第一中间参数碎片密文,包括:

3.如权利要求1所述的方法,其特征在于,在所述判断是否满足训练结束条件之前,所述方法还包括:

4.如权利要求1所述的方法,其特征在于,所述训练结束条件包括:总损失函数值满足预设损失收敛条件;</p>

5.如权...

【技术特征摘要】

1.一种基于联邦学习的线性模型训练方法,其特征在于,应用于数据使用guest方;所述方法包括至少一轮模型训练步骤,其中每轮模型训练步骤包括:

2.如权利要求1所述的方法,其特征在于,所述基于当前所述host方对应的第二线性模型对所述host方对应的guest方训练样本集进行处理,确定所述host方对应的guest方第一中间参数碎片密文,包括:

3.如权利要求1所述的方法,其特征在于,在所述判断是否满足训练结束条件之前,所述方法还包括:

4.如权利要求1所述的方法,其特征在于,所述训练结束条件包括:总损失函数值满足预设损失收敛条件;

5.如权利要求4所述的方法,其特征在于,所述host方对应的预测偏离参数碎片密文还包括所述host方对应的残差碎片密文。

6.如权利要求5所述的方法,其特征在于,若所述第二线性模型为标准线性模型,且所述盲化guest方损失碎片密文、所述盲化残差碎片密文、所述盲化第一推理标签密文均采用乘法盲化方式得到,则在同一轮次的模型训练过程中,所述盲化残差碎片密文对应的乘法盲化掩码为:所述盲化guest方损失碎片密文对应的乘法盲化掩码,与所述盲化第一推理标签密文对应的乘法盲化掩码的比值。

7.如权利要求6所述的方法,其特征在于,所述guest方损失碎片密文满足:

8.如权利要求4所述的方法,其特征在于,所述第二线性模型为广义线性模型;

9.如权利要求4或5所述的方法,其特征在于:

10.如权利要求1所述的方法,其特征在于,在首轮模型训练开始之前,所述方法还包括:

11.如权利要求10所述的方法,其特征在于,所述将所述第三数据与所有host方的第二数据进行特征对齐,得到第四数据,包括如下任一项:

12.一种基于联邦学习的线性模型训练方法,其特征在于,应用于第一host方;所述方法包括至少一轮模型训练步骤,其中每轮模型训练步骤包括:

13.如权利要求12所述的方法,其特征在于,所述盲化预测偏离参数碎片还包括盲化残差碎片;

14.如权利要求12所述的方法,其特征在于,所述盲化预测偏离参数碎片还包括盲化guest方损失碎片;

15.如权利要求14所述的方法,其特征在于,所述第二线性模型为标准线性模型;

16.如权利要求15所述的方法,其特征在于,若所述盲化guest方损失碎片密文、所述...

【专利技术属性】
技术研发人员:杨诗友
申请(专利权)人:中国电信股份有限公司技术创新中心
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1