模型构建及任务处理方法技术

技术编号:39418935 阅读:11 留言:0更新日期:2023-11-19 16:08
本发明专利技术实施例公开一种模型构建及任务处理方法

【技术实现步骤摘要】
模型构建及任务处理方法、装置、设备、系统和存储介质


[0001]本专利技术实施例涉及联邦学习
,尤其涉及一种模型构建及任务处理方法

装置

设备

系统和存储介质


技术介绍

[0002]依据联邦学习的应用场景和参与方持有数据的重叠程度,联邦学习被分为横向联邦学习

纵向联邦学习以及联邦迁移学习

其中,纵向联邦学习应用场景广泛,主要应对多个参与方的用户重叠部分较大

而数据特征重叠部分较小的情况

在纵向联邦学习的应用场景中,通常由一方
(
称为需求方
)
提供标签信息,其他方
(
称为协作方
)
提供特征信息,需求方希望通过与协作方的合作进而建立纵向联邦树模型,通过引入多种维度的用户数据来实现数据赋能

降低风险等目的

[0003]在实现本专利技术的过程中,专利技术人发现,目前的纵向联邦建模方法,标签

特征在各参与方之间容易泄露,无法保证联邦建模过程中的数据安全


技术实现思路

[0004]本专利技术实施例提供一种模型构建及任务处理方法

装置

设备

系统和存储介质,能够保证联邦建模过程中的数据安全

[0005]第一方面,本专利技术实施例提供的联邦树模型构建方法,包括:
[0006]获取训练样本集,所述训练样本集中每个样本包括样本特征和样本标签,所述样本特征包括第一样本特征和第二样本特征,所述第一样本特征来自需求方设备,所述第二样本特征来自协作方设备;
[0007]根据所述第一样本特征和所述样本标签生成第一标签聚合信息;
[0008]将所述样本标签加密得到加密样本标签,并向所述协作方设备发送所述加密样本标签,以使得所述协作方设备根据所述加密样本标签和所述第二样本特征生成第二标签聚合信息;
[0009]根据所述第一标签聚合信息和所述第二标签聚合信息确定联邦树模型的各节点的节点分裂特征;
[0010]按照所述节点分裂特征对所述每个样本进行分裂,并根据分裂结果构建所述联邦树模型

[0011]第二方面,本专利技术实施例提供的任务处理方法,包括:
[0012]获取目标任务的多维特征;
[0013]将所述多维特征输入利用如本专利技术任一实施例所述的方法构建的所述联邦树模型进行处理,得到所述目标任务的处理结果

[0014]第三方面,本专利技术实施例提供的联邦树模型构建装置,包括:
[0015]样本获取模块,用于获取训练样本集,所述训练样本集中每个样本包括样本特征和样本标签,所述样本特征包括第一样本特征和第二样本特征,所述第一样本特征来自需
求方设备,所述第二样本特征来自协作方设备;
[0016]生成模块,用于根据所述第一样本特征和所述样本标签生成第一标签聚合信息;
[0017]加密模块,用于将所述样本标签加密得到加密样本标签,并向所述协作方设备发送所述加密样本标签,以使得所述协作方设备根据所述加密样本标签和所述第二样本特征生成第二标签聚合信息;
[0018]确定模块,用于根据所述第一标签聚合信息和所述第二标签聚合信息确定所述联邦树模型的各节点的节点分裂特征;
[0019]构建模块,用于按照所述节点分裂特征对所述每个样本进行分裂,并根据分裂结果构建所述联邦树模型

[0020]第四方面,本专利技术实施例提供的任务处理装置,包括:
[0021]特征获取模块,用于获取目标任务的多维特征;
[0022]任务处理模块,用于将所述多维特征输入利用如本专利技术任一实施例所述的方法所构建的所述联邦树模型进行处理,得到所述目标任务的处理结果

[0023]第五方面,本专利技术实施例提供的联邦树模型构建系统,包括协作方设备和用于执行如本专利技术任一实施例所述的联邦树模型构建方法的需求方设备

[0024]第六方面,本专利技术实施例提供的电子设备,包括存储器

处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如本专利技术任一实施例所述的联邦树模型构建方法,或者所述处理器执行所述程序时实现如本专利技术实施例所述的任务处理方法

[0025]第七方面,本专利技术实施例提供的计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本专利技术任一实施例所述的联邦树模型构建方法,或者该程序被处理器执行时实现如本专利技术实施例所述的任务处理方法

[0026]本专利技术实施例的方案,可以获取训练样本集,训练样本集中每个样本包括样本特征和样本标签,样本特征包括第一样本特征和第二样本特征,第一样本特征来自需求方设备,第二样本特征来自协作方设备;根据第一样本特征和样本标签生成第一标签聚合信息;将样本标签加密得到加密样本标签,并向协作方设备发送加密样本标签,以使得协作方设备根据加密样本标签和第二样本特征生成第二标签聚合信息;根据第一标签聚合信息和第二标签聚合信息确定联邦树模型的各节点的节点分裂特征;按照节点分裂特征对每个样本进行分裂,并根据分裂结果构建联邦树模型

即本专利技术在联邦建模过程中,样本标签是加密后传给协作方设备的,协作方设备直接根据加密样本标签和自身拥有的特征生成标签聚合信息,需求方设备根据自身生成的标签聚合信息和协作方设备提供的标签聚合信息进行联邦建模,在这个过程中,由于协作方设备得到的是加密样本标签,协作方设备返给需求方设备的是二次处理后得到的标签聚合信息,因而不会出现标签

特征泄露的问题,保证了联邦建模过程中的数据安全

附图说明
[0027]为了更清楚地说明本专利技术的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本专利技术的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图
获得其他相关的附图

[0028]图1是本专利技术实施例提供的联邦树模型构建方法的一个流程示意图;
[0029]图2是本专利技术实施例提供的联邦树模型构建方法的另一流程示意图;
[0030]图
3a
是本专利技术实施例提供的联邦树模型构建方法的又一流程示意图;
[0031]图
3b
是本专利技术实施例提供的直方图的一个示例图;
[0032]图
3c
是本专利技术实施例提供的直方图的另一示例图;
[0033]图4是本专利技术实施例提供的联邦树模型构建系统的一个交互示意图;
[0034]图5是本专利技术实施例提供的任务处理方法的一个流程示意图;
[003本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.
一种联邦树模型构建方法,其特征在于,所述方法包括:获取训练样本集,所述训练样本集中每个样本包括样本特征和样本标签,所述样本特征包括第一样本特征和第二样本特征,所述第一样本特征来自需求方设备,所述第二样本特征来自协作方设备;根据所述第一样本特征和所述样本标签生成第一标签聚合信息;将所述样本标签加密得到加密样本标签,并向所述协作方设备发送所述加密样本标签,以使得所述协作方设备根据所述加密样本标签和所述第二样本特征生成第二标签聚合信息;根据所述第一标签聚合信息和所述第二标签聚合信息确定联邦树模型的各节点的节点分裂特征;按照所述节点分裂特征对所述每个样本进行分裂,并根据分裂结果构建所述联邦树模型
。2.
根据权利要求1所述的方法,其特征在于,所述获取训练样本集,包括:对所述需求方设备提供的建模数据和所述协作方设备提供的建模数据隐私求交,得到原始样本集;从所述原始样本集中采集样本,得到所述训练样本集
。3.
根据权利要求1所述的方法,其特征在于,所述根据所述第一样本特征和所述样本标签生成第一标签聚合信息,包括:将所述第一样本特征分桶,得到所述第一样本特征的分桶标签;将所述样本标签向量化,得到标签指示向量;根据所述第一样本特征的分桶标签和所述标签指示向量生成所述第一标签聚合信息
。4.
根据权利要求3所述的方法,其特征在于,所述将所述第一样本特征分桶,得到所述第一样本特征的分桶标签,包括:确定所述第一样本特征的取值范围;根据所述第一样本特征的取值范围对所述第一样本特征分桶,得到所述第一样本特征的分桶标签
。5.
根据权利要求3所述的方法,其特征在于,所述联邦树模型为联邦分类树模型,所述将所述样本标签向量化,得到标签指示向量,包括:对所述样本标签进行独热编码,得到所述标签指示向量
。6.
根据权利要求3所述的方法,其特征在于,所述联邦树模型为联邦回归树模型,所述将所述样本标签向量化,得到标签指示向量,包括:对所述样本标签进行指数运算,得到所述标签指示向量
。7.
根据权利要求3至6任一项所述的方法,其特征在于,所述根据所述第一样本特征的分桶标签和所述标签指示向量生成所述第一标签聚合信息,包括:根据所述第一样本特征的分桶标签分别将所述标签指示向量的每个维度数据累加,得到所述第一标签聚合信息
。8.
根据权利要求3所述的方法,其特征在于,所述将所述样本标签加密得到加密样本标签,包括:采用加法同态加密算法对所述标签指示向量加密,得到加密样本标签

9.
根据权利要求1所述的方法,其特征在于,所述联邦树模型为联邦分类树模型,所述根据所述第一标签聚合信息和所述第二标签聚合信息确定所述联邦树模型的各节点的节点分裂特征,包括:根据所述第一标签聚合信息计算所述第一样本特征的基尼增益,并根据所述第二标签聚合信息计算所述第二样本特征的基尼增益;从所述第一样本特征和所述第二样本特征中抽取目标样本特征;根据所述目标样本特征的基尼增益确定所述联邦树模型的各节点的节点分裂特征
。10.
根据权利要求1所述的方法,其特征在于,所述联邦树模型为联邦回归树模型,所述根据所述第一标签聚合信息和所述第二标签聚合信息确定所述联邦树模型的各节点的节点分裂特征,包括:...

【专利技术属性】
技术研发人员:谷清水彭春华雍兴辉刘涛关诚
申请(专利权)人:北京京东世纪贸易有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1