低通信需求的安全联邦迁移学习方法、系统及相关装置制造方法及图纸

技术编号:40466998 阅读:32 留言:0更新日期:2024-02-22 23:21
本申请公开了一种低通信需求的安全联邦迁移学习方法、系统及相关装置,该方法包括:参与方生成第一随机矩阵,利用公钥对其进行加密,得到加密第一随机矩阵;发起方和参与方进行第一次跨参与方前向传播,得到第一前向传播结果;发起方根据第一前向传播结果确定底层网络输出的第一梯度;参与方根据第一梯度计算本地对齐样本标签;发起方根据样本标签进行本地半监督模型训练,得到第一模型参数;参与方根据本地对齐样本标签进行本地半监督模型训练,得到第二模型参数;发起方和参与方进行第二次跨参与方前向传播,得到第二前向传播结果;发起方更新顶层模型权重,得到目标顶层模型权重;发起方输出第一模型结果;参与方输出第二模型结果。

【技术实现步骤摘要】

本申请涉及隐私计算以及计算机,具体涉及一种低通信需求的安全联邦迁移学习方法、系统及相关装置


技术介绍

1、随着人工智能的发展,数据的价值越来越受到重视,并且不同领域的数据往往存在着很大的互补性,不同组织间有着很大的数据融合需求。然而基于隐私保护、自身利益和政策监管等因素考虑,各组织间很难将数据进行直接聚合。这种数据孤岛问题给人工智能研究者们提出了很大挑战。

2、近年来,学术界和工业界开始使用联邦学习的方案来解决这样问题。联邦学习通常分为横向联邦学习、纵向联邦学习和联邦迁移学习。横向联邦学习指参与方数据集拥有相同的特征空间,而样本id空间不同,目的是通过扩展样本的数量增加模型训练的精度。例如,不同地区的银行,业务(特征空间)很相似,但是用户(样本id)的交集非常小。纵向联邦学习指数据集拥有相同的样本id空间,而特征空间不同,目的是通过扩展特征的数量提高模型训练的精度。例如,同一地区的银行和电子商务公司,两者业务(特征)不同,但由于处于同一地区,用户(样本id空间)基本都是一样的。联邦迁移学习指两个或多个数据集在特征空间(x)和样本id空间(y)本文档来自技高网...

【技术保护点】

1.一种低通信需求的安全联邦迁移学习方法,其特征在于,应用于两方计算系统,所述两方计算系统包括:发起方和参与方,所述发起方拥有样本标签;所述发起方包括第一本地底层模型、第一中间层模型和上层模型,所述参与方包括第二本地底层模型和第二中间层模型,所述发起方包括第一对齐样本、第一未对齐样本和样本标签,所述参与方包括第二对齐样本和第二未对齐样本,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述通过所述发起方和所述参与方根据所述加密第一随机矩阵、所述第一对齐样本、所述第二对齐样本进行第一次跨参与方前向传播,得到第一前向传播结果,包括:

3.根据权利要求1或2所...

【技术特征摘要】

1.一种低通信需求的安全联邦迁移学习方法,其特征在于,应用于两方计算系统,所述两方计算系统包括:发起方和参与方,所述发起方拥有样本标签;所述发起方包括第一本地底层模型、第一中间层模型和上层模型,所述参与方包括第二本地底层模型和第二中间层模型,所述发起方包括第一对齐样本、第一未对齐样本和样本标签,所述参与方包括第二对齐样本和第二未对齐样本,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述通过所述发起方和所述参与方根据所述加密第一随机矩阵、所述第一对齐样本、所述第二对齐样本进行第一次跨参与方前向传播,得到第一前向传播结果,包括:

3.根据权利要求1或2所述的方法,其特征在于,所述通过所述发起方根据所述第一前向传播结果确定底层网络输出的第一梯度,包括:

4.根据权利要求1或2所述的方法,其特征在于,所述通过所述发起方根据所述第二迭代次数更新所述顶层模型权重,得到目标顶层模型权重,包括:

5.根据权利要求1或2所述的方法,其特征在于,所述通过所述发起方根据所述样本标签进行本地半监督模型训练,根据所述第一迭代次数更新模型参数,并合并模型参数,得到第...

【专利技术属性】
技术研发人员:黄一珉王湾湾何浩姚明
申请(专利权)人:深圳市洞见智慧科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1