【技术实现步骤摘要】
本申请涉及隐私计算以及计算机，具体涉及一种低通信需求的安全联邦迁移学习方法、系统及相关装置。
技术介绍
1、随着人工智能的发展，数据的价值越来越受到重视，并且不同领域的数据往往存在着很大的互补性，不同组织间有着很大的数据融合需求。然而基于隐私保护、自身利益和政策监管等因素考虑，各组织间很难将数据进行直接聚合。这种数据孤岛问题给人工智能研究者们提出了很大挑战。
2、近年来，学术界和工业界开始使用联邦学习的方案来解决这样问题。联邦学习通常分为横向联邦学习、纵向联邦学习和联邦迁移学习。横向联邦学习指参与方数据集拥有相同的特征空间，而样本id空间不同，目的是通过扩展样本的数量增加模型训练的精度。例如，不同地区的银行，业务(特征空间)很相似，但是用户(样本id)的交集非常小。纵向联邦学习指数据集拥有相同的样本id空间，而特征空间不同，目的是通过扩展特征的数量提高模型训练的精度。例如，同一地区的银行和电子商务公司，两者业务(特征)不同，但由于处于同一地区，用户(样本id空间)基本都是一样的。联邦迁移学习指两个或多个数据集在特征空间(x)和样本id空间(y)上交集都很少，甚至都没有相同点。例如不同地区的银行和电子商务公司，业务(特征)和用户(样本id空间)基本没有交集。目前的联邦迁移学习方案往往需要多轮通信，通信成本高，因此，如何针对联邦迁移学习方案降低通信成本的问题亟待解决。
技术实现思路
1、本申请实施例提供了一种低通信需求的安全联邦迁移学习方法、系统及相关装置，可以针对联邦迁移
2、第一方面，本申请实施例提供一种低通信需求的安全联邦迁移学习方法，应用于两方计算系统，所述两方计算系统包括：发起方和参与方，所述发起方拥有样本标签；所述发起方包括第一本地底层模型、第一中间层模型和上层模型，所述参与方包括第二本地底层模型和第二中间层模型，所述发起方包括第一对齐样本、第一未对齐样本和样本标签，所述参与方包括第二对齐样本和第二未对齐样本，所述方法包括：
3、通过所述发起方初始化所述第一本地底层模型和所述上层模型，所述第一本地底层模型的模型参数包括：第一底层模型权重、第一学习率、第一迭代次数；所述第一中间层模型包括第一中间层权重；所述上层模型的模型参数包括：顶层模型权重、第二学习率、第二迭代次数；
4、通过所述参与方初始化所述第二本地底层模型和所述第二中间层模型，所述第二本地底层模型包括：第二底层模型权重、第三学习率、第三迭代次数；所述第二中间层模型包括第二中间层权重；
5、通过所述参与方生成第一随机矩阵，以及同态加密公私钥对，所述同态加密公私钥对包括公钥和私钥；利用所述公钥对第一随机矩阵进行加密，得到加密第一随机矩阵，将所述加密第一随机矩阵发送给所述发起方；
6、通过所述发起方和所述参与方根据所述加密第一随机矩阵、所述第一对齐样本、所述第二对齐样本进行第一次跨参与方前向传播，得到第一前向传播结果；
7、通过所述发起方根据所述第一前向传播结果确定底层网络输出的第一梯度；
8、通过所述参与方根据所述第一梯度计算本地对齐样本标签；
9、通过所述发起方根据所述样本标签进行本地半监督模型训练，根据所述第一迭代次数更新模型参数，并合并模型参数，得到第一模型参数，所述第一模型参数包括：更新后的所述第一底层模型权重和更新后的所述第一中间层权重；
10、通过所述参与方根据所述本地对齐样本标签进行本地半监督模型训练，根据所述第三迭代次数更新模型参数，并合并模型参数，得到第二模型参数，所述第二模型参数包括：更新后的所述第二底层模型权重和更新后的所述第二中间层权重；
11、通过所述发起方和所述参与方进行第二次跨参与方前向传播，得到第二前向传播结果；
12、通过所述发起方根据所述第二迭代次数更新所述顶层模型权重，得到目标顶层模型权重；
13、通过所述发起方输出第一模型结果，所述第一模型结果包括：所述第一模型参数和所述目标顶层模型权重；
14、通过所述参与方输出第二模型结果，所述第二模型结果包括所述第二模型参数。
15、第二方面，本申请实施例提供了一种两方计算系统，所述两方计算系统包括：发起方和参与方，所述发起方拥有样本标签；所述发起方包括第一本地底层模型、第一中间层模型和上层模型，所述参与方包括第二本地底层模型和第二中间层模型，所述发起方包括第一对齐样本、第一未对齐样本和样本标签，所述参与方包括第二对齐样本和第二未对齐样本，其中，所述发起方，用于初始化所述第一本地底层模型和所述上层模型，所述第一本地底层模型的模型参数包括：第一底层模型权重、第一学习率、第一迭代次数；所述第一中间层模型包括第一中间层权重；所述上层模型的模型参数包括：顶层模型权重、第二学习率、第二迭代次数；
16、所述参与方，用于初始化所述第二本地底层模型和所述第二中间层模型，所述第二本地底层模型包括：第二底层模型权重、第三学习率、第三迭代次数；所述第二中间层模型包括第二中间层权重；
17、所述参与方，用于生成第一随机矩阵，以及同态加密公私钥对，所述同态加密公私钥对包括公钥和私钥；利用所述公钥对第一随机矩阵进行加密，得到加密第一随机矩阵，将所述加密第一随机矩阵发送给所述发起方；
18、所述发起方和所述参与方，用于根据所述加密第一随机矩阵、所述第一对齐样本、所述第二对齐样本进行第一次跨参与方前向传播，得到第一前向传播结果；
19、所述发起方，用于根据所述第一前向传播结果确定底层网络输出的第一梯度；
20、所述参与方，用于根据所述第一梯度计算本地对齐样本标签；
21、所述发起方，用于根据所述样本标签进行本地半监督模型训练，根据所述第一迭代次数更新模型参数，并合并模型参数，得到第一模型参数，所述第一模型参数包括：更新后的所述第一底层模型权重和更新后的所述第一中间层权重；
22、所述参与方，用于根据所述本地对齐样本标签进行本地半监督模型训练，根据所述第三迭代次数更新模型参数，并合并模型参数，得到第二模型参数，所述第二模型参数包括：更新后的所述第二底层模型权重和更新后的所述第二中间层权重；
23、所述发起方和所述参与方，用于进行第二次跨参与方前向传播，得到第二前向传播结果；
24、所述发起方，用于根据所述第二迭代次数更新所述顶层模型权重，得到目标顶层模型权重；
25、所述发起方，用于输出第一模型结果，所述第一模型结果包括：所述第一模型参数和所述目标顶层模型权重；
26、所述参与方，用于输出第二模型结果，所述第二模型结果包括所述第二模型参数。
27、第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。本文档来自技高网...
【技术保护点】
1.一种低通信需求的安全联邦迁移学习方法，其特征在于，应用于两方计算系统，所述两方计算系统包括：发起方和参与方，所述发起方拥有样本标签；所述发起方包括第一本地底层模型、第一中间层模型和上层模型，所述参与方包括第二本地底层模型和第二中间层模型，所述发起方包括第一对齐样本、第一未对齐样本和样本标签，所述参与方包括第二对齐样本和第二未对齐样本，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述通过所述发起方和所述参与方根据所述加密第一随机矩阵、所述第一对齐样本、所述第二对齐样本进行第一次跨参与方前向传播，得到第一前向传播结果，包括：
3.根据权利要求1或2所述的方法，其特征在于，所述通过所述发起方根据所述第一前向传播结果确定底层网络输出的第一梯度，包括：
4.根据权利要求1或2所述的方法，其特征在于，所述通过所述发起方根据所述第二迭代次数更新所述顶层模型权重，得到目标顶层模型权重，包括：
5.根据权利要求1或2所述的方法，其特征在于，所述通过所述发起方根据所述样本标签进行本地半监督模型训练，根据所述第一迭代次数更新模型参数，并
6.一种两方计算系统，其特征在于，所述两方计算系统包括：发起方和参与方，所述发起方拥有样本标签；所述发起方包括第一本地底层模型、第一中间层模型和上层模型，所述参与方包括第二本地底层模型和第二中间层模型，所述发起方包括第一对齐样本、第一未对齐样本和样本标签，所述参与方包括第二对齐样本和第二未对齐样本，其中，
7.根据权利要求6所述的系统，其特征在于，在所述根据所述加密第一随机矩阵、所述第一对齐样本、所述第二对齐样本进行第一次跨参与方前向传播，得到第一前向传播结果方面，包括：
8.根据权利要求6或7所述的系统，其特征在于，在所述根据所述第一前向传播结果确定底层网络输出的第一梯度方面，所述发起方具体用于：
9.一种电子设备，其特征在于，包括处理器、存储器，所述存储器用于存储一个或多个程序，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-5任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-5任一项所述的方法。
...【技术特征摘要】
1.一种低通信需求的安全联邦迁移学习方法，其特征在于，应用于两方计算系统，所述两方计算系统包括：发起方和参与方，所述发起方拥有样本标签；所述发起方包括第一本地底层模型、第一中间层模型和上层模型，所述参与方包括第二本地底层模型和第二中间层模型，所述发起方包括第一对齐样本、第一未对齐样本和样本标签，所述参与方包括第二对齐样本和第二未对齐样本，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述通过所述发起方和所述参与方根据所述加密第一随机矩阵、所述第一对齐样本、所述第二对齐样本进行第一次跨参与方前向传播，得到第一前向传播结果，包括：
3.根据权利要求1或2所述的方法，其特征在于，所述通过所述发起方根据所述第一前向传播结果确定底层网络输出的第一梯度，包括：
4.根据权利要求1或2所述的方法，其特征在于，所述通过所述发起方根据所述第二迭代次数更新所述顶层模型权重，得到目标顶层模型权重，包括：
5.根据权利要求1或2所述的方法，其特征在于，所述通过所述发起方根据所述样本标签进行本地半监督模型训练，根据所述第一迭代次数更新模型参数，并合并模型参数，得到第...
【专利技术属性】
技术研发人员：黄一珉，王湾湾，何浩，姚明，
申请(专利权)人：深圳市洞见智慧科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。