基于纵向联邦学习的数据预测方法、装置和计算机设备制造方法及图纸

本申请涉及一种基于纵向联邦学习的数据预测方法、装置和计算机设备。方法包括：根据总模型在上一时间步的全局损失对各成员方本地循环时间网络模型的第一模型参数进行更新；将标签数据输入成员方的本地模型，根据第一模型参数确定本地模型的输出结果，将加密后的输出结果上链；通过智能合约确定训练上层模型的执行方，将所有当前时间步的输出结果传递至每个执行方；对于每个执行方，将所有本地模型在当前时间步的加密后的输出结果作为上层模型的输入，根据更新后的第二模型参数值得到标签数据的当前预测值。采用本方法能够提高纵向联邦学习过程中各成员方本地数据的安全性。学习过程中各成员方本地数据的安全性。学习过程中各成员方本地数据的安全性。

【技术实现步骤摘要】
基于纵向联邦学习的数据预测方法、装置和计算机设备


[0001]本申请涉及联邦学习
，特别是涉及一种基于纵向联邦学习的数据预测方法、装置和计算机设备。

技术介绍

[0002]随着人工智能技术的发展，人们为解决数据孤岛的问题，提出了“联邦学习”的概念，联邦学习中的发起方和参与方作为成员方，在不用给出己方数据的情况下，也可进行模型训练得到模型参数，并且可以避免数据隐私泄露的问题。由于联邦学习过程需要大量的数据来支持，而数据又大都分布于不同的数据持有方，所以需要联合各个数据持有方来进行模型构建。其中，纵向联邦学习是在参与者的数据特征重叠较小，而用户重叠较多的情况下，取出参与者用户相同而用户数据特征不同的那部分用户及数据进行联合训练机器学习模型。
[0003]然而，在纵向联邦学习过程中，通常基于同态加密、混淆电路(Garbled Circuits，简称为CG)算法或者秘密分享(Secret
‑
Sharing，简称为SS)算法的方式进行数据计算，上述算法由于需要第三方支持，所以参与纵向联邦学习的各成员方的本地数据的安全性无法保证。
[0004]针对相关技术中纵向联邦学习依赖于第三方实现导致成员方本地数据的安全性较低的问题，目前还没有提出有效的解决方案。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种能够提高成员方本地数据的安全性的基于纵向联邦学习的数据预测方法、装置、计算机设备和计算机可读存储介质。
[0006]在本实施例中提供了一种基于纵向联邦学习的数据预测方法，所述方法包括：
[0007]根据总模型在上一时间步的全局损失对各成员方本地模型的第一模型参数的参数值进行更新，其中，所述本地模型为循环时间网络模型，所述第一模型参数的类型根据所述循环时间网络模型的输出结果确定；
[0008]将时序性的标签数据输入所述成员方的本地模型，根据更新后的第一模型参数确定所述本地模型在当前时间步的输出结果，对所述输出结果进行加密，并将加密后的所述输出结果上传至区块链；
[0009]通过所述区块链的智能合约在多个成员方中确定在当前时间步进行上层模型训练的执行方，将所有本地模型在当前时间步的加密后的输出结果传递至每个所述执行方，其中，所述上层模型和所述本地模型构成所述总模型；
[0010]根据所述总模型在上一时间步的全局损失对所述上层模型的第二模型参数的参数值进行更新，其中，所述第二模型参数的类型根据所述上层模型的类型和输出结果确定；
[0011]对于每个所述执行方，将所有本地模型在当前时间步的加密后的输出结果作为所述上层模型的输入，对所述上层模型进行当前时间步的训练，根据更新后的所述第二模型
参数值得到所述标签数据的当前预测值。
[0012]上述基于纵向联邦学习的数据预测方法、装置、计算机设备和存储介质，通过将总模型划分为本地模型和上层模型，本地模型由成员方在本地进行训练，上层模型的训练通过区块链的智能合约实现，且各个成员方之间的数据传输通过区块链实现，解决了相关技术中纵向联邦学习依赖于第三方实现导致成员方本地数据的安全性较低的问题，提高了纵向联邦学习过程中各成员方本地数据的安全性。
附图说明
[0013]图1为一个实施例中基于纵向联邦学习的数据预测方法的应用环境图；
[0014]图2为一个实施例中纵向联邦学习的示意图；
[0015]图3为一个实施例中基于纵向联邦学习的数据预测方法的流程示意图；
[0016]图4为一个实施例中一种逻辑回归模型的示意图；
[0017]图5为一个实施例中再一种逻辑回归模型的示意图；
[0018]图6为一个实施例中又一种逻辑回归模型的示意图；
[0019]图7为一个实施例中分类模型的示意图；
[0020]图8为一个实施例中本地模型更新和训练的方法的流程图；
[0021]图9为一个实施例中第二模型参数更新方法的流程图；
[0022]图10为一个优选实施例的基于纵向联邦学习的数据预测方法的流程图；
[0023]图11为一个实施例中基于纵向联邦学习的数据预测装置的结构框图；
[0024]图12为一个实施例中的计算机设备的内部结构图。
具体实施方式
[0025]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0026]本申请实施例提供的基于纵向联邦学习的数据预测方法，可以打破数据壁垒，解决数据孤岛的难题，具体地，可以应用于如图1所示的应用环境中。其中，发起方102和参与方104均为纵向联邦学习的成员方，且发起方102和参与方104之间的数据传输需要将各自的本地数据进行加密后通过区块链106实现。在对时序性数据进行处理的过程中，发起方102与参与方104分别对各自本地模型的参数进行更新，通过更新后的本地模型得到当前时间步的输出结果，发起方102和参与方104将各自的输出结果加密后上传至区块链106，由区块链106的智能合约在发起方102和参与方104中选择上层模型的执行方，并向各个执行方传递所有成员方加密后的本地模型的输出结果，各个执行方根据所有成员方本地模型加密后的输出结果进行上层模型的训练。
[0027]其中，发起方102和参与方104可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备。
[0028]在纵向联邦学习中，各成员方的数据特征重叠较小，而用户重叠较多，如图2所示，标签数据可以分为用户维度为和特征维度，例如，在标签数据分别来自于银行和一个电商平台的情况下，银行和电商平台的用户可能会有较大程度的重叠，但是银行获取到的用户
数据和电商平台获取到的用户数据会有不同，例如，银行可以获取到用户的月收入、家庭成员、年纪等数据特征，电商平台可以获取到用户的商品消费情况等数据特征，在银行需要对用户数据特征进行分析时，可以作为发起方在区块链中发布纵向联邦学习任务，电商平台可以作为参与方加入学习任务，二者共同搭建并训练数据预测模型。在有多个电商平台加入学习任务中的情况下，为了鼓励各个参与方提供真实有效的数据，银行作为发起方需要在纵向联邦学习中确定各个参与方的激励，以保证纵向联邦学习可以得到准确的结果。
[0029]具体地，发起纵向联邦学习的一方为发起方，任何有联邦学习需求的机构或者平台都可以作为发起方来发布一个纵向联邦学习任务，参与方为接受发起方邀请或者主动进入纵向联邦学习的参与者，本申请中，发起方和参与方均看做纵向联邦学习的成员方。若将纵向联邦学习的训练目的看做需要得到一个和对标签数据进行预测的总模型，则该总模型包括至少一个本地模型和至少一个上层模型，其中，本地模型为各个成员方根据自身的标签数据在成员方本地进行训练和更新的模型，上层模型为一个成员方可以通过区块链获取其他成员方的本地模型的训练结果，从而根据多个成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于纵向联邦学习的数据预测方法，其特征在于，所述方法包括：根据总模型在上一时间步的全局损失对各成员方本地模型的第一模型参数的参数值进行更新，其中，所述本地模型为循环时间网络模型，所述第一模型参数的类型根据所述循环时间网络模型的输出结果确定；将时序性的标签数据输入所述成员方的本地模型，根据更新后的第一模型参数确定所述本地模型在当前时间步的输出结果，对所述输出结果进行加密，并将加密后的所述输出结果上传至区块链；通过所述区块链的智能合约在多个成员方中确定在当前时间步进行上层模型训练的执行方，将所有本地模型在当前时间步的加密后的输出结果传递至每个所述执行方，其中，所述上层模型和所述本地模型构成所述总模型；根据所述总模型在上一时间步的全局损失对所述上层模型的第二模型参数的参数值进行更新，其中，所述第二模型参数的类型根据所述上层模型的类型和输出结果确定；对于每个所述执行方，将所有本地模型在当前时间步的加密后的输出结果作为所述上层模型的输入，对所述上层模型进行当前时间步的训练，根据更新后的所述第二模型参数值得到所述标签数据的当前预测值。2.根据权利要求1所述的方法，其特征在于，所述将所有本地模型在当前时间步的加密后的输出结果作为所述上层模型的输入包括：在所述上层模型为线性模型的情况下，在加密后的输出结果中确定多个隐藏状态，将多个所述隐藏状态进行拼接得到所述上层模型的输入。3.根据权利要求1所述的方法，其特征在于，所述将所有本地模型在当前时间步的加密后的输出结果作为所述上层模型的输入包括：在所述上层模型为循环时间网络模型的情况下，在加密后的输出结果中确定多个与所述标签数据对应的初始预测值，将多个所述初始预测值进行拼接得到拼接结果；将所述拼接结果和所述总模型在上一时间步的隐藏状态作为所述上层模型的输入。4.根据权利要求1所述的方法，其特征在于，所述将所有本地模型在当前时间步的加密后的输出结果作为所述上层模型的输入包括：在所述上层模型为循环时间网络模型的情况下，在加密后的输出结果中确定多个隐藏状态，将多个所述隐藏状态进行拼接得到拼接结果；将所述拼接结果和所述总模型在上一时间步的隐藏状态作为所述上层模型的输入。5.根据权利要求3或4所述的方法，其特征在于，所述根据所述总模型在上一时间步的全局损失对所述上层模型的第二模型参数进行更新包括：根据所述上层模型更新后的权重参数、所述上层模型的输入、所述总模型在上一时间步的隐藏状态以及激活函数，确定所述执行方的上层模型的当前重置门和当前更新门，其中，所述上层模型的权重参数根据所述总模型在上一时间步的全局损失进行更新；根据所述上层模型更新后的权重参数、所述当前重置门、所述当前更新门、所述上层模型的输入以及总模型在上一时间步的隐藏状态确定所述上层模型的当前隐藏状态。6.根据权利要求1所述的方法，其特征在于，所述将所有本地模型在当前时间步的加密后的输出结果作为所述上层模型的输入包括：在所述上层模型包括循环时间网络模型和分类模型的情况下，在加密后的输出结果中
确定多个隐藏状态，将...

【专利技术属性】
技术研发人员：汪小益，蔡亮，严杨，李伟，邱炜伟，
申请(专利权)人：杭州趣链科技有限公司，
类型：发明
国别省市：