【技术实现步骤摘要】
模型训练方法、装置和电子设备
本说明书实施例涉及计算机
，特别涉及一种模型训练方法、装置和电子设备。
技术介绍
大数据时代，存在非常多的数据孤岛。数据通常分散存于不同的企业中，企业与企业之间由于竞争关系和隐私保护的考虑，并不是完全的互相信任。在一些情况下，企业与企业之间需要进行合作安全建模，以便在充分保护企业数据隐私的前提下，使用各方的数据对数据处理模型进行协作训练。用于对数据处理模型进行训练的数据是分散在合作建模的各方的，因此如何在模型训练的过程中保护建模各方的数据隐私，是当前亟需解决的技术问题。
技术实现思路
本说明书实施例提供一种模型训练方法、装置和电子设备，以在模型训练的过程中保护建模各方的数据隐私。本说明书实施例的技术方案如下。本说明书实施例的第一方面，提供了一种模型训练方法，应用于模型训练系统，所述模型训练系统包括第一方、第二方和第三方，所述第一方持有样本的特征数据，所述第二方持有样本的标签，该方法包括：第一方根据特征数据和原始模型参数的第一份额，第二方根据原始模型参数的...
【技术保护点】
1.一种模型训练方法，应用于模型训练系统，所述模型训练系统包括第一方、第二方和第三方，所述第一方持有样本的特征数据，所述第二方持有样本的标签，该方法包括：/n第一方根据特征数据和原始模型参数的第一份额，第二方根据原始模型参数的第二份额，秘密分享第一乘积，第一方得到第一乘积的第一份额，第二方得到第一乘积的第二份额，所述第一乘积为特征数据和原始模型参数的乘积；/n第三方获得第一乘积的第一份额和第二份额，根据第一乘积的第一份额和第二份额，确定激励函数的取值的第一份额和第二份额，分别向第一方和第二方发送所述取值的第一份额和第二份额，第一方接收所述取值的第一份额，第二方接收所述取值的...
【技术特征摘要】
1.一种模型训练方法，应用于模型训练系统，所述模型训练系统包括第一方、第二方和第三方，所述第一方持有样本的特征数据，所述第二方持有样本的标签，该方法包括：
第一方根据特征数据和原始模型参数的第一份额，第二方根据原始模型参数的第二份额，秘密分享第一乘积，第一方得到第一乘积的第一份额，第二方得到第一乘积的第二份额，所述第一乘积为特征数据和原始模型参数的乘积；
第三方获得第一乘积的第一份额和第二份额，根据第一乘积的第一份额和第二份额，确定激励函数的取值的第一份额和第二份额，分别向第一方和第二方发送所述取值的第一份额和第二份额，第一方接收所述取值的第一份额，第二方接收所述取值的第二份额；
第一方根据特征数据和所述取值的第一份额，第二方根据标签和所述取值的第二份额，秘密分享损失函数的梯度，第一方得到所述梯度的第一份额，第二方得到所述梯度的第二份额；第一方根据特征数据和所述取值的第一份额，第二方根据所述取值的第二份额，秘密分享海森矩阵，第一方得到海森矩阵的第一份额，第二方得到海森矩阵的第二份额；
若海森矩阵的条件数满足预设条件，第一方根据原始模型参数的第一份额、所述梯度的第一份额和海森矩阵的第一份额，第二方根据原始模型参数的第二份额、所述梯度的第二份额和海森矩阵的第二份额，秘密分享新的模型参数，第一方得到新的模型参数的第一份额，第二方得到新的模型参数的第二份额。
2.一种模型训练方法，应用于第一方，所述第一方持有样本的特征数据，该方法包括：
根据特征数据和原始模型参数的第一份额与第二方秘密分享第一乘积，得到第一乘积的第一份额，所述第一乘积为特征数据和原始模型参数的乘积；
向第三方发送第一乘积的第一份额；
接收第三方发来的激励函数的取值的第一份额；
根据特征数据和所述取值的第一份额与第二方秘密分享损失函数的梯度，得到所述梯度的第一份额；根据特征数据和所述取值的第一份额与第二方秘密分享海森矩阵，得到海森矩阵的第一份额；
若海森矩阵的条件数满足预设条件，根据原始模型参数的第一份额、所述梯度的第一份额和海森矩阵的第一份额与第二方秘密分享新的模型参数，得到新的模型参数的第一份额。
3.如权利要求2所述的方法，还包括：
获得随机数的第一份额；
根据所述随机数的第一份额和海森矩阵的第一份额与第二方秘密分享第二乘积，得到第二乘积的第一份额，所述第二乘积为所述随机数和海森矩阵之间的乘积；
相应地，所述与第二方秘密分享新的模型参数，包括：
若第二乘积的条件数满足预设条件，根据原始模型参数的第一份额、所述梯度的第一份额和海森矩阵的第一份额与第二方秘密分享新的模型参数，得到新的模型参数的第一份额。
4.如权利要求3所述的方法，所述随机数包括随机正交矩阵。
5.如权利要求3所述的方法，还包括：
向第二方发送第二乘积的第一份额，以便第二方计算第二乘机的条件数；
或者，接收第二方发来的第二乘积的第二份额，将第二乘积的第一份额和第二份额相加，得到第二乘积，计算第二乘积的条件数。
6.如权利要求2所述的方法，所述与第二方秘密分享新的模型参数，包括：
根据海森矩阵的第一份额与第二方秘密分享海森矩阵的逆矩阵，得到所述逆矩阵的第一份额；根据原始模型参数的第一份额、所述梯度的第一份额和所述逆矩阵的第一份额与第二方秘密分享新的模型参数，得到新的模型参数的第一份额。
7.如权利要求2所述的方法，还包括：
若海森矩阵的条件数不满足预设条件，根据原始模型参数的第一份额、所述梯度的第一份额和预设步长，计算新的模型参数的第一份额。
8.一种模型训练方法，应用于第二方，所述第二方持有样本的标签，该方法包括：
根据原始模型参数的第二份额与第一方秘密分享第一乘积，得到第一乘积的第二份额，所述第一乘积为特征数据和原始模型参数的乘积；
向第三方发送第二乘积的第二份额；
接收第三方发来的激励函数的取值的第二份额；
根据标签和所述取值的第二份额与第一方秘密分享损失函数的梯度，得到所述梯度的第二份额；根据所述取值的第二份额与第一方秘密分享海森矩阵，得到海森矩阵的第二份额；
若海森矩阵的条件数满足预设条件，根据原始模型参数的第二份额、所述梯度的第二份额和海森矩阵的第二份额与第一方秘密分享新的模型参数，得到新的模型参数的第二份额。
9.如权利要求8所述的方法，还包括：
获得随机数的第二份额；
根据所述随机数的第二份额和海森矩阵的第二份额与第一方秘密分享第二乘积，得到第二乘积的第二份额，所述第二乘积为所述随机数和海森矩阵之间的乘积；
相应地，所述与第一方秘密分享新的模型参数，包括：
若第二乘积的条件数满足预设条件，根据原始模型参数的第二份额、所述梯度的第二份额和海森矩阵的第二份额与第一方秘密分享新的模型参数，得到新的模型参数的第二份额。
10.如权利要求9所述的方法，所述随机数包括随机正交矩阵。
11.如权利要求9所述的方法，还包括：
向第一方发送第二乘积的第二份额，以便第一方计算第二乘机的条件数；
或者，接收第一方发来的第二乘积的第一份额，将第二乘积的第一份额和第二份额相加，得到第二乘积，计算第二乘积的条件数。
12.如权利要求8所述的方法，所述与第一方秘密分享新的模型参数，包括：
根据海森矩阵的第二份额与第一方秘密分享海森矩阵的逆矩阵，得到所述逆矩阵的第二份额；根据原始模型参数的第二份额、所述梯度的第二份额和所述逆矩阵的第二份额与第一方秘密分享新的模型参数，得到新的模型参数的第二份额。
13.如权利要求8所述的方法，还包括：
若海森矩阵的条件数不满足预设条件，根据原始模型参数的第二份额、所述梯度的第二份额和预设步长，计算新的模型参数的第二份额。
14.一种模型训练方法，应用于第三方，该方法包括：
接收第一方发来的第一乘积的第一份额、以及第二方发来的第一乘积的第二份额，所述第一乘积为特征数据和原始模型参数的乘积；
根据第一乘积的第一份额和第二份额，确定激励函数的取值的第一份额和第二份额；
向第一方发送所述取值的第一份额，向第二方发送所述取值的第二份额，以便第一方根据所述取值的第一份额，第二方根据所述取值的第二份额，秘密分享新的模型参数。
15.如权利要求14所述的方法，所述确定激励函数的取值的第一份额和第二份额，包括：
根据第一乘积的第一份额和第二份额，计算激励函数的取值；
将所述取值拆分为第一份额和第二份额。
16.一种模型训练方法，应用于建模服务平台，该方法包括：
生成随机数，将所述随机数拆分为第一份额和第二份额，向第一方发送所述随机数的第一份额，向第二方发送所述随机数的第二份额，以便所述第一方和所述第二方执行以下步骤：
第一方根据样本的特征数据和原始模型参数的第一份额，第二方根据原始模型参数的第二份额，秘密分享第一乘积，第一方得到第一乘积的第一份额，第二方得到第一乘积的第二份额，所述第一乘积为特征数据和原始模型参数的乘积；
第一方向第三方发送第一乘积的第一份额，第二方向第三方发送第一乘积的第二份额，以便第三方根据第一乘积的第一份额和第二份额，确定激励函数的取值的第一份额和第二份额，分别向第一方和第二方发送所述取值的第一份额和第二份额；
第一方接收所述取值的第一份额，第二方接收所述取值的第二份额；第一方根据特征数据和所述取值的第一份额，第二方根据样本的标签和所述取值的第二份额，秘密分享损失函数的梯度，第一方得到所述梯度的第一份额，第二方得到所述梯度的第二份额；
第一方根据特征数据和所述取值的第一份额，第二方根据所述取值的第二份额，秘密分享海森矩阵，第一方得到海森矩阵的第一份额，第二方得到海森矩阵的第二份额；第一方根据所述随机数的第一份额和海森矩阵的第一份额，第二方根据所述随机数的第二份额和海森矩阵的第二份额，秘密分享第二乘积，第一方得到第二乘积的第一份额，第二方得到第二乘积的第二份额，所述第二乘积为所述随机数和海森矩阵之间的乘积；
若第二乘积的条件数满足预设条件，第一方根据原始模型参数的第一份额、所述梯度的第一份额和海森矩阵的第一份额，第二方根据原始模型参数的第二份额、所述梯度的第二份额和海森矩阵的第二份额，秘密分享新的模型参数，第一方得到新的模型参数的第一份额，第二方得到新的模型参数的第二份额。
17.如权利要求16所述的方法，所述随机数包括随机正交矩阵。
18.一种模型训练方法，应用于模型训练系统，所述模型训练系统包括第一方、第二方和第三方，所述第一方持有样本的特征数据，所述第二方持有样本的标签，该方法包括：
第一方根据特征数据和原始模型参数的第一份额，第二方根据原始模型参数的第二份额，秘密分享第一乘积，第一方得到第一乘积的第一份额，第二方得到第一乘积的第二份额，所述第一乘积为特征数据和原始模型参数的乘积；
第三方获得第一乘积的第一份额和第二份额，根据第一乘积的第一份额和第二份额，确定激励函数的取值的第一份额和第二份额，分别向第一方和第二方发送所述取值的第一份额和第二份额，第一方接收所述取值的第一份额，第二方接收所述取值的第二份额；
第一方根据特征数据和所述取值的第一份额，第二方根据标签和所述取值的第二份额，秘密分享损失函数的梯度，第一方得到所述梯度的第一份额，第二方得到所述梯度的第二份额；第一方根据特征数据和所述取值的第一份额，第二方根据所述取值的第二份额，秘密分享海森矩阵，第一方得到海森矩阵的第一份额，第二方得到海森矩阵的第二份额；
若海森矩阵的条件数不满足预设条件，第一方根据原始模型参数的第一份额、所述梯度的第一份额和预设步长，计算新的模型参数的第一份额，第二方根据原始模型参数的第二份额、所述梯度的第二份额和预设步长，计算新的模型参数的第二份额。
19.一种模型训练方法，应用于第一方，所述第一方持有样本的特征数据，该方法包括：
根据特征数据和原始模型参数的第一份额与第二方秘密分享第一乘积，得到第一乘积的第一份额，所述第一乘积为特征数据和原始模型参数的乘积；
向第三方发送第一乘积的第一份额；
接收第三方发来的激励函数的取值的第一份额；
根据特征数据和所述取值的第一份额与第二方秘密分享损失函数的梯度，得到所述梯度的第一份额；根据特征数据和所述取值的第一份额与第二方秘密分享海森矩阵，得到海森矩阵的第一份额；
若海森矩阵的条件数不满足预设条件，根据原始模型参数的第一份额、所述梯度的第一份额和预设步长，计算新的模型参数的第一份额。
20.如权利要求19所述的方法，还包括：
获得随机数的第一份额；
根据所述随机数的第一份额和海森矩阵的第一份额与第二方秘密分享第二乘积，得到第二乘积的第一份额，所述第二乘积为所述随机数和海森矩阵之间的乘积；
相应地，所述与第二方秘密分享新的模型参数，包括：
若第二乘积的条件数满足预设条件，根据原始模型参数的第一份额、所述梯度的第一份额和海森矩阵的第一份额与第二方秘密分享新的模型参数，得到新的模型参数的第一份额。
21.如权利要求19所述的方法，所述与第二方秘密分享新的模型参数，包括：
根据海森矩阵的第一份额与第二方秘密分享海森矩阵的逆矩阵，得到所述逆矩阵的第一份额；根据原始模型参数的第一份额、所述梯度的第一份额和所述逆矩阵的第一份额与第二方秘密分享新的模型参数，得到新的模型参...
【专利技术属性】
技术研发人员：周亚顺，李漓春，张祺智，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。