【技术实现步骤摘要】
模型训练方法、装置及系统
本公开通常涉及机器学习领域，尤其涉及用于使用水平切分的训练集来经由多个训练参与方协同训练线性/逻辑回归模型的方法、装置及系统。
技术介绍
线性回归模型和逻辑回归模型是机器学习领域广泛使用的回归/分类模型。在很多情况下，多个模型训练参与方(例如，电子商务公司、快递公司和银行)各自拥有训练线性/逻辑回归模型所使用的特征样本的不同部分数据。该多个模型训练参与方通常想共同使用彼此的数据来统一训练线性/逻辑回归模型，但又不想把各自的数据提供给其它各个模型训练参与方以防止自己的数据被泄露。面对这种情况，提出了能够保护数据安全的机器学习方法，其能够在保证多个模型训练参与方的各自数据安全的情况下，协同该多个模型训练参与方来训练线性/逻辑回归模型，以供该多个模型训练参与方使用。然而，现有的能够保护数据安全的机器学习方法的模型训练效率较低。
技术实现思路
鉴于上述问题，本公开提供了一种用于经由多个训练参与方协同训练线性/逻辑回归模型的方法、装置及系统，其能够在保证多个训练参与方的各自数据安全的情况下提高模型训练的效率。根据本公开的一个方面，提供了一种用于经由多个训练参与方来协同训练线性/逻辑回归模型的方法，所述线性/逻辑回归模型由第一数目个子模型组成，每个训练参与方具有一个子模型，所述第一数目等于所述训练参与方的数目，所述训练参与方包括训练发起方和至少一个训练协同方，所述方法由训练发起方执行，所述方法包括：执行下述迭代过程，直到满足预定条件：基于各个训练参与方的当前子模型以及...
【技术保护点】
1.一种用于经由多个训练参与方来协同训练线性/逻辑回归模型的方法，所述线性/逻辑回归模型由第一数目个子模型组成，每个训练参与方具有一个子模型，所述第一数目等于所述训练参与方的数目，所述训练参与方包括训练发起方和至少一个训练协同方，所述方法由训练发起方执行，所述方法包括：/n执行下述迭代过程，直到满足预定条件：/n基于各个训练参与方的当前子模型以及所述训练发起方的特征样本集，使用有可信初始化方的秘密共享矩阵乘法来获得所述线性/逻辑回归模型针对所述特征样本集的当前预测值；/n确定所述特征样本集的当前预测值与对应的标记值之间的预测差值；/n基于所确定出的预测差值和所述特征样本集，确定模型更新量；/n将所确定出的模型更新量分割为所述第一数目个部分模型更新量，并且将第二数目个部分模型更新量中的每个分别发送给对应的训练协同方，所述第二数目等于所述第一数目减一；以及/n基于所述训练发起方的当前子模型以及对应的部分模型更新量来更新所述训练发起方的当前子模型，其中，在迭代过程未结束时，所述更新后的各个训练参与方的当前子模型被用作下一迭代过程的当前子模型。/n
【技术特征摘要】
1.一种用于经由多个训练参与方来协同训练线性/逻辑回归模型的方法，所述线性/逻辑回归模型由第一数目个子模型组成，每个训练参与方具有一个子模型，所述第一数目等于所述训练参与方的数目，所述训练参与方包括训练发起方和至少一个训练协同方，所述方法由训练发起方执行，所述方法包括：
执行下述迭代过程，直到满足预定条件：
基于各个训练参与方的当前子模型以及所述训练发起方的特征样本集，使用有可信初始化方的秘密共享矩阵乘法来获得所述线性/逻辑回归模型针对所述特征样本集的当前预测值；
确定所述特征样本集的当前预测值与对应的标记值之间的预测差值；
基于所确定出的预测差值和所述特征样本集，确定模型更新量；
将所确定出的模型更新量分割为所述第一数目个部分模型更新量，并且将第二数目个部分模型更新量中的每个分别发送给对应的训练协同方，所述第二数目等于所述第一数目减一；以及
基于所述训练发起方的当前子模型以及对应的部分模型更新量来更新所述训练发起方的当前子模型，其中，在迭代过程未结束时，所述更新后的各个训练参与方的当前子模型被用作下一迭代过程的当前子模型。
2.如权利要求1所述的方法，其中，所述各个训练参与方的子模型使用权重子向量来表示，所述特征样本集、所述预测值和所述标记值分别使用特征矩阵、预测值向量和标记值向量来表示，以及
基于所述各个训练参与方的当前子模型以及所述训练发起方的特征样本集，使用有可信初始化方的秘密共享矩阵乘法来获得所述线性/逻辑回归模型针对所述特征样本集的当前预测值包括：
从可信初始化方接收对应的随机权重向量、随机特征矩阵和随机标记值向量，所述对应的随机权重向量、随机特征矩阵和随机标记值向量分别是在所述可信初始化方处生成的所述第一数目个随机权重向量、所述第一数目个随机特征矩阵和所述第一数目个随机标记值向量中的随机权重向量、随机特征矩阵和随机标记值向量，其中，所述第一数目个随机权重向量之和与所述第一数目个随机特征矩阵之和相乘所得的乘积等于所述第一数目个随机标记值向量之和；
将所述特征矩阵分割为所述第一数目个特征子矩阵并且将所述第二数目个特征子矩阵中的每个分别发送给对应的训练协同方；
基于所述训练发起方的权重子向量、对应的特征子矩阵以及所接收的随机权重向量和随机特征矩阵，确定所述训练发起方处的权重子向量差值和特征子矩阵差值；
将所确定出的权重子向量差值和特征子矩阵差值发送给所述各个训练协同方，以及从所述各个训练协同方接收对应的权重子向量差值和特征子矩阵差值；
基于所述各个训练参与方的权重子向量差值和特征子矩阵差值、所接收的随机权重向量、随机特征矩阵以及随机标记值向量，确定所述训练发起方处的预测值向量；
将所确定的预测值向量发送给所述各个训练协同方，以及从所述各个训练协同方接收对应的预测值向量；以及
对所得到的各个训练参与方的预测值向量进行求和，以得到所述线性/逻辑回归模型针对所述特征样本集的当前预测值。
3.如权利要求2所述的方法，其中，基于所述各个训练参与方的权重子向量差值和特征子矩阵差值、所接收的随机权重向量、随机特征矩阵以及随机标记值向量，确定所述训练发起方处的预测值向量包括：
分别对所述各个训练参与方处的权重子向量差值和特征子矩阵差值进行求和，以得到权重子向量总差值和特征子矩阵总差值；以及
对所接收的随机标记值向量、所述权重子向量总差值与所述训练发起方的随机特征矩阵之积、所述特征子矩阵总差值与所述训练发起方的随机权重向量之积以及所述权重子向量总差值与所述特征子矩阵总差值之积进行求和，以得到对应的预测值向量，或者
对所接收的随机标记值向量、所述权重子向量总差值与所述训练发起方的随机特征矩阵之积以及所述特征子矩阵总差值与所述训练发起方的随机权重向量之积进行求和，以得到对应的预测值向量。
4.如权利要求1所述的方法，其中，基于所确定出的预测差值和所述特征样本集，确定模型更新量包括：
计算所述特征样本集和所确定出的预测差值之间的乘积，作为所述模型更新量。
5.如权利要求4所述的方法，其中，基于所述训练发起方的当前子模型以及对应的部分模型更新量来更新所述训练发起方的当前子模型包括：按照以下等式更新所述训练发起方处的当前子模型
Wn+1＝Wn-α·tmpi，
其中，Wn+1表示所述训练发起方处的更新后的当前子模型，Wn表示所述训练发起方处的当前子模型，α表示学习率，以及tmpi表示与所述训练发起方对应的部分模型更新量。
6.如权利要求1所述的方法，其中，所述训练发起方和所述训练协同方是由所述多个训练参与方协商确定的。
7.如权利要求1到6中任一所述的方法，其中，所述预定条件包括：
预定迭代次数；或者
所确定出的预测差值位于预定范围内。
8.一种用于经由多个训练参与方来协同训练线性/逻辑回归模型的方法，所述线性/逻辑回归模型由第一数目个子模型组成，每个训练参与方具有一个子模型，所述第一数目等于所述训练参与方的数目，所述训练参与方包括训练发起方和至少一个训练协同方，所述方法由训练协同方执行，所述方法包括：
执行下述迭代过程，直到满足预定条件：
基于各个训练参与方的当前子模型以及所述训练发起方的特征样本集，使用有可信初始化方的秘密共享矩阵乘法来获得所述线性/逻辑回归模型针对所述特征样本集的当前预测值；
从所述训练发起方接收对应的部分模型更新量，其中，所述部分模型更新量是在所述训练发起方处对模型更新量进行分割后得到的所述第一数目个部分模型更新量中的一个部分模型更新量，所述模型更新量是在所述训练发起方处基于所确定出的当前预测值和对应的标记值之间的预测差值以及所述特征样本集确定出的；以及
基于所述训练协同方的当前子模型以及所接收的部分模型更新量来更新所述训练协同方的当前子模型，其中，在迭代过程未结束时，所述更新后的各个训练参与方的当前子模型被用作下一训练迭代过程的当前子模型。
9.如权利要求8所述的方法，其中，所述各个训练参与方的子模型使用权重子向量来表示，所述特征样本集、所述预测值和所述标记值分别使用特征矩阵、预测值向量和标记值向量来表示，以及
基于各个训练参与方的当前子模型以及所述训练发起方的特征样本集，使用有可信初始化方的秘密共享矩阵乘法来获得所述线性/逻辑回归模型针对所述特征样本集的当前预测值包括：
从所述训练发起方接收对应的特征子矩阵，以及从所述可信初始方接收对应的随机权重向量、随机特征矩阵和随机标记值向量，所述对应的特征子矩阵是在所述训练发起方处对所述特征矩阵进行分割后得到的所述第一数目个特征子矩阵中的一个特征子矩阵，所述对应的随机权重向量、随机特征矩阵和随机标记值向量分别是在所述可信初始化方处生成的所述第一数目个随机权重向量、所述第一数目个随机特征矩阵和所述第一数目个随机标记值向量中的随机权重向量、随机特征矩阵和随机标记值向量，其中，所述第一数目个随机权重向量之和与所述第一数目个随机特征矩阵之和相乘所得的乘积等于所述第一数目个随机标记值向量之和；
基于所述训练协同方的权重子向量、对应的特征子矩阵以及所接收的随机权重向量和随机特征矩阵，确定所述训练协同方处的权重子向量差值和特征子矩阵差值；
将所确定出的权重子向量差值和特征子矩阵差值发送给所述训练发起方和其余训练协同方，以及从所述训练发起方和所述其余训练协同方接收对应的权重子向量差值和特征子矩阵差值；
基于所述各个训练参与方的权重子向量差值和特征子矩阵差值、所接收的随机权重向量、随机特征矩阵以及随机标记值向量，确定所述训练协同方的预测值向量；
将所确定出的预测值向量发送给所述训练发起方和所述其余训练协同方，以及从所述训练发起方和所述其余训练协同方接收对应的预测值向量；以及
对所得到的各个训练参与方的预测值向量进行求和，以得到所述线性/逻辑回归模型针对所述特征样本集的当前预测值。
10.如权利要求9所述的方法，其中，基于所述各个训练参与方的权重子向量差值和特征子矩阵差值、所接收的随机权重向量、随机特征矩阵以及随机标记值向量，确定所述训练协同方的预测值向量包括：
对所述各个训练参与方的权重子向量差值和特征子矩阵差值进行求和，以得到权重子向量总差值和特征子矩阵总差值；以及
对所述训练协同方的随机标记值向量、所述权重子向量总差值与所述训练协同方的随机特征矩阵之积以及所述特征子矩阵总差值与所述训练协同方的随机权重向量之积进行求和，以得到对应的预测值向量，或者
对所述训练协同方的随机标记值向量、所述权重子向量总差值与所述训练协同方的随机特征矩阵之积、所述特征子矩阵总差值与所述训练协同方的随机权重向量之积以及所述权重子向量总差值与所述特征子矩阵总差值之积进行求和，以得到对应的预测值向量。
11.如权利要求8所述的方法，其中，基于所述训练协同方的当前子模型以及所接收的部分模型更新量来更新所述训练协同方处的当前子模型包括：按照以下等式更新所述训练协同方的当前子模型
Wn+1＝Wn-α·tmpi，
其中，Wn+1表示所述训练协同方处的更新后的当前子模型，Wn表示所述训练协同方处的当前子模型，α表示学习率，以及tmpi表示与所述训练协同方对应的部分模型更新量。
12.如权利要求8所述的方法，其中，所述训练发起方和所述训练协同方是由所述多个训练参与方协商确定的。
13.一种用于经由多个训练参与方来协同训练线性/逻辑回归模型的方法，所述线性/逻辑回归模型由第一数目个子模型组成，每个训练参与方具有一个子模型，所述第一数目等于所述训练参与方的数目，所述训练参与方包括训练发起方和至少一个训练协同方，所述方法包括：
执行下述迭代过程，直到满足预定条件：
基于所述各个训练参与方的当前子模型以及所述训练发起方的特征样本集，使用有可信初始化方的秘密共享矩阵乘法来获得所述线性/逻辑回归模型针对所述特征样本集的当前预测值；
在所述训练发起方处，确定所述特征样本集的当前预测值与对应的标记值之间的预测差值，基于所确定出的预测差值与所述特征样本集确定模型更新量，将所确定出的模型更新量分割为所述第一数目个部分模型更新量，并且将所述第二数目个部分模型更新量中的每个分别发送给所述各个训练协同方；以及
在所述各个训练参与方处，基于该训练参与方的当前子模型以及所接收的部分模型更新量来更新该训练参与方处的当前子模型，其中，在迭代过程未结束时，所述更新后的各个训练参与方的当前子模型被用作下一迭代过程的当前子模型。
14.一种用于经由多个训练参与方来协同训练线性/逻辑回归模型的装置，所述线性/逻辑回归模型由第一数目个子模型组成，每个训练参与方具有一个子模型，所述第一数...
【专利技术属性】
技术研发人员：陈超超，王力，周俊，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。