业务模型的联合训练方法及装置制造方法及图纸

本说明书实施例提供一种业务模型的联合训练方法及装置，在多方联合训练业务模型过程中，为了使用牛顿法以更快的收敛速度训练业务模型，在确定海森矩阵的逆矩阵时，引入由可信第三方生成的辅助矩阵，由联合训练业务模型的各个业务方以秘密共享方式来确定海森矩阵与辅助矩阵的乘积，并各自得到相应份额。之后，公开海森矩阵与辅助矩阵的乘积的合并结果，使各个业务方分别得到以上合并结果的逆矩阵，进而确定海森矩阵的逆矩阵的相应份额。根据这种特定的业务方交互方式设置，使得多方安全计算中，在保证数据隐私的前提下，利用牛顿法调整模型参数具有可行性，从而提高业务模型的联合训练效率。

【技术实现步骤摘要】
业务模型的联合训练方法及装置
本说明书一个或多个实施例涉及计算机
，尤其涉及多方安全计算中，利用计算机对业务模型进行联合训练的方法和装置。
技术介绍
大数据时代，很多数据可能分散存于不同的企业中，企业与企业之间基于隐私保护等方面的考虑，并不能完全分享彼此的数据，因此可能存在数据孤岛。在一些情况下，企业与企业之间通常需要进行合作安全建模，以便在充分保护企业数据隐私的前提下，使用各方的数据对数据处理模型进行协作训练，从而更准确、有效地处理业务数据。此时，用于对数据处理模型进行训练的数据可以是分散在合作建模的各方的。因此，如何在模型训练的过程中基于对建模各方的数据隐私的保护，提供更有效的模型训练方式，是当前亟需解决的技术问题。
技术实现思路
本说明书一个或多个实施例描述了一种业务模型的联合训练方法及装置，用以解决
技术介绍
提到的一个或多个问题。根据第一方面，提供了一种业务模型的联合训练方法，用于多个业务方联合训练业务模型，所述业务模型用于对业务数据进行处理，得到相应的业务处理结果，所述多个业务方包括第一方、第二本文档来自技高网...

【技术保护点】
1.一种业务模型的联合训练方法，用于多个业务方联合训练业务模型，所述业务模型用于对业务数据进行处理，得到相应的业务处理结果，所述多个业务方包括第一方、第二方和第三方，第一方和第二方联合持有用于训练所述业务模型的多个训练样本，第三方为辅助训练业务模型的可信第三方；所述方法由第一方执行，包括：/n与第二方秘密共享当前模型参数和当前训练样本对应的特征数据的融合结果，得到融合结果的第一份额；/n基于所述融合结果的第一份额，与第二方秘密共享当前模型参数的梯度和海森矩阵，得到所述当前模型参数的梯度的第一份额、所述海森矩阵的第一份额；/n利用从第三方接收的辅助矩阵的第一份额，与第二方秘密共享所述海森矩阵与所...

【技术特征摘要】
1.一种业务模型的联合训练方法，用于多个业务方联合训练业务模型，所述业务模型用于对业务数据进行处理，得到相应的业务处理结果，所述多个业务方包括第一方、第二方和第三方，第一方和第二方联合持有用于训练所述业务模型的多个训练样本，第三方为辅助训练业务模型的可信第三方；所述方法由第一方执行，包括：
与第二方秘密共享当前模型参数和当前训练样本对应的特征数据的融合结果，得到融合结果的第一份额；
基于所述融合结果的第一份额，与第二方秘密共享当前模型参数的梯度和海森矩阵，得到所述当前模型参数的梯度的第一份额、所述海森矩阵的第一份额；
利用从第三方接收的辅助矩阵的第一份额，与第二方秘密共享所述海森矩阵与所述辅助矩阵的乘积，得到所述乘积的第一份额，其中，所述辅助矩阵由第三方生成，并随机拆分得到辅助矩阵的第一份额和所述辅助矩阵的第二份额，所述辅助矩阵的第二份额由第三方发送至第二方；
根据所述乘积的第一份额，与第二方公开所述海森矩阵与所述辅助矩阵的乘积的合并结果，或所述合并结果的逆矩阵；
按照所述合并结果的逆矩阵，以及所述辅助矩阵的第一份额，确定所述海森矩阵的逆矩阵的第一份额；
基于所述模型参数的梯度的第一份额、所述海森矩阵的逆矩阵的第一份额，与第二方秘密共享更新的模型参数，以获得更新的模型参数的第一份额。


2.根据权利要求1所述的方法，其中，所述基于所述融合结果的第一份额，与第二方秘密共享当前模型参数的梯度和海森矩阵，得到所述当前模型参数的梯度的第一份额、所述海森矩阵的第一份额包括：
基于所述融合结果的第一份额，得到所述融合结果的激励结果的第一份额，其中，所述激励结果的第一份额通过与第二方秘密共享所述激励结果而得到；
根据所述激励结果的第一份额，与第二方秘密共享所述当前模型参数的梯度以及海森矩阵，得到所述当前模型参数的梯度的第一份额以及所述海森矩阵的第一份额。


3.根据权利要求2所述的方法，其中，所述基于所述融合结果的第一份额，得到所述融合结果的激励结果的第一份额包括：
向第三方发送所述融合结果的第一份额，以供第三方根据所述融合结果的第一份额，以及从第二方获取的所述融合结果的第二份额，确定基于激励函数处理所述融合结果得到的激励结果，并将所述激励结果拆分得到第一份额和第二份额；
从第三方接收所述激励结果的第一份额。


4.根据权利要求3所述的方法，其中，所述方法还包括：
按照与第二方协商一致的随机数生成方式和当前随机数种子，生成预定数量的随机数，根据与各个随机数分别对应的各个训练样本确定所述当前训练样本的以下中的一项：特征数据，标签数据，部分特征数据和标签数据。


5.根据权利要求2所述的方法，其中，所述基于所述融合结果的第一份额，得到所述融合结果的激励结果的第一份额包括：
基于所述激励结果的第一份额，与第二方以多项式或混淆电路的方式秘密共享所述激励结果，得到所述激励结果的第一份额。


6.根据权利要求2-5中任一所述的方法，其中，所述当前模型参数的梯度为，所述特征数据对应的特征矩阵的转置矩阵，与所述激励结果和当前训练样本的标签数据的差的乘积；
所述根据所述激励结果的第一份额，与第二方秘密共享所述当前模型参数的梯度以及海森矩阵，得到所述当前模型参数的梯度的第一份额以及所述海森矩阵的第一份额包括：
利用所述激励结果的第一份额，确定所述激励结果与标签数据的差的第一份额；
根据所述激励结果与标签数据的差的第一份额，以及所述特征数据的第一份额，与第二方秘密共享所述当前模型参数的梯度，得到所述当前模型参数的梯度的第一份额。


7.根据权利要求6所述的方法，其中，所述标签数据由第一方或第二方中的一方持有：
在第二方持有所述标签数据，且第二方以秘密共享方式向第一方分享所述标签数据的第一份额的情况下，所述激励结果与标签数据的差的第一份额基于所述标签数据的第一份额与所述激励结果的第一份额的差确定；
在第二方持有所述标签数据，且不与第一方共享的情况下，所述激励结果与标签数据的差的第一份额为所述激励结果的第一份额；
在所述第一方持有所述标签数据，且不与第二方共享的情况下，所述激励结果与标签数据的差的第一份额，根据所述激励结果的第一份额与所述标签数据的差确定。


8.根据权利要求2所述的方法，其中，所述海森矩阵根据所述特征数据对应的特征矩阵的转置矩阵，与梯度矩阵以及所述特征数据对应的特征矩阵的乘积确定，其中，所述梯度矩阵为：所述激励结果，与预定向量、所述激励结果的差向量按位相乘得到的积向量中，各个维度的数值作为对角元素确定的对角矩阵。


9.根据权利要求1所述的方法，其中，所述根据所述乘积的第一份额，与第二方公开所述海森矩阵与所述辅助矩阵的乘积的合并结果，或所述合并结果的逆矩阵包括以下至少一项：
向第二方发送所述乘积的第一份额，由第二方根据所持有的所述乘积的第二份额，确定所述合并结果或所述合并结果的逆矩阵，并反馈给第一方；
接收第二方发送的所述乘积的第二份额，根据所持有的所述乘积的第一份额，确定所述合并结果或所述合并结果的逆矩阵，并反馈...

【专利技术属性】
技术研发人员：周亚顺，李漓春，张祺智，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33