模型训练方法及装置、数据预测方法、介质、电子设备制造方法及图纸

本发明专利技术实施例是关于一种模型训练方法及装置、数据预测方法、介质、电子设备，涉及机器学习技术领域，该方法包括：根据目标公钥对所述联合逻辑回归模型的第一本地模型参数、第一特征数据以及特征标签进行加密，得到第一加密数据；将所述第一加密数据发送至所述第二数据持有者，并接收所述第二数据持有者发送的第一中间变量；根据所述第一中间变量以及第一特征数据生成第一加密梯度，将所述第一加密梯度发送至所述第二数据持有者；利用与所述第一公钥对应的第一私钥对所述解密后的第一加密梯度进行解密得到第一明文梯度，并利用所述第一明文梯度对所述第一本地模型参数进行更新。本发明专利技术实施例提高了特征数据的安全性。明实施例提高了特征数据的安全性。明实施例提高了特征数据的安全性。

【技术实现步骤摘要】
模型训练方法及装置、数据预测方法、介质、电子设备


[0001]本专利技术实施例涉及机器学习
，具体而言，涉及一种模型训练方法、模型训练装置、数据预测方法、计算机可读存储介质以及电子设备。

技术介绍

[0002]隐私保护机器学习中的“跨特征”场景，隶属于知识联邦理论体系中的“跨特征联邦”，是指多机构所使用的训练或推理样本是一致的，而特征不同，只有一个机构持有标签，训练和推理可以在无数据的可信第三方机构的辅助下完成。
[0003]在一种隐私保护机器学习的模型中，将所有参与机构分为A、B以及C三类角色。其中，A类角色持有特征数据以及特征标签，B类角色仅持有特征，C类角色既未持有特征数据也未持有特征标签，其为辅助角色。具体的，在训练过程中，A类角色以及B类角色将加密权重和特征数据的内积发送至C类角色，然后在C类角色的辅助下完成对模型的训练。
[0004]但是，上述方案存在如下缺陷：如果A类角色以及C类角色合谋，则C类角色可以通过累积不同权重和固定的特征数据的内积构建方程，随着训练的进展可以求解出特征数据的实际内容，因此导致B类角色的特征数据的安全性较低；同理可以得知，A类角色的特征数据的安全性也较低。
[0005]因此，需要提供一种新的模型训练方法及装置。
[0006]需要说明的是，在上述
技术介绍
部分专利技术的信息仅用于加强对本专利技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0007]本专利技术的目的在于提供一种模型训练方法、模型训练装置、数据预测方法、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的特征数据的安全性较低的问题。
[0008]根据本公开的一个方面，提供一种模型训练方法，配置于多方机器学习中提供第一特征数据以及特征标签的第一数据持有者，用于对联合逻辑回归模型进行训练，所述模型训练方法包括：
[0009]根据目标公钥对所述联合逻辑回归模型的第一本地模型参数、第一特征数据以及特征标签进行加密，得到第一加密数据；其中，所述目标公钥是根据第一数据持有者所持有的第一公钥以及多方机器学习中提供第二特征数据的第二数据持有者所持有的第二公钥计算得到的；
[0010]将所述第一加密数据发送至所述第二数据持有者，并接收所述第二数据持有者发送的根据所述第一加密数据，以及利用所述目标公钥对所述第二特征数据加密后得到第二加密数据生成的第一中间变量；
[0011]根据所述第一中间变量以及第一特征数据生成第一加密梯度，将所述第一加密梯度发送至所述第二数据持有者，并接收所述第二数据持有者发送的利用与所述第二公钥对
应的第二私钥对所述第一加密梯度进行解密，得到的解密后的第一加密梯度；
[0012]利用与所述第一公钥对应的第一私钥对所述解密后的第一加密梯度进行解密得到第一明文梯度，并利用所述第一明文梯度对所述第一本地模型参数进行更新。
[0013]在本公开的一种示例性实施例中，根据所述第一中间变量以及第一特征数据生成第一加密梯度，包括：
[0014]生成第一随机向量；
[0015]根据所述第一中间变量、第一特征数据以及所述第一随机向量，生成所述第一加密梯度。
[0016]在本公开的一种示例性实施例中，利用与所述第一公钥对应的第一私钥对所述解密后的第一加密梯度进行解密得到第一明文梯度，包括：
[0017]利用所述第一随机向量对所述解密后的第一加密梯度进行解密，得到第一待解密明文梯度；
[0018]利用与所述第一公钥对应的第一私钥对所述第一待解密明文梯度进行再次解密，得到所述第一明文梯度。
[0019]在本公开的一种示例性实施例中，将所述第一加密梯度发送至所述第二数据持有者，并接收所述第二数据持有者发送的利用与所述第二公钥对应的第二私钥对所述第一加密梯度进行解密，得到的解密后的第一加密梯度，包括：
[0020]将所述第一加密梯度发送至所述多方机器学习中的辅助方，以使得所述辅助方将所述第一加密梯度发送至所述第二数据持有者；
[0021]接收所述辅助方发送的解密后的第一加密梯度；其中，所述解密后的第一加密梯度是所述第二数据持有者利用与所述第二公钥对应的第二私钥对所述第一加密梯度进行解密得到，并发送给所述辅助方的。
[0022]根据本公开的一个方面，提供一种模型训练方法，配置于多方机器学习中提供第二特征数据的第二数据持有者，用于对联合逻辑回归模型进行训练，所述模型训练方法包括：
[0023]利用目标公钥对所述联合逻辑回归模型的第二本地模型参数以及所述第二特征数据进行加密，得到第二加密数据；其中，所述目标公钥是根据多方机器学习中提供第一特征数据以及特征标签的第一数据持有者所持有的第一公钥，以及所述第二数据持有者所持有的第二公钥计算得到的；
[0024]接收所述第一数据持有者发送的，利用所述目标公钥对所述联合逻辑回归模型的第一本地模型参数、第一特征数据以及特征标签进行加密得到的第一加密数据，并根据所述第一加密数据以及所述第二加密数据进行生成第一中间变量；
[0025]根据所述第一中间变量以及所述第二特征数据生成第二加密梯度，将所述第二加密梯度发送至所述第一数据持有者，并接收所述第一数据持有者发送的利用与所述第一公钥对应的第一私钥对所述第二加密梯度进行解密，得到的解密后的第二加密梯度；
[0026]利用与所述第二公钥对应的第二私钥对所述解密后的第二加密梯度进行解密得到第二明文梯度，并利用所述第二明文梯度对所述第二本地模型参数进行更新。
[0027]根据本公开的一个方面，提供一种数据预测方法，配置于多方机器学习中提供第一待预测数据的第一数据持有者，用于根据对联合逻辑回归模型进行训练得到的数据预测
模型进行数据预测，所述数据预测方法包括：
[0028]根据所述第一待预测数据以及所述数据预测模型的第一本地模型参数得到第三待加密数据，并根据目标公钥对所述第三待加密数据进行加密，得到第三加密数据；其中，所述数据预测模型是根据任意一项所述的模型训练方法对所述联合逻辑回归模型进行训练得到的；所述目标公钥是根据所述第一数据持有者所持有的第一公钥，以及所述多方机器学习中提供第二待预测数据的第二数据持有者所持有的第二公钥计算得到的；
[0029]将所述第三加密数据发送至所述第二数据持有者，并接收所述第二数据持有者发送的根据所述第三加密数据以及第四加密数据得到的目标待预测数据；其中，所述第四加密数据是所述第二数据持有者利用所述目标公钥对所述第二待预测数据进行加密得到的；
[0030]利用与所述第一公钥对应的第一私钥对所述目标待预测数据进行解密，并利用所述数据预测模型对解密后的目标待预测数据进行预测，得到预测结果。
[0031]在本公开的一种示例性实施例中，将所述第三加密数据发送至所述第二数据持有者，并接收所述第二数据持有者发送的根据所述第三加密数据以及第四加密数据得到的目标待预测数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，配置于多方机器学习中提供第一特征数据以及特征标签的第一数据持有者，用于对联合逻辑回归模型进行训练，所述模型训练方法包括：根据目标公钥对所述联合逻辑回归模型的第一本地模型参数、第一特征数据以及特征标签进行加密，得到第一加密数据；其中，所述目标公钥是根据第一数据持有者所持有的第一公钥以及多方机器学习中提供第二特征数据的第二数据持有者所持有的第二公钥计算得到的；将所述第一加密数据发送至所述第二数据持有者，并接收所述第二数据持有者发送的根据所述第一加密数据，以及利用所述目标公钥对所述第二特征数据加密后得到第二加密数据生成的第一中间变量；根据所述第一中间变量以及第一特征数据生成第一加密梯度，将所述第一加密梯度发送至所述第二数据持有者，并接收所述第二数据持有者发送的利用与所述第二公钥对应的第二私钥对所述第一加密梯度进行解密，得到的解密后的第一加密梯度；利用与所述第一公钥对应的第一私钥对所述解密后的第一加密梯度进行解密得到第一明文梯度，并利用所述第一明文梯度对所述第一本地模型参数进行更新。2.根据权利要求1所述的模型训练方法，其特征在于，根据所述第一中间变量以及第一特征数据生成第一加密梯度，包括：生成第一随机向量；根据所述第一中间变量、第一特征数据以及所述第一随机向量，生成所述第一加密梯度。3.根据权利要求2所述的模型训练方法，其特征在于，利用与所述第一公钥对应的第一私钥对所述解密后的第一加密梯度进行解密得到第一明文梯度，包括：利用所述第一随机向量对所述解密后的第一加密梯度进行解密，得到第一待解密明文梯度；利用与所述第一公钥对应的第一私钥对所述第一待解密明文梯度进行再次解密，得到所述第一明文梯度。4.根据权利要求1所述的模型训练方法，其特征在于，将所述第一加密梯度发送至所述第二数据持有者，并接收所述第二数据持有者发送的利用与所述第二公钥对应的第二私钥对所述第一加密梯度进行解密，得到的解密后的第一加密梯度，包括：将所述第一加密梯度发送至所述多方机器学习中的辅助方，以使得所述辅助方将所述第一加密梯度发送至所述第二数据持有者；接收所述辅助方发送的解密后的第一加密梯度；其中，所述解密后的第一加密梯度是所述第二数据持有者利用与所述第二公钥对应的第二私钥对所述第一加密梯度进行解密得到，并发送给所述辅助方的。5.一种模型训练方法，其特征在于，配置于多方机器学习中提供第二特征数据的第二数据持有者，用于对联合逻辑回归模型进行训练，所述模型训练方法包括：利用目标公钥对所述联合逻辑回归模型的第二本地模型参数以及所述第二特征数据进行加密，得到第二加密数据；其中，所述目标公钥是根据多方机器学习中提供第一特征数据以及特征标签的第一数据持有者所持有的第一公钥，以及所述第二数据持有者所持有的第二公钥计算得到的；
接收所述第一数据持有者发送的，利用所述目标公钥对所述联合逻辑回归模型的第一本地模型参数、第一特征数据以及特征标签进行加密得到的第一加密数据，并根据所述第一加密数据以及所述第二加密数据进行生成第一中间变量；根据所述第一中间变量以及所述第二特征数据生成第二加密梯度，将所述第二加密梯度发送至所述第一数据持有者，并接收所述第一数据持有者发送的利用与所述第一公钥对应的第一私钥对所述第二加密梯度进行解密，得到的解密后的第二加密梯度；利用与所述第二公钥对应的第二私钥对所述解密后的第二加...

【专利技术属性】
技术研发人员：傅致晖，孟丹，李宏宇，李晓林，
申请(专利权)人：同盾控股有限公司，
类型：发明
国别省市：