【技术实现步骤摘要】
一种无第三方的逻辑回归联邦学习模型训练系统及方法
本专利技术涉及数据处理
，特别是涉及一种无第三方的逻辑回归联邦学习模型训练系统及方法。
技术介绍
随着网络技术的发展，网络能够提供的用户、车辆、视频等对象的数据越来越多，因此，在不同的应用场景下需要结合对象的特征数据，对对象的数据进行数据处理，获得数据处理结果。例如，结合对象的特征数据实现对象分类、结合对象的特征数据实现对象数据预测等。现有技术中可以采用神经网络模型进行数据处理，因此需要预先采用样本对象的样本数据对神经网络模型进行训练。然而同一样本对象的不同样本数据可能分别存储在不同场景的不同服务器中。例如，在上述样本对象为用户的情况下，与用户信用相关的信用卡使用信息、消费购物信息、手机通话信息等样本数据分别存储在银行的银行服务器、电商平台的电商服务器、通讯公司的通讯服务器中。因此，当需要依据同一样本对象的不同样本数据进行模型训练时，各个服务器之间需要进行样本数据的交互。为了保证样本数据交互的过程中样本数据的安全性，现有技术中可以选择一个除存储有样本数据的各服务器之外的、各服务器均信任的可信第三方设备，可信第三方设备可以生成模型训练过程中加密解密数据时使用的公钥和私钥，并协调模型训练过程。然而，在部分应用场景中可能不存在各服务器均信任的可信第三方设备，因此难以在保证样本数据的安全性的情况下，完成模型训练的过程。
技术实现思路
本专利技术实施例的目的在于提供一种无第三方的逻辑回归联邦学习模型训练系统及方法，以在不存在可信第三方设备的情况...
【技术保护点】
1.一种无第三方的逻辑回归联邦学习模型训练系统，其特征在于，所述系统包括：第一设备与第二设备，其中，针对每一样本对象，所述第一设备与第二设备中分别存储有该样本对象的部分样本数据，第二设备中存储有样本对象的样本标签；/n所述第一设备，用于生成公钥与私钥；基于自身存储的第一样本数据与自身配置的第一模型的第一模型参数，计算第一内积，并使用所述公钥对所述第一内积进行加密，得到第一加密内积；向所述第二设备发送所述公钥与第一加密内积；/n所述第二设备，用于基于自身存储的第二样本数据与自身配置的第二模型的第二模型参数，计算第二内积，并使用所述公钥对所述第二内积进行加密，得到第二加密内积；根据所述第一加密内积、第二加密内积与样本标签，计算加密前向梯度；根据所述加密前向梯度与第二样本数据，计算针对所述第二模型的第二加密梯度；在所述第二加密梯度中添加掩码，向所述第一设备发送所述加密前向梯度、添加掩码的第二加密梯度；/n所述第一设备，用于基于所述私钥，分别对所述加密前向梯度、第二加密梯度进行解密，得到前向梯度与第二梯度；向所述第二设备发送所述第二梯度；根据所述前向梯度与第一样本数据，计算针对所述第一模型的第...
【技术特征摘要】
1.一种无第三方的逻辑回归联邦学习模型训练系统，其特征在于，所述系统包括：第一设备与第二设备，其中，针对每一样本对象，所述第一设备与第二设备中分别存储有该样本对象的部分样本数据，第二设备中存储有样本对象的样本标签；
所述第一设备，用于生成公钥与私钥；基于自身存储的第一样本数据与自身配置的第一模型的第一模型参数，计算第一内积，并使用所述公钥对所述第一内积进行加密，得到第一加密内积；向所述第二设备发送所述公钥与第一加密内积；
所述第二设备，用于基于自身存储的第二样本数据与自身配置的第二模型的第二模型参数，计算第二内积，并使用所述公钥对所述第二内积进行加密，得到第二加密内积；根据所述第一加密内积、第二加密内积与样本标签，计算加密前向梯度；根据所述加密前向梯度与第二样本数据，计算针对所述第二模型的第二加密梯度；在所述第二加密梯度中添加掩码，向所述第一设备发送所述加密前向梯度、添加掩码的第二加密梯度；
所述第一设备，用于基于所述私钥，分别对所述加密前向梯度、第二加密梯度进行解密，得到前向梯度与第二梯度；向所述第二设备发送所述第二梯度；根据所述前向梯度与第一样本数据，计算针对所述第一模型的第一梯度；根据所述第一梯度对所述第一模型参数进行调整；直至满足预设的第一训练终止条件，则将调整后的第一模型参数确定为经过训练的第一模型的模型参数；
所述第二设备，用于去除第二梯度中添加的掩码，基于去除掩码后的第二梯度，对所述第二模型参数进行调整；直至满足预设的第二训练终止条件，则将调整后的第二模型参数确定为经过训练的第二模型的模型参数。
2.根据权利要求1所述的系统，其特征在于，
所述第二设备，还用于根据所述第一加密内积、第二加密内积与样本标签，计算加密的损失参数组，向所述第一设备发送改变元素排列顺序之后的、加密的损失参数组，其中，所述损失参数组中包含的各个元素分别为：与不同样本对象相对应的、用于计算所述第一模型与第二模型的模型损失的参数；
所述第一设备，还用于基于所述私钥，对所述加密的损失参数组进行解密，得到损失参数组；根据所述损失参数组中包含的元素，计算模型训练的损失，若所述损失满足预设要求，则确定满足所述第一训练终止条件，并向所述第二设备发送训练终止指令；
所述第二设备，还用于若接收到所述第一设备发送的训练终止指令，则确定满足所述第二训练终止条件。
3.根据权利要求1或2所述的系统，其特征在于，所述系统还包括：至少一个第三设备，其中，针对每一样本对象，所述第三设备中存储有该样本对象的部分样本数据；
所述第一设备，还用于向所述第三设备发送所述公钥；
所述第三设备，用于基于自身存储的第三样本数据与自身配置的第三模型的第三模型参数，计算第三内积，并使用所述公钥对所述第三内积进行加密，得到第三加密内积；向所述第二设备发送所述第三加密内积；
所述第二设备，具体用于根据所述第一加密内积、第二加密内积、第三加密内积与样本标签，计算加密前向梯度；
所述第三设备，还用于获得针对所述第三模型的第三梯度，基于所述第三梯度，对所述第三模型参数进行调整；直至满足预设的第三训练终止条件，则将调整后的第三模型参数确定为经过训练的第三模型的模型参数。
4.根据权利要求3所述的系统，其特征在于，
所述第二设备，还用于向所述第三设备发送所述加密前向梯度；
所述第三设备，具体用于基于所述加密前向梯度与第三样本数据，计算针对所述第三设备的第三加密梯度；在所述第三加密梯度中添加掩码，向所述第一设备发送添加掩码的第三加密梯度；
所述第一设备，还用于基于所述私钥，对所述第三加密梯度进行解密，得到第三梯度；向所述第三设备发送所述第三梯度；
所述第三设备，具体用于去除第三梯度中添加的掩码，得到去除掩码后的第三梯度。
5.根据权利要求3所述的系统，其特征在于，
所述第一设备，还用于向所述第三设备发送经过解密的前向梯度；
所述第三设备，具体用于基于所述前向梯度与所述第三样本数据，计算针对所述第三设备的第三梯度。
6.根据权利要求1或2所述的系统，其特征在于，
所述第二设备，还用于向所述第一设备发送超参数，其中，所述超参数中包含模型训练的学习率；
所述第一设备，具体用于根据所述第一梯度与所述学习率，对所述第一模型参数进行调整；
所述第二设备，具体用于根据所述第二梯度与所述学习率，对所述第二模型参数进行调整。
7.根据权利要求1或2所述的系统，其特征在于，
所述第一设备，具体用于使用所述公钥对所述第一内积进行同态加密；
所述第二设备，具体用于使用所述公钥对所述第二内积进行同态加密。
8.一种无第三方的逻辑回归联邦学习模型训练方法，其特征在于，应用于第一设备，针对每一样本对象，所述第一设备存储有该样本对象的部分样本数据，所述方法包括：
生成公钥与私钥；
基于自身存储的第一样本数据与自身配置的第一模型的第一模型参数，计算第一内积，并使用所述公钥对所述第一内积进行加密，得到第一加密内积；
向第二设备发送所述公钥与第一加密内积，以使得所述第二设备基于所述公钥、第一加密内积，获得加密前向梯度与添加掩码的第二加密梯度，其中，针对每一样本对象，所述第二设备中存储有该样本对象的部分样本数据，并存储有样本对象的样本标签；
接收所述第二设备发送的加密前向梯度、第二加密梯度；
基于所述私钥，分别对所述加密前向梯度、第二加密梯度进行解密，得到前向梯度与第二梯度；
向所述第二设备发送所述第二梯度；
根据所述前向梯度与第一样本数据，计算针对所述第一模型的第一梯度；
根据所述第一梯度对所述第一模型参数进行调整；
直至满足预设的第一训练终止条件，则将调整后的第一模型参数确定为经过训练的第一模型的模型参数。
9.一种无第三方的逻辑回归联邦学习模型训练方法，其特征在于，应用于第二设备，针对每一样本对象，所述第二设备存储有该样本对象的部分样本数据，且所述第二设备存储有样本对象的样本标签，所述方法包括：
接收第一设备发送的公钥与所述第一设备计算得到...
【专利技术属性】
技术研发人员：赵迪，王湾湾，何浩，姚明，
申请(专利权)人：深圳市洞见智慧科技有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。