一种保护隐私的多方联合训练方法及装置制造方法及图纸

本说明书实施例提供了一种保护隐私的多方联合训练方法及装置。第二设备和多个第一设备分别拥有完整模型中的第二部分模型和多个第一部分模型。任意一个第一设备通过自身的第一部分模型确定样本的包含隐私数据的提取特征，并基于提取特征确定用于对第一部分模型更新的第一梯度分片。多个第一设备与第二设备之间，通过基于多方安全计算的数据交互，使得第二设备得到对多个提取特征聚合后的聚合特征；第二设备利用聚合特征确定第二部分模型的输出数据，基于输出数据和聚合特征确定用于对第一部分模型更新的第二梯度分片，并将其发送至多个第一设备；多个第一设备分别基于第二梯度分片和自身确定的第一梯度分片，对自身的第一部分模型进行更新。部分模型进行更新。部分模型进行更新。

【技术实现步骤摘要】
一种保护隐私的多方联合训练方法及装置


[0001]本说明书一个或多个实施例涉及计算机
，尤其涉及一种保护隐私的多方联合训练方法及装置。

技术介绍

[0002]随着人工智能技术的发展，神经网络已逐渐应用于风险评估、语音识别、人脸识别和自然语言处理等领域。不同应用场景下的神经网络结构已经相对固定，为了实现更好的模型性能，需要更多的训练数据。在医疗、金融等领域，不同的企业或机构拥有不同的数据样本，将这些样本数据进行联合训练，将极大地提升模型精度。因此，多方联合训练模型成为近年来的研究热点。在多方联合训练模型的过程中，多个参与方的设备通过相互间的数据传输，完成联合训练。在迭代训练过程中，设备之间需要进行大量的数据传输。同时，参与方之间在传输数据时还应考虑数据的隐私保护。
[0003]因此，希望能有改进的方案，在多方联合训练模型的过程中，能够尽可能保护数据隐私，并且提高设备之间的整体处理效率。

技术实现思路

[0004]本说明书一个或多个实施例描述了一种保护隐私的多方联合训练方法及装置，以尽可能保护数据隐私，并且提高设备之间的整体处理效率。具体的技术方案如下。
[0005]第一方面，实施例提供了一种保护隐私的多方联合训练方法，其中，第二设备和多个第一设备分别拥有业务预测模型中的第二部分模型和多个第一部分模型，所述方法包括：
[0006]任意一个第一设备，通过自身的第一部分模型确定自身拥有的样本的提取特征，并基于所述提取特征确定用于对所述第一部分模型进行更新的第一梯度分片；
[0007]多个第一设备与所述第二设备之间，通过基于多方安全计算的数据交互，使得所述第二设备得到对多个提取特征聚合后的聚合特征；
[0008]所述第二设备，利用所述聚合特征确定所述第二部分模型的输出数据，基于所述输出数据和所述聚合特征确定用于对多个第一部分模型进行更新的第二梯度分片，并将其发送至多个第一设备；
[0009]多个第一设备，分别接收所述第二设备发送的第二梯度分片，基于所述第二梯度分片和自身确定的第一梯度分片，对自身的第一部分模型进行更新。
[0010]在一种实施方式中，多个第一设备与所述第二设备之间，通过基于秘密分享算法的数据交互，使得所述第二设备得到对多个提取特征聚合后的聚合特征。
[0011]在一种实施方式中，任意一个第一设备，基于秘密分享算法将其自身的提取特征拆分成多个特征分片，并将多个特征分片分别发送至其他第一设备，接收所述其他第一设备发送的特征分片；利用自身的特征分片和所述其他第一设备的特征分片确定自身的密态特征，并将其发送至所述第二设备；
[0012]所述第二设备，接收多个第一设备分别发送的密态特征，并基于多个密态特征确定所述聚合特征。
[0013]在一种实施方式中，所述基于多个密态特征确定所述聚合特征的步骤，包括，将多个密态特征的和值或均值确定为所述聚合特征。
[0014]在一种实施方式中，所述输出数据为标签预测值；所述第二设备，在基于所述输出数据和所述聚合特征确定用于对多个第一部分模型进行更新的第二梯度分片时，包括：
[0015]基于所述输出数据确定样本的预测损失；
[0016]利用所述预测损失和所述聚合特征确定所述第二梯度分片。
[0017]在一种实施方式中，所述业务预测模型还包括第三部分模型，并配置在第三设备中；所述方法还包括：
[0018]所述第二设备，将所述输出数据发送至所述第三设备，并基于所述输出数据和所述第二部分模型确定用于对所述第二部分模型进行更新的第三梯度分片；
[0019]所述第三设备，利用所述输出数据和所述第三部分模型确定样本的标签预测值，利用所述标签预测值确定样本的预测损失，并基于所述预测损失和所述输出数据确定用于对所述第一部分模型和第二部分模型进行更新的第四梯度分片，并将其发送至所述第二设备；
[0020]所述第二设备，接收所述第三设备发送的第四梯度分片，利用所述第四梯度分片和所述第三梯度分片对所述第二部分模型进行更新；利用所述输出数据和所述聚合特征确定第五梯度分片，基于所述第五梯度分片确定所述第二梯度分片。
[0021]在一种实施方式中，所述基于所述第五梯度分片确定所述第二梯度分片的步骤，包括：
[0022]利用所述第四梯度分片和所述第五梯度分片的乘积，确定所述第二梯度分片。
[0023]在一种实施方式中，所述第三设备，还将所述第四梯度分片发送至所述第一设备；
[0024]所述第二设备，直接将所述第五梯度分片确定为所述第二梯度分片；
[0025]所述第一设备，还接收所述第三设备发送的第四梯度分片，基于所述第四梯度分片、所述第二梯度分片和自身确定的第一梯度分片，对自身的第一部分模型进行更新。
[0026]在一种实施方式中，所述基于所述提取特征确定用于对所述第一部分模型进行更新的第一梯度分片的步骤，包括：
[0027]在接收所述第二设备发送的第二梯度分片之前，基于所述提取特征确定用于对所述第一部分模型进行更新的第一梯度分片。
[0028]在一种实施方式中，所述基于所述提取特征确定用于对所述第一部分模型进行更新的第一梯度分片的步骤，包括：
[0029]基于所述提取特征对所述第一部分模型的偏导数，确定所述第一梯度分片。
[0030]在一种实施方式中，所述基于所述第二梯度分片和自身确定的第一梯度分片，对自身的第一部分模型进行更新的步骤，包括：
[0031]基于所述第二梯度分片与自身确定的第一梯度分片的乘积，确定针对自身的第一部分模型的第一梯度；
[0032]利用所述第一梯度，对所述第一部分模型进行更新。
[0033]第二方面，实施例提供了一种保护隐私的多方联合训练方法，其中，第二设备和多
个第一设备分别拥有业务预测模型中的第二部分模型和多个第一部分模型，所述方法通过任意一个第一设备执行，包括：
[0034]通过自身的第一部分模型确定自身拥有的样本的提取特征；
[0035]基于所述提取特征确定用于对所述第一部分模型进行更新的第一梯度分片；
[0036]通过与其他第一设备和所述第二设备之间基于多方安全计算的数据交互，使得所述第二设备得到对多个提取特征聚合后的聚合特征，并使得所述第二设备基于输出数据和所述聚合特征确定用于对多个第一部分模型进行更新的第二梯度分片，并将其发送至所述第一设备；其中，所述输出数据基于所述聚合特征和所述第二部分模型确定；
[0037]接收所述第二设备发送的第二梯度分片；
[0038]基于所述第二梯度分片和所述第一梯度分片，对所述第一部分模型进行更新。
[0039]第三方面，实施例提供了一种保护隐私的多方联合训练方法，其中，第二设备和多个第一设备分别拥有业务预测模型中的第二部分模型和多个第一部分模型，所述方法通过所述第二设备执行，包括：
[0040]通过与多个第一设备之间基于多方安全计算的数据交互，得到对多个第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种保护隐私的多方联合训练方法，其中，第二设备和多个第一设备分别拥有业务预测模型中的第二部分模型和多个第一部分模型，所述方法包括：任意一个第一设备，通过自身的第一部分模型确定自身拥有的样本的提取特征，并基于所述提取特征确定用于对所述第一部分模型进行更新的第一梯度分片；多个第一设备与所述第二设备之间，通过基于多方安全计算的数据交互，使得所述第二设备得到对多个提取特征聚合后的聚合特征；所述第二设备，利用所述聚合特征确定所述第二部分模型的输出数据，基于所述输出数据和所述聚合特征确定用于对多个第一部分模型进行更新的第二梯度分片，并将其发送至多个第一设备；多个第一设备，分别接收所述第二设备发送的第二梯度分片，基于所述第二梯度分片和自身确定的第一梯度分片，对自身的第一部分模型进行更新。2.根据权利要求1所述的方法，其中，多个第一设备与所述第二设备之间，通过基于秘密分享算法的数据交互，使得所述第二设备得到对多个提取特征聚合后的聚合特征。3.根据权利要求2所述的方法，其中，任意一个第一设备，基于秘密分享算法将其自身的提取特征拆分成多个特征分片，并将多个特征分片分别发送至其他第一设备，接收所述其他第一设备发送的特征分片；利用自身的特征分片和所述其他第一设备的特征分片确定自身的密态特征，并将其发送至所述第二设备；所述第二设备，接收多个第一设备分别发送的密态特征，并基于多个密态特征确定所述聚合特征。4.根据权利要求3所述的方法，所述基于多个密态特征确定所述聚合特征的步骤，包括，将多个密态特征的和值或均值确定为所述聚合特征。5.根据权利要求1所述的方法，其中，所述输出数据为标签预测值；所述第二设备，在基于所述输出数据和所述聚合特征确定用于对多个第一部分模型进行更新的第二梯度分片时，包括：基于所述输出数据确定样本的预测损失；利用所述预测损失和所述聚合特征确定所述第二梯度分片。6.根据权利要求1所述的方法，所述业务预测模型还包括第三部分模型，并配置在第三设备中；所述方法还包括：所述第二设备，将所述输出数据发送至所述第三设备，并基于所述输出数据和所述第二部分模型确定用于对所述第二部分模型进行更新的第三梯度分片；所述第三设备，利用所述输出数据和所述第三部分模型确定样本的标签预测值，利用所述标签预测值确定样本的预测损失，并基于所述预测损失和所述输出数据确定用于对所述第一部分模型和第二部分模型进行更新的第四梯度分片，并将其发送至所述第二设备；所述第二设备，接收所述第三设备发送的第四梯度分片，利用所述第四梯度分片和所述第三梯度分片对所述第二部分模型进行更新；利用所述输出数据和所述聚合特征确定第五梯度分片，基于所述第五梯度分片确定所述第二梯度分片。7.根据权利要求6所述的方法，所述基于所述第五梯度分片确定所述第二梯度分片的
步骤，包括：利用所述第四梯度分片和所述第五梯度分片的乘积，确定所述第二梯度分片。8.根据权利要求6所述的方法，其中，所述第三设备，还将所述第四梯度分片发送至所述第一设备；所述第二设备，直接将所述第五梯度分片确定为所述第二梯度分片；所述第一设备，还接收所述第三设备发送的第四梯度分片，基于所述第四梯度分片、所述第二梯度分片和自身确定的第一梯度分片，对自身的第一部分模型进行更新。9.根据权利要求1所述的方法，所述基于所述提取特征确定用于对所述第一部分模型进行更新的第一梯度分片的步骤，包括：在接收所述第二设备发送的第二梯度分片之前，基于所述提取特征确定用于对所述第一部分模型进行更新的第一梯度分片。10.根据权利要求1所述的方法，所述基于所述提取特征确定用于对所述第一部分模型进行更新的第一梯度分片的步骤，包括：基于所述提取特征对所述第一部分模型的偏导数，确定所述第一梯度分片。11.根据权利要求1所述的方法，所述基于所述第二梯度分片和自身确定的第一梯度分片，对自身的第一部分模型进行更新的步骤，包括：基于所述第二梯度分片与自身确定的第一梯度分片的乘积，确定针对自身的第一部分模型的第一梯度；利用所述第一梯度，对所述第一部分模型进行更新。12.一种保护隐私的多方联合训练方法，其中，第二设备和多个第一设备分别拥有业务预测模型中的第二部分模型和多个第一部分模型，所述方法通过任意一个第一设备执行，包括：通过自身的第一部分模型确定自身拥有的样本的提取特征；基于所述提取特征确定用于对所述第一部分模型进行更...

【专利技术属性】
技术研发人员：郑龙飞，王力，张本宇，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：