基于隐私保护的神经网络模型训练方法、装置及系统制造方法及图纸

本说明书实施例提供基于隐私保护的神经网络模型训练方法、装置及系统。每个第一成员设备具有本地数据并且部署至少一个客户端模型，第二成员设备部署至少一个服务端模型，至少一个客户端模型和至少一个服务端模型按照模型间隔方式组成神经网络模型。在每次循环时，各个第一成员设备和第二成员设备使用第一成员设备的本地数据执行模型预测计算。对于每个客户端模型，各个第一成员设备使用本地数据或者在前服务端模型的模型计算结果进行多方安全计算。对于每个服务端模型，第二成员设备使用在前客户端模型的模型计算结果执行本地计算。基于模型预测值确定预测差值，并且在各个成员设备处通过反向传播方式来使用加噪声的梯度下降法进行模型更新。

【技术实现步骤摘要】
基于隐私保护的神经网络模型训练方法、装置及系统
本说明书的实施例通常涉及人工智能领域，更具体地，涉及基于隐私保护的神经网络模型训练方法、装置及系统。
技术介绍
对于公司或企业而言，数据是非常重要的资产，比如，用户数据和业务数据。用户数据例如可以包括用户身份数据等。业务数据例如可以包括在公司提供的业务应用上发生的业务数据，比如，淘宝上的商品交易数据等。保护数据安全是公司或企业广泛关注的技术问题。在公司或企业进行业务运营时，通常会需要使用机器学习模型来进行模型预测，以确定业务运营风险或者进行业务运营决策。神经网络模型是机器学习领域广泛使用的机器学习模型。在很多情况下，神经网络模型需要多个模型训练参与方来协同进行模型训练，多个模型训练参与方（例如，电子商务公司、快递公司和银行）各自拥有训练神经网络模型所使用的训练数据中的部分数据。该多个模型训练参与方希望共同使用彼此的数据来统一训练神经网络模型，但又不想把各自的隐私数据提供给其它各个模型训练参与方以防止自己的隐私数据泄露。面对这种情况，提出了能够保护隐私数据安全的神经网络模型训练方法，本文档来自技高网...

【技术保护点】
1.一种基于隐私保护的神经网络模型训练方法，其中，所述神经网络模型经由第二成员设备和多个第一成员设备协同训练，每个第一成员设备具有本地数据并且部署有至少一个客户端模型，所述第二成员设备部署有至少一个服务端模型，所述至少一个客户端模型和所述至少一个服务端模型按照客户端模型与服务端模型间隔的方式组成所述神经网络模型，所述方法包括：/n执行下述循环过程，直到满足循环结束条件：/n经由所述多个第一成员设备和所述第二成员设备，使用各个第一成员设备的本地数据执行模型预测计算得到所述当前神经网络模型的当前模型预测值，其中，对于每个客户端模型，经由各个第一成员设备使用该客户端模型的各自当前模型参数以及本地数据...

【技术特征摘要】
1.一种基于隐私保护的神经网络模型训练方法，其中，所述神经网络模型经由第二成员设备和多个第一成员设备协同训练，每个第一成员设备具有本地数据并且部署有至少一个客户端模型，所述第二成员设备部署有至少一个服务端模型，所述至少一个客户端模型和所述至少一个服务端模型按照客户端模型与服务端模型间隔的方式组成所述神经网络模型，所述方法包括：
执行下述循环过程，直到满足循环结束条件：
经由所述多个第一成员设备和所述第二成员设备，使用各个第一成员设备的本地数据执行模型预测计算得到所述当前神经网络模型的当前模型预测值，其中，对于每个客户端模型，经由各个第一成员设备使用该客户端模型的各自当前模型参数以及本地数据或者在前服务端模型的当前模型计算结果进行多方安全计算，得到该客户端模型的当前模型计算结果，以及对于每个服务端模型，经由所述第二成员设备使用在前客户端模型的当前模型计算结果和该服务端模型的当前模型参数执行本地计算，得到该服务端模型的当前模型计算结果；
在具有标签数据的第一成员设备或者所述第二成员设备处，基于所述当前模型预测值和标签数据，确定当前预测差值；以及
在各个成员设备处，通过反向传播方式来进行当前模型更新，其中，各个客户端模型的至少部分模型结构的模型参数使用加噪声的梯度下降法进行模型参数更新，
其中，在未满足所述循环结束条件时，各个客户端模型和服务端模型的更新后的模型参数充当下一循环过程的各个客户端模型和服务端模型的当前模型参数。


2.如权利要求1所述的神经网络模型训练方法，其中，所述加噪声的梯度下降法包括贝叶斯学习法。


3.如权利要求1或2所述的神经网络模型训练方法，其中，各个客户端模型的剩余模型结构的模型参数使用加噪声的梯度下降法进行模型参数更新，和/或各个服务端模型的部分或者所有模型结构的模型参数使用加噪声的梯度下降法进行模型参数更新。


4.如权利要求1到3中任一所述的神经网络模型训练方法，其中，所述服务端模型中的神经网络模型分层结构的模型计算与数据隐私保护无关。


5.如权利要求1或2所述的神经网络模型训练方法，其中，使用加噪声的梯度下降法进行模型参数更新的客户端模型结构所包括的隐层的总层数根据用于模型训练的算力、应用场景所要求的训练时效性和/或训练安全等级确定。


6.如权利要求1或2所述的神经网络模型训练方法，其中，所述神经网络模型包括N个隐层，所述至少一个客户端模型包括单个客户端模型，所述至少一个服务端模型包括单个服务端模型，所述单个客户端模型包括输入层以及第一隐层到第K隐层，以及所述单个服务端模型包括输出层以及第K+1隐层到第N隐层。


7.如权利要求1或2所述的神经网络模型训练方法，其中，所述神经网络模型包括N个隐层，所述至少一个客户端模型包括第一客户端模型和第二客户端模型，所述至少一个服务端模型包括单个服务端模型，所述第一客户端模型包括输入层以及第一隐层到第K隐层，所述单个服务端模型包括第K+1隐层到第L隐层，以及所述第二客户端模型包括输出层以及第L+1隐层到第N隐层。


8.如权利要求1或2所述的神经网络模型训练方法，其中，所述神经网络模型包括N个隐层，所述至少一个客户端模型包括第一客户端模型和第二客户端模型，所述至少一个服务端模型包括单个服务端模型，所述第一客户端模型包括输入层以及第一隐层到第K隐层，所述单个服务端模型包括第K+1隐层到第N隐层，以及所述第二客户端模型包括输出层。


9.如权利要求1到8中任一所述的神经网络模型训练方法，其中，所述循环结束条件包括：
循环次数达到预定次数；或者
当前预测差值在预定差值范围内。


10.如权利要求1到9中任一...

【专利技术属性】
技术研发人员：陈超超，郑龙飞，周俊，王力，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33