一种模型训练过程中的隐私保护方法、系统及相关设备技术方案

本发明专利技术实施例提供了一种模型训练过程中的隐私保护方法、系统及相关设备，用于实现模型训练过程中的隐私保护。本发明专利技术实施例方法包括：接收服务端发送的目标模型，并接收服务端发送的选择指令，选择指令用于指示随机选中的部分客户端；被选中的客户端以概率P参与目标模型训练，未被选中的客户端以概率(1‑P)参与目标模型训练；所有确定参与目标模型训练的客户端作为目标客户端，分别采用本地数据对目标模型进行训练，并计算每个训练之后的目标模型的模型参数更新值；按照预设差分隐私算法对每组模型参数更新值进行处理生成更新数据，并将更新数据返回给服务端，以使得服务端根据所有的更新数据生成本轮训练的全局模型。

【技术实现步骤摘要】
一种模型训练过程中的隐私保护方法、系统及相关设备
本专利技术涉及模型训练过程中的隐私保护
，尤其涉及一种模型训练过程中的隐私保护方法、系统及相关设备。
技术介绍
机器学习的发展和应用以大数据的收集和分析为基础，往往需要对多数据源的数据进行融合分析。在这种融合分析场景下，每个参与方的私有数据中都包含大量的隐私信息，简单的将这些数据进行集中化收集和分析会导致隐私泄露。谷歌(Google)团队提出的联邦学习机制实现隐私保护联合建模，其在每一轮训练过程中，服务端选择部分客户端参与训练，并将全局模型下发，每个客户端利用本地存储的数据来训练模型，并返回模型模型参数更新值，服务端根据这些返回值生成一个最终的全局模型。然而这种联邦学习机制依赖于一个可信的服务器，否则客户端返回给服务器的原始数据值会暴露给恶意服务端。其次，客户端返回值在传输过程中也容易遭受拦截，导致隐私泄露。
技术实现思路
本专利技术实施例提供了一种模型训练过程中的隐私保护方法、系统及相关设备，用于实现模型训练过程中的隐私保护。>本专利技术实施例第本文档来自技高网...

【技术保护点】
1.一种模型训练过程中的隐私保护方法，其特征在于，包括：/n接收服务端发送的目标模型，并接收所述服务端发送的选择指令，所述选择指令用于指示随机选中的部分客户端；/n被选中的客户端以概率P参与所述目标模型训练，未被选中的客户端以概率(1-P)参与所述目标模型训练；/n所有确定参与所述目标模型训练的客户端作为目标客户端，分别采用本地数据对所述目标模型进行训练，并计算每个训练之后的目标模型的模型参数更新值；/n按照预设差分隐私算法对每组模型参数更新值进行处理生成更新数据，并将所述更新数据返回给服务端，以使得所述服务端根据所有的所述更新数据生成本轮训练的全局模型。/n

【技术特征摘要】
1.一种模型训练过程中的隐私保护方法，其特征在于，包括：
接收服务端发送的目标模型，并接收所述服务端发送的选择指令，所述选择指令用于指示随机选中的部分客户端；
被选中的客户端以概率P参与所述目标模型训练，未被选中的客户端以概率(1-P)参与所述目标模型训练；
所有确定参与所述目标模型训练的客户端作为目标客户端，分别采用本地数据对所述目标模型进行训练，并计算每个训练之后的目标模型的模型参数更新值；
按照预设差分隐私算法对每组模型参数更新值进行处理生成更新数据，并将所述更新数据返回给服务端，以使得所述服务端根据所有的所述更新数据生成本轮训练的全局模型。


2.根据权利要求1所述的方法，其特征在于，还包括：
获取隐私预算参数ε，根据公式P＝(eε)/(1+eε)计算概率P。


3.根据权利要求1或2所述的方法，其特征在于，所述按照预设差分隐私算法对每组模型参数更新值进行处理生成更新数据，包括：
采用高斯噪声机制生成每组模型参数更新值的高斯噪声，将每组模型参数更新值的高斯噪声与对应的模型参数更新值进行叠加处理生成更新数据。


4.根据权利要求3所述的方法，其特征在于，所述采用高斯噪声机制生成每组模型参数更新值的高斯噪声，包括：
在目标客户端每一回合的训练后，计算出模型参数更新值对应矩阵的二范数，并计算N个回合的二范数的平均值S；
随机生成方差为σ2S2的高斯噪声。


5.根据权利要求4所述的方法，其特征在于，还包括：
采用批量梯度下降法对目标模型进行训练，并设置高斯噪声的...

【专利技术属性】
技术研发人员：刘洋，李泽睿，张伟哲，徐睿峰，王轩，蒋琳，廖清，
申请(专利权)人：哈尔滨工业大学深圳，
类型：发明
国别省市：广东;44