一种基于隐私保护的分布式深度学习方法技术

本发明专利技术公开了一种基于隐私保护的分布式深度学习方法，首先，在该方法中各个用户利用私有数据集训练本地模型并获得本地梯度，然后，各个用户利用门限加密算法对用户本地梯度数据进行加密，最后，云服务器实现安全聚合和学习模型全局参数的更新进而完成保护隐私的分布式学习训练过程。本发明专利技术将门限加密算法应用在分布式深度学习模型中，提出了安全高效的深度学习训练方法，利用门限加密的同态特性实现了梯度数据在云服务器的安全聚合，基于门限加密算法的门限特性，即使服务器与一定数量用户勾结也无法推断用户训练数据的隐私，同时，基于门限加密算法的非交互特性，本发明专利技术可以容忍用户在训练过程中有意或无意的退出行为。

【技术实现步骤摘要】
一种基于隐私保护的分布式深度学习方法
本专利技术属于人工智能
，涉及一种基于隐私保护的分布式深度学习方法。
技术介绍
现有技术为实现保护隐私的分布式深度学习，通常与集中式深度学习相比较，分布式深度学习不需要用户上传原始数据到云服务器，而只需要在用户和云服务器之间交互梯度和全局参数就能完成的神经网络的模型训练，因此，其具有更高的效率和更强的安全性。然而，在模型的训练过程中，敌手仍然可以通过用户上传的梯度信息获取用户的私人信息。为了保护训练过程中用户梯度信息，现有的方法主要基于差分隐私、安全多方计算和同态加密技术。差分隐私(DifferentialPrivacy)是一种在保留统计学特征的前提下去除个体特征以保护用户隐私的密码技术。基于差分隐私的分布式深度学习主要是通过在交换的参数中加入噪声(拉普拉斯噪声或者高斯噪声)来隐藏真实梯度信息，从而保护用户的隐私。其缺点主要有两个方面，首先，差分隐私需要在安全性和精确度之间进行权衡(更高级别的隐私保护意味着更低的精确度)。其次，差分隐私具有串行组合的性质，多次添加噪音导致安全性的降低。本文档来自技高网...

【技术保护点】
1.一种基于隐私保护的分布式深度学习方法，其特征在于，该方法包括以下步骤：/n在用户利用本地数据在本地神经网络模型中进行训练并计算出各自的梯度值P

【技术特征摘要】
1.一种基于隐私保护的分布式深度学习方法，其特征在于，该方法包括以下步骤：
在用户利用本地数据在本地神经网络模型中进行训练并计算出各自的梯度值Pi后，将完成以下步骤：
步骤P0系统初始化：通过可信第三方初始化神经网络模型，生成参数及密钥对，包括生成(K,T)-门限加密算法中的K,T值和用于求和的用户数的值m(K＞m＞T)以及公钥PK与私钥SKi，并且初始化模型全局参数ωglobal和学习速率β，将K,T,m及公钥广播给所有用户和云服务器；
步骤P1梯度加密：随机选择K个用户，并通过安全通道将K个私钥分别发送给K个用户，收到私钥的用户通过(K,T)门限加密算法利用公钥对本地梯度Pi进行加密并获得梯度密文ci，并将梯度密文ci上传给所述云服务器；
步骤P2安全聚合：所述云服务器在收到m个梯度密文ci之后，将密文相乘以此获得密文下m个梯度的和值密文Cplus，并将结果Cplus发送给拥有私钥的K个用户；
步骤P3解密：用户在收到梯度和值Cplus后，将利用私钥对Cplus加密并获得然后将发送给服务器，当所述服务器收到T个后，将这T个进行合并，此处i＝1,2,...,T，并求得m个梯度的和值明文Gm；
步骤P4模型更新：所述云服务器在获取m个梯度的和值明文Gm后，计算出梯度平均值将利用步长参数α及公式求得最新的ωglobal参数并发送给所有用户，用户收到参数后利用最新的ωglobal参数更新神经网络模型...

【专利技术属性】
技术研发人员：李洪伟，李毅然，刘鹏飞，黄晓明，刘洋洋，徐国文，郝猛，姜文博，龚丽，刘小源，陈涵霄，李双，任彦之，杨浩淼，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51