一种面向联邦学习的隐私保护方法技术

本发明专利技术公开了一种面向联邦学习的隐私保护方法，属于人工智能领域，涉及联邦学习在人工智能领域中的隐私保护与通信效率的提升

【技术实现步骤摘要】
一种面向联邦学习的隐私保护方法


[0001]本专利技术涉及一种面向联邦学习的隐私保护方法，属于人工智能领域，涉及联邦学习在人工智能领域中的隐私保护与通信效率的提升
。

技术介绍

[0002]近年来，人工智能已经应用于国民生产的各个领域
。
在此基础上，作为人工智能研究的重要分支，深度学习也已被广泛用于支持大量数据驱动的具体应用，如面部识别
、
自动驾驶和智能电网系统等
。
一般在应用深度学习于具体的研究领域中，应用程序通常需要从各种物联网边缘设备收集大量数据，以此来训练高质量的学习模型
。
然而，传统的集中式深度学习模型要求本地边缘设备将其私有数据上传到中央云服务器，这在无形中可能会造成严重的隐私威胁
。
当然，这些隐私威胁可以通过在多个边缘设备之间分发本地训练模型来缓解，基于此联邦学习应用而生
。
联邦学习允许边缘设备在其单独收集的数据上协作地训练深度学习模型，而不将其私有敏感数据泄露给集中服务器
。
通常，联邦学习的步骤主要包括三个部分，第一，所有参与联邦学习的用户从云服务端下载全局模型和学习参数；第二，参与联邦学习的用户使用分布式随机梯度下降方法，基于本地数据集训练本地学习模型；第三，所有参与联邦学习的用户将其训练好的模型以及学习参数上传至服务器，然后由服务器对参与联邦学习的模型及参数进行聚合，进而生成新的全局模型，依次执行上述三个步骤，直到达到期望的收敛水平，结束联邦学习过程
。r/>[0003]然而，尽管联邦学习可以保护本地数据不出本地，避免隐私泄露
。
但在联邦学习的过程中，参与联邦学习的用户需要上传学习的本地模型以及学习参数，同时云服务器以及参与联邦学习的用户，在发送全局模型以及相关学习参数的过程中也会带来大量的通信开销
。
具体来说，参与联邦学习的每个用户必须在每次迭代模型的过程中，传送本地模型的更新梯度，这通常与完全训练的模型大小相同，其中会包括深度学习中各网络的学习参数等
。
而当训练周期规模较大，涉及到的通信开销也会呈现指数级增长，这就给联邦学习的效率带来了极大瓶颈
。
除此之外，联邦学习也会面临其他隐私安全问题
。
如，在共享用户本地模型及相关学习参数的过程中，恶意用户可以通过各种攻击方法从通信过程中，访问用户的模型数据信息
。
同时，在不同的应用背景下，也会产生相关的攻击，如，恶意攻击者攻击穿戴设备中用户的健康数据信息，更有甚者对其进行篡改或者泄露，这将会造成无法估量的生命损失
。
因此，针对联邦学习中的隐私保护已经成为迫在眉睫的研究问题，也是我们在具体应用研究和方法设计中应该考虑的重要因素
。
[0004]针对上述联邦学习在人工智能应用领域中存在的通信消耗，以及模型梯度在学习的过程中面临的安全问题，本专利技术提出一种面向联邦学习的隐私保护方法，通过在联邦学习中引入同态加密和差分隐私来避免模型中的梯度信息被泄露
。
同时，借助稀疏压缩算法对通信中传输的联邦学习模型梯度参数进行处理，进而减少联邦学习的通信开销
。
[0005]上述这种面向联邦学习的隐私保护方法的主要机制在于：在降低联邦学习的通信开销方面，通过借助稀疏压缩算法对联邦学习过程中模型的梯度参数进行压缩传输，减少
联邦学习中的通信消耗；依托同态加密以及差分隐私安全机制，对联邦学习中的模型梯度参数进行操作，确保通信传输中各客户端的梯度信息不被三方所窃取，保证客户端所拥有数据的隐私性
。
通过将稀疏压缩算法
、
同态加密以及差分隐私运用于联邦学习过程中，不仅可以减少通信开销，而且可以保证传输过程中梯度信息的安全性
。

技术实现思路

[0006]本专利技术的主要内容是一种面向联邦学习的隐私保护方法，主要包括联邦学习过程中模型设计，优化参数设计，同态加密算法的选取，差分隐私中噪声的选取，以及为了降低通信开销，稀疏压缩算法的选取和云服务器如何对客户端提交的模型梯度进行聚合
。
[0007]本专利技术采用的技术方案为适用于联邦学习的隐私保护方法，该方法的实现步骤如下：
[0008]步骤
S1:
模型设计；
[0009]步骤
S2
：优化参数设计；
[0010]步骤
S3
：同态加密算法选取；
[0011]步骤
S4
：差分隐私噪声选取；
[0012]步骤
S5
：稀疏压缩算法选取；
[0013]步骤
S6
：梯度聚合；
[0014]上述技术方案中，在步骤
S1
中，模型设计主要针对参与联邦学习的客户端以及云服务器
。
为了保护参与联邦学习的客户端中数据的安全性并减少联邦学习的通信开销，并避免客户端进行合谋攻击
。
在整体的模型中，假设所有参与联邦学习的客户端具有共同的目标以及参数设计来学习同样的任务
。
也就是说，在学习过程中，客户端通过自己所持有的数据集训练本地梯度，并对该梯度进行加密，然后将加密后的本地梯度上传至云服务器
。
云服务器通过加密的本地梯度计算全局梯度，并对该全局梯度进行加密，然后广播至参与联邦学习的其他客户端
。
基于此，客户端再进行局部模型训练，直至收敛，结束联邦学习
。
[0015]上述技术方案中，在步骤
S2
中，优化参数主要围绕步骤
S1
中的模型进行设计
。
所专利技术方法主要采用数据压缩技术来减少通信开销，并结合加法同态加密以及差分隐私来避免客户端的数据被泄露
。
主要目标就是通过最小化深度神经网络中的损失函数
l
获得参数向量
ν
，即
[0016][0017]其中，
l(x,y)
代表损失函数，
f
U
代表客户端
U
通过隐私数据集
D
i
计算本地梯度所使用的梯度函数
。
为了更好地保证客户端所持用数据的隐私性，使用差分隐私和加法同态加密对本地梯度进行加密，实现更高的精度
。
[0018]上述技术方案中，在步骤
S3
中，同态加密算法的选取主要为加法同态加密
。
加法同态加密是指针对明文进行加法算术操作与针对加密后的密文执行同样的加法操作，对密文进行解密其结果与明文一致
。
当然，可以对多条密文执行加法同态加密，进而对密文进行解密获得明文
。
基于此特性，客户端也可以对自己的本地数据进行加密，然后将其发送至云服务器，而不泄露隐私信息
。
针对明文本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种面向联邦学习的隐私保护方法，其特征在于，该方法的实现步骤如下：步骤
S1:
模型设计；步骤
S2
：优化参数设计；步骤
S3
：同态加密算法选取；步骤
S4
：差分隐私噪声选取；步骤
S5
：稀疏压缩算法选取；步骤
S6
：梯度聚合
。2.
根据权利要求1中所述的一种面向联邦学习的隐私保护方法，其特征在于，在步骤
S1
中，模型设计主要针对参与联邦学习的客户端以及云服务器
。
为了保护参与联邦学习的客户端中数据的安全性并减少联邦学习的通信开销，并避免客户端进行合谋攻击
。
在整体的模型中，假设所有参与联邦学习的客户端具有共同的目标以及参数设计来学习同样的任务
。
也就是说，在学习过程中，客户端通过自己所持有的数据集训练本地梯度，并对该梯度进行加密，然后将加密后的本地梯度上传至云服务器
。
云服务器通过加密的本地梯度计算全局梯度，并对该全局梯度进行加密，然后广播至参与联邦学习的其他客户端
。
基于此，客户端再进行局部模型训练，直至收敛，结束联邦学习
。3.
根据权利要求1中所述的一种面向联邦学习的隐私保护方法，其特征在于，在步骤
S2
中，优化参数主要围绕步骤
S1
中的模型进行设计
。
所发明方法主要采用数据压缩技术来减少通信开销，并结合加法同态加密以及差分隐私来避免客户端的数据被泄露
。
主要目标就是通过最小化深度神经网络中的损失函数
l
获得参数向量
ν
，即其中，
l(x,y)
代表损失函数，
f
U
代表客户端
U
通过隐私数据集
D
i
计算本地梯度所使用的梯度函数
。
为了更好地保证客户端所持用数据的隐私性，使用差分隐私和加法同态加密对本地梯度进行加密，实现更高的精度
。4.
根据权利要求1中所述的一种面向联邦学习的隐私保护方法，其特征在于，在步骤
S3
中，同态加密算法的选取主要为加法同态加密
。
加法同态加密是指针对明文进行加法算术操作与针对加密后的密文执行同样的加法操作，对密文进行解密其结果与明文一致
。
当然，可以对多条密文执行加法同态加密，进而对密文进行解密获得明文
。
基于此特性，客户端也可以对自己的本地数据进行加密，然后将其发送至云服务器，而不泄露隐私信息
。
针对明文
ξ1，
ξ2，有以下操作，，有以下操作，其中，
E
δ
指加密的秘密文本，
τ1与
τ2指明文
ξ1与
ξ2对应的密文，
α
是针对密文操作的一个常量
。5.
根据权利要求1中所述的一种面向联邦学习的隐私保护方法，其特征在于，在步骤
S4
中，差分隐私噪声选取主要以拉普拉斯噪声为主
。
差分隐私可以在改变单独一个元组时，保持数据的整体统计信息不变
。
如任意的算法
Λ
满足
ε
差分隐私，即满足如下定义：
其中，
P
表示隐私，
D
和代表任意两个相邻的数据集，且其中只有一个不同的元素，
T
代表元组信息，
ε
指隐私参数，通常取值为
[0,1]。
在差分隐私中，选择拉普拉斯噪声作为数据集的噪声机制，对于任何梯度函数
f
U
，其满足
ε
差分隐私的条件如下：其中，由满足的拉普拉斯分布生成
。f
U
为每个客户端在每次迭代中使用的梯度函数
。6.
根据权利要求1中所述的一种面向联邦学习的隐私保护方法，其特征在于，在步骤
S5
中，对稀疏压缩算法做了具体更新
。
在稀疏压缩算法中，通过引入时间稀疏性至分布式随机梯度以减少通信消耗
。
稀疏压缩算法允许每个客户端在随机梯度下降算法多次运用本地数据集对模型进行更新
。
具体如下：
Δν
＝
SGD
n
(v,G
U
)
‑
v
其中，
SGD
n
(v,G
U
)
指客户端在参数
v
下，对本地数据
G
U
进行小批量采样期间执行
n
轮次随机梯度下降后的梯度更新集合
。
具体在稀疏压缩算法的实现上，通过对每个客户端的梯度比例进行设置，从而对全局梯度进行更新
。
通过将最大梯度和最小梯度的比例设置为
q
，其值为
0。
然后，分别计算所有剩余负梯度更新和正梯度更新的平均值
Ψ
。
如果负梯度
Ψ
‑
的绝对值小于正梯度，则所有的正梯度设置为正均值
Ψ
+
，将所有负值设置为零
。
否则，如果负梯度
Ψ
‑
的绝对值大于正梯度，将所有正梯度设置为零，所有负梯度设置为负平均值
Ψ
‑
。
为了在参数向量
v
中找到最大梯度和最小梯度的比例值
q
，稀疏压缩算法中要求
θ
(|v
n
|)
次操作，其中
v
n
指参数向量
v
中总体的参数个数
。
具体算法步骤如下：步骤
S501
：初始化时间向量
Δν
，稀疏比例
q
；步...

【专利技术属性】
技术研发人员：张晓琴，
申请(专利权)人：张晓琴，
类型：发明
国别省市：