【技术实现步骤摘要】
本专利技术涉及一种隐私保护方法，具体地说是一种对fl高维稀疏top-k梯度向量进行联合扰动的ldp方法。
技术介绍
1、联邦学习(federated learning，fl)提供了一种分布式学习的框架，客户端和中心服务器可以协作训练深度模型。本地化差分隐私(local differential privacy，ldp)是具有严格理论证明的隐私保护方法，经常被用在fl中来保护原始数据的隐私。
2、单维度扰动的ldp是指对单个数据扰动的ldp扰动机制。经典的ldp机制如pappor、oue和rr等都是单维度扰动机制。其原理是被扰动的值以p的概率保持不变，以q的概率变成其他值，其中p/q≤eε。pirvkv是第一个使用ldp对kv值(key-value)进行扰动的方案，该方案使用rr机制对key值单独扰动，同时还利用了key和value之间的依赖关系，对value值扰动值时减少了隐私预算的消耗。pckv提出了填充采样协议(padding-and-samplingprotocol)，使用采样协议从原始数据中选择一个kv值并使用rr机制扰动。ldp与fl联合使用的研究也有很多。mahawaga等人提出ldpfl，对联邦模型最后一层中的每一个参数使用oue机制进行扰动。truex等人提出α-cldp-fed框架，使用满足cldp的指数机制em对联邦模型中某一层的参数进行扰动。
3、高维度扰动的ldp是指对高维数据扰动的ldp机制。一种简单的方法就是将上述的单维度扰动的ldp方法重复使用多次，这便产生了ldp中“维度诅
4、现有技术在联邦学习中还通过使用加密的方法来进一步保护隐私，加密算法本身的计算是非常复杂的，采用加密解密算法会给客户端和服务器带来很大的计算开销，同时，现有技术还通过fedavg方法对梯度进行聚合，这种聚合方法对扰动后的top-k梯度聚合时会产生较大的偏差，影响模型的准确性。
5、综上，在fl高维稀疏top-k梯度场景中，由于ldp的“维度诅咒”引起的模型效用性降低的问题仍没有得到有效的解决，现有技术没有对联邦学习进行隐私保护时，攻击者可以得到原始数据的隐私，或者在对联邦学习进行隐私保护时，准确率降低，即不能同时获得高水平的隐私性和高准确率的模型。模型的隐私性和准确性之间的平衡没有达到最优。
技术实现思路
1、本专利技术的目的是提供一种对fl高维稀疏top-k梯度向量进行联合扰动的ldp方法，以解决在高维参数场景下fl使用ldp加噪不能实现准确性和隐私性之间最优权衡的问题。
2、本专利技术是这样实现的：
3、一种对fl高维稀疏top-k梯度向量进行联合扰动的ldp方法，包括以下步骤：
4、s1.对α-cldp进行拓展，得到拓展后的α-cldp；
5、s2.在m个本地梯度中，选择任意k个梯度，并将所述任意k个梯度的索引值确定为参考索引向量基于参考索引向量拓展后的α-cldp和高维无序数据的bayesian攻击模型，确定攻击策略基于所述攻击策略确定隐私预算α；
6、s3.客户端在m个本地梯度中选取绝对值最大的k个梯度，将所述k个梯度的索引值确定为索引向量j；
7、s4.客户端基于隐私预算α和拓展后的α-cldp，对索引向量j进行扰动，得到扰动后的索引向量
8、s5.客户端根据扰动后的索引向量从m个本地梯度中选取梯度向量g，并根据所述梯度向量g的符号值，得到并基于索引向量j和扰动后的索引向量对进行处理，得到处理后的梯度向量客户端将所述索引向量和所述处理后的梯度向量发送至服务器；
9、s6.服务器基于索引向量中心极限定理和activeavg对处理后的梯度向量进行聚合。
10、进一步地，步骤s1中拓展后的α-cldp满足的条件为：
11、一个随机化算法ψ满足拓展后的α-cldp(α>0)，当且仅当对任意的向量x1和x2：
12、
13、其中，ψ代表随机化算法，range(ψ)代表算法ψ的所有可能的输出，α代表隐私预算，d(x1,x2)代表关于向量x1和x2的距离函数；
14、拓展后的α-cldp的变体em为：根据m个本地梯度的数量，确定top-k索引向量x，随机化算法ψ以以下概率选取一个top-k索引向量y作为输出：
15、
16、其中，b为x的输出域，y∈b，z表示输出域中任一向量，k为向量中元素的个数，d为向量之间的距离。
17、进一步地，步骤s2中攻击策略为：
18、
19、其中，js为攻击者能够推理出来的索引向量，d为客户端确定的向量之间的距离，j′d和jd均为与距离为d的任意等价类，pr[j′d]表示j′d的先验概率，pr[j′d]＝1/k，pr[jd]＝1/k，s为攻击者能够推理出来属于的梯度的维度的数量。
20、进一步地，步骤s4包括以下子步骤：
21、s4-1.根据α-cldp的变体em和索引向量j，利用随机化算法得到索引向量j′作为输出：
22、
23、其中，u为j的输出域，j′∈u，p为u的任一向量；
24、s4-2.从输出域u中选取扰动后的top-k索引向量集合ud的概率为：
25、
26、其中，ud中每个向量与索引向量j有k-d个相同的元素；
27、s4-3.从集合ud中以概率选取一个向量作为扰动后的索引向量并输出。
28、进一步地，步骤s5中，基于索引向量j和扰动后的索引向量对处理的方法为：
29、当时，以0.5的概率取1或-1；当时，保持不变，其中，i为向量中元素所在的位置。
30、进一步地，步骤s本文档来自技高网...
【技术保护点】
1.一种对FL高维稀疏Top-k梯度向量进行联合扰动的LDP方法，其特征是，包括以下步骤：
2.根据权利要求1所述的对FL高维稀疏Top-k梯度向量进行联合扰动的LDP方法，其特征是，步骤S1中拓展后的α-CLDP满足的条件为：
3.根据权利要求2所述的对FL高维稀疏Top-k梯度向量进行联合扰动的LDP方法，其特征是，步骤S2中攻击策略为：
4.根据权利要求2所述的对FL高维稀疏Top-k梯度向量进行联合扰动的LDP方法，其特征是，步骤S4包括以下子步骤：
5.根据权利要求1所述的对FL高维稀疏Top-k梯度向量进行联合扰动的LDP方法，其特征是，步骤S5中，基于索引向量J和扰动后的索引向量对处理的方法为：
6.根据权利要求1所述的对FL高维稀疏Top-k梯度向量进行联合扰动的LDP方法，其特征是，步骤S6中聚合的方法为：
7.根据权利要求1所述的对FL高维稀疏Top-k梯度向量进行联合扰动的LDP方法，其特征是，服务器根据对模型参数进行更新：其中，wt为第t轮学习时模型的参数，wt+1为第t+1轮学习时模
...【技术特征摘要】
1.一种对fl高维稀疏top-k梯度向量进行联合扰动的ldp方法，其特征是，包括以下步骤：
2.根据权利要求1所述的对fl高维稀疏top-k梯度向量进行联合扰动的ldp方法，其特征是，步骤s1中拓展后的α-cldp满足的条件为：
3.根据权利要求2所述的对fl高维稀疏top-k梯度向量进行联合扰动的ldp方法，其特征是，步骤s2中攻击策略为：
4.根据权利要求2所述的对fl高维稀疏top-k梯度向量进行联合扰动的ldp方法，其特征是，步骤s4包括以下子步骤：
<...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。