一种采样聚合框架下的梯度泄露攻击方法技术

本发明专利技术公开了一种采样聚合框架下的梯度泄露攻击方法，实现步骤为：初始化联邦学习系统；联邦服务器判断客户端A

【技术实现步骤摘要】
一种采样聚合框架下的梯度泄露攻击方法


[0001]本专利技术属于机器学习中联邦学习
，涉及一种梯度泄露攻击方法，具体涉及一种采样聚合框架下的梯度泄露攻击方法，可用于获取客户端本地数据。

技术介绍

[0002]作为一种分布式机器学习框架，联邦学习可以在不共享数据的情况下实现联合建模。具体来说，联邦服务器首先初始化模型并将其发送给各客户端，各客户端利用本地数据作为模型输入训练得到模型梯度发送回联邦服务器，最终联邦服务器聚合梯度并更新模型。不断循环得到更精准的全局模型。现实中，联邦学习经常被部署在网络性能有限的设备上，于是针对梯度进行采样的联邦学习应运而生，即采样聚合框架。然而，梯度泄露攻击表明传统的联邦学习框架下的明文梯度会泄露客户端本地数据，于是安全聚合被引入到联邦学习框架中保护梯度数据，即客户端向联邦服务器发送梯度之前对梯度值进行加密。
[0003]Zhu,Ligeng等2019年在“Advances in Neural Information Processing Systems”期刊上发表的论文文献“Deep Leakage from Gradients”中公布了一种从公开共享的梯度中获取本地数据的梯度泄露攻击方法。该方法不依赖任何生成模型或任何数据的额外先验知识，可以通过公开共享的梯度对模型的输入和损失函数的输入进行更新，从而还原本地数据。梯度泄露攻击的核心思想在于通过优化随机数据使数据得到的模型梯度匹配客户端真实梯度，不断迭代以接近客户端本地数据。
[0004]然而，上述梯度泄露攻击方法仅能从公开共享的梯度中获取客户端本地数据，安全聚合算法的引入导致无法获取明文梯度，实现梯度泄露攻击。

技术实现思路

[0005]本专利技术的目的是克服上述现有技术中的不足，提出了一种采样聚合框架下的梯度泄露攻击方法，既能从客户端上传的明文梯度中攻击出客户端真实图像数据，也能从客户端上传的密文梯度中攻击出客户端真实图像数据，从而拓宽梯度泄露攻击的攻击范围。
[0006]为了实现上述目的，本专利技术采取的技术方案包括如下步骤：
[0007](1)初始化联邦学习系统：
[0008]初始化包括联邦服务器S和N个客户端A＝{A1,A2,
…
,A
n
,
…
,A
N
}的联邦学习系统，联邦服务器S的全局卷积神经网络模型M0，联邦服务器S从客户端A中随机选择的客户端A
z
作为受害者，联邦服务器S与客户端A
z
的当前通信轮数为r，最大通信轮数为R，联邦服务器S与其余客户端通信轮数r＝1，其中A
n
表示第n个客户端， N≥2，M0的参数为ω＝<ω1,ω2,
…
,ω
m
,
…
,ω
M
>，M表示M0的参数量，M≥2，ω
m
表示M0的第m个参数，A
z
∈A，R≥2；
[0009](2)联邦服务器判断客户端A
z
上传的梯度形式：
[0010]联邦服务器S判断客户端A
z
上传的梯度是否为密文，若是，执行步骤(3)，否则，将客户端A
z
上传的梯度依据其上传的采样位置向量得到客户端A
z
的梯度g
z
′
，并执行步骤(5)；
[0011](3)联邦服务器还原客户端A
z
的近似梯度：
[0012](3a)联邦服务器S通过客户端A
z
的R轮通信上传的采样位置向量计算每个索引m的采样次数θ
m
，得到M维索引采样次数向量θ＝<θ1,θ2,
…
,θ
m
,
…
,θ
M
>，其中，表示客户端A
z
向联邦服务器S上传的第r轮通信轮数的采样位置向量，向量，表示第r轮中客户端A
z
第m 个采样位置标志符，取值为{0,1}，0表示此索引m未采样，1表示此索引m被采样，θ
m
的计算公式为：
[0013][0014]其中∑表示求和操作；
[0015](3b)拥有图像数据D
s
＝{x
s
,y
s
}的联邦服务器S将数据特征x
s
作为全局卷积神经网络模型M0的输入进行模型训练，得到预测结果Y
s
；采用交叉熵损失函数，计算Y
s
与标签y
s
之间的损失值L
s
；通过L
s
对模型M0的参数ω求偏导，得到梯度 g
s
＝<g
s1
,g
s2
,
…
,g
sm
,
…
g
sM
>，其中，x
s
、y
s
表示联邦服务器S本地图像数据特征和标签，g
sm
表示联邦服务器S的第m个梯度元素；
[0016](3c)联邦服务器S将g
s
的绝对值依据θ
m
的大小顺序得到客户端A
z
的近似梯度向量g
z
＝<g
z1
,g
z2
,
…
,g
zm
,
…
,g
zM
>，其中，g
zm
表示客户端A
z
的第m个梯度元素；
[0017](4)联邦服务器更新客户端A
z
的近似梯度符号：
[0018](4a)联邦服务器S对每个客户端A
n
上传的一轮的采样梯度向量进行聚合，得到聚合梯度G＝<G1,G2,
…
,G
m
,
…
,G
M
>，其中，r＝1，表示客户端A
n
向联邦服务器S上传的采样梯度向量，梯度向量，表示客户端A
n
加密后的第k个采样梯度值，K表示客户端A
n
根据通信网络情况选择的压缩率， 0＜K≤M，G
m
表示联邦服务器S聚合后的第m个梯度元素；
[0019](4b)联邦服务器S将步骤(3)中得到的客户端A
z
的近似梯度向量与聚合梯度G
m
符号不同的索引位置的符号取反，得到更新后的客户端A
z
的近似梯度g
z
′
，其中，g
z
′
＝<g
z1
′
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种采样聚合框架下的梯度泄露攻击方法，其特征在于，包括如下步骤：(1)初始化联邦学习系统：初始化包括联邦服务器S和N个客户端A＝{A1,A2,
…
,A
n
,
…
,A
N
}的联邦学习系统，联邦服务器S的全局卷积神经网络模型M0，联邦服务器S从客户端A中随机选择的客户端A
z
作为受害者，联邦服务器S与客户端A
z
的当前通信轮数为r，最大通信轮数为R，联邦服务器S与其余客户端通信轮数r＝1，其中A
n
表示第n个客户端，N≥2，M0的参数为ω＝<ω1,ω2,
…
,ω
m
,
…
,ω
M
>，M表示M0的参数量，M≥2，ω
m
表示M0的第m个参数，A
z
∈A，R≥2；(2)联邦服务器判断客户端A
z
上传的梯度形式：联邦服务器S判断客户端A
z
上传的梯度是否为密文，若是，执行步骤(3)，否则，将客户端A
z
上传的梯度依据其上传的采样位置向量得到客户端A
z
的梯度g
z
′
，并执行步骤(5)；(3)联邦服务器还原客户端A
z
的近似梯度：(3a)联邦服务器S通过客户端A
z
的R轮通信上传的采样位置向量计算每个索引m的采样次数θ
m
，得到M维索引采样次数向量θ＝〈θ1,θ2,
…
,θ
m
,
…
,θ
M
〉，其中，表示客户端A
z
向联邦服务器S上传的第r轮通信轮数的采样位置向量，向量，表示第r轮中客户端A
z
第m个采样位置标志符，取值为{0,1}，0表示此索引m未采样，1表示此索引m被采样，θ
m
的计算公式为：其中∑表示求和操作；(3b)拥有图像数据D
s
＝{x
s
,y
s
}的联邦服务器S将数据特征x
s
作为全局卷积神经网络模型M0的输入进行模型训练，得到预测结果Y
s
；采用交叉熵损失函数，计算Y
s
与标签y
s
之间的损失值L
s
；通过L
s
对模型M0的参数ω求偏导，得到梯度g
s
＝<g
s1
,g
s2
,
…
,g
sm
,
…
g
sM
>，其中，x
s
、y
s
表示联邦服务器S本地图像数据特征和标签，g
sm
表示联邦服务器S的第m个梯度元素；(3c)联邦服务器S将g
s
的绝对值依据θ
m
的大小顺序得到客户端A
z
的近似梯度向量g
z
＝<g
z1
,g
z2
,
…
,g
zm
,
…
,g
zM
>，其中，g
zm
表示客户端A
z
的第m个梯度元素；(4)联邦服务器更新客户端A
z
的近似梯度符号：(4a)联邦服务器S对每个客户端A
n
上传的一轮的采样梯度向量进行聚合，得到聚合梯度G＝<G1,G2,
…
,G
m
,
…
,G
M
>，其中，r＝1，表示客户端A
n
向联邦服务器S上传的采样梯度向量，量，表示客户端A
n
加密后的第k个采样梯度值，K表示客户端A
n
根据通信网络情况选择的压缩...

【专利技术属性】
技术研发人员：马卓，杨易龙，孙漫，刘洋，李腾，张俊伟，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：