针对梯度压缩联邦学习的数据重建攻击方法、装置及设备制造方法及图纸

本申请涉及一种针对梯度压缩联邦学习的数据重建攻击方法、装置及设备，其中，方法包括：读取目标训练图片，并通过预设的神经网络对目标训练图片进行前向运算，产生第一梯度，并按照预设比特进行量化，得到压缩梯度；从预设的神经网络的最后一个全连接层的压缩梯度中恢复出目标训练图片的标签，并以标准正态分布初始化重建数据，且计算重建数据在预设的神经网络上产生的第二梯度；计算卷积层压缩梯度与卷积层第二梯度之间的梯度匹配损失和重建数据的图像先验全变分损失，并利用预设的梯度下降算法对重建数据进行迭代处理，直至达到预设迭代次数，得到原始训练图片。由此，避免对量化过程中产生的误差进行拟合的问题，实现更好的数据重建效果。的数据重建效果。的数据重建效果。

【技术实现步骤摘要】
针对梯度压缩联邦学习的数据重建攻击方法、装置及设备


[0001]本申请涉及数据安全与隐私保护
，特别涉及一种针对梯度压缩联邦学习的数据重建攻击方法、装置及设备。

技术介绍

[0002]联邦学习最近作为一种新的机器学习范式出现，它使得多个客户端能够在中心服务器的协调下协作训练一个全局的神经网络模型，联邦学习中每个客户端不直接交换他们的私有训练数据，而是共享其在本地的训练数据集上产生的梯度用于更新全局模型。联邦学习非常强调用户的数据隐私，这使得它特别适合在隐私敏感场景中开发机器学习模型，如口语理解、医学研究、金融服务等。
[0003]联邦学习的训练过程如下。中心服务器首先向每个参与训练的客户端发送一个全局的神经网络模型。客户端在使用本地数据进行训练后，需要将其产生的梯度发送给服务器。然后，服务器聚合每个参与者发送的梯度，并将聚合后的梯度发送回给每个用户。最后，每个客户端使用聚合后的梯度更新自己的本地模型。
[0004]然而，最近的研究表明，梯度共享并不像预期的那样安全，共享的梯度依然会泄露用户的隐私信息。<br/>[0005]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对梯度压缩联邦学习的数据重建攻击方法，其特征在于，包括以下步骤：读取目标训练图片，并通过预设的神经网络对所述目标训练图片进行前向运算，得到所述目标训练图片在所述预设的神经网络上产生的第一梯度，并对所述第一梯度按照预设比特进行量化，得到卷积层压缩梯度；从所述预设的神经网络的最后一个全连接层的压缩梯度中恢复出所述目标训练图片的标签，并以标准正态分布初始化重建数据，且计算所述重建数据在所述预设的神经网络上产生的第二梯度；以及计算所述卷积层压缩梯度与所述卷积层第二梯度之间的梯度匹配损失和重建数据的图像先验全变分损失，并根据所述梯度匹配损失和所述图像先验全变分损失，利用预设的梯度下降算法对所述重建数据进行迭代处理，直至达到预设迭代次数，得到原始训练图片。2.根据权利要求1所述的方法，其特征在于，所述从所述预设的神经网络的最后一个全连接层的压缩梯度中恢复出所述目标训练图片的标签，包括：基于预设的标签计算公式，从所述预设的神经网络的最后一个全连接层的压缩梯度中恢复出所述目标训练图片的标签，其中，所述预设的标签计算公式为：其中，y
′
为重建出的标签，为神经网络第L层全连接层权值中连接到第i个输出的梯度。3.根据权利要求1所述的方法，其特征在于，所述梯度匹配损失为：其中，L
sign
为符号损失，为卷积层的梯度，β为符号损失中的正控制参数。4.根据权利要求3所述的方法，其特征在于，所述图像先验全变分损失TV(x
′
)＝∑
i,j
|x
′
i+1,j
‑
x
′
i,j
|+|x
′
i,j+1
‑
x
′
i,j
|；其中，TV(x
′
)为图像先验全变分损失。5.根据权利要求1所述的方法，其特征在于，所述预设的梯度下降算法为：其...

【专利技术属性】
技术研发人员：孙钰，严宇，崔剑，张泽宇，李大伟，关振宇，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：