联邦学习梯度交换中的差异化加噪方法及系统技术方案

本发明专利技术公开了一种联邦学习梯度交换中的差异化加噪方法、介质及系统，其中方法包括：多个数据方分别获取对应的训练数据集，并分别根据对应的训练数据集对深度学习模型进行训练，以更新深度学习模型的梯度；每个数据方将对应的梯度进行分层处理，并计算每一层梯度对应的二范数，以及根据二范数对每一层梯度进行加噪，并将加噪后的梯度发送至中心服务器；中心服务器对加噪后的梯度进行聚合，并将聚合后的梯度发送给每个数据方，以便每个数据方根据聚合后的梯度对本地深度学习模型进行更新；能够提高联邦学习的数据交换过程中隐私的保护强度，同时，相较于传统联邦学习中加密算法，可以降低数据传输的开销。

Differential noise adding method and system in federated learning gradient switching

【技术实现步骤摘要】
联邦学习梯度交换中的差异化加噪方法及系统
本专利技术涉及深度学习
，特别涉及一种联邦学习梯度交换中的差异化加噪方法、一种计算机可读存储介质以及一种联邦学习梯度交换中的差异化加噪系统。
技术介绍
在进行数据共享和分布式深度学习的过程中，往往存在数据隐私泄露的问题。为了解决这一问题，多采用联邦学习方法，以减少数据交换过程中的隐私泄露。相关技术中，在使用梯度更新算法的过程中，往往存在隐私保护强度不高的问题；而为了加强隐私保护的强度，通常采用同态加密方法，而这一方法在深度学习的场景中，将会使得原本就庞大的梯度数据再度扩大，进而带来巨大的数据传输开销。
技术实现思路
本专利技术旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种联邦学习梯度交换中的差异化加噪方法，能够提高联邦学习的数据交换过程中隐私的保护强度，同时，降低数据传输的开销。本专利技术的第二个目的在于提出一种计算机可读存储介质。本专利技术的第三个目的在于提出一种联邦学习梯度交换中的差异化加噪系统。为达到上述目的，本专本文档来自技高网...

【技术保护点】
1.一种联邦学习梯度交换中的差异化加噪方法，其特征在于，包括以下步骤：/n多个数据方分别获取对应的训练数据集，并分别根据对应的训练数据集对深度学习模型进行训练，以更新所述深度学习模型的梯度；/n每个数据方将对应的梯度进行分层处理，并计算每一层梯度对应的二范数，以及根据所述二范数对每一层梯度进行加噪，并将加噪后的梯度发送至中心服务器；/n所述中心服务器对所述加噪后的梯度进行聚合，并将聚合后的梯度发送给每个数据方，以便每个数据方根据所述聚合后的梯度对本地深度学习模型进行更新。/n

【技术特征摘要】
1.一种联邦学习梯度交换中的差异化加噪方法，其特征在于，包括以下步骤：
多个数据方分别获取对应的训练数据集，并分别根据对应的训练数据集对深度学习模型进行训练，以更新所述深度学习模型的梯度；
每个数据方将对应的梯度进行分层处理，并计算每一层梯度对应的二范数，以及根据所述二范数对每一层梯度进行加噪，并将加噪后的梯度发送至中心服务器；
所述中心服务器对所述加噪后的梯度进行聚合，并将聚合后的梯度发送给每个数据方，以便每个数据方根据所述聚合后的梯度对本地深度学习模型进行更新。


2.如权利要求1所述的联邦学习梯度交换中的差异化加噪方法，其特征在于，所述深度学习模型的损失函数设置为：
Lij(θi，xj)，xj∈Di且j＝1，...，ci
其中，θi表示网络参数，xj表示训练数据，Di表示训练数据集，ci表示训练数据集包含的数据总数。


3.如权利要求2所述的联邦学习梯度交换中的差异化加噪方法，其特征在于，所述深度学习模型的梯度通过以下公式计算：






其中，Li(θi)表示平均损失，Gi表示梯度。


4.如权利要求1所述的联邦学习梯度交换中的差异化加噪方法，其特征在于，根据以下公式对每一层梯度进行加噪处理：



Gi＝{g1，g2，...，gn}
其中，GI表示加噪后的梯度，Gi表示梯度，gn表示第n层梯度的值，N表示数据方的总数，||gn||2表示第n层梯度对应的二范数。


5.如权利要求1所述的联邦学习梯度交换中的差异化加噪方法，其特征在于，根据以下公式对加噪后的梯度进行聚合：






其中，ωi表示数据方对应的梯度权重，ci表示训练数据集包含的数据总数，N表示数据方的总数，表示所有加噪后的梯度的加权平均值...

【专利技术属性】
技术研发人员：范晓亮，龚盛豪，代明亮，俞容山，王程，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建;35