【技术实现步骤摘要】
本专利技术属于联邦学习，具体地说是一种基于本地小批量梯度差分隐私的联邦学习方法。
技术介绍
1、随着数据隐私保护需求的不断增加，联邦学习作为一种新兴的分布式机器学习方法，得到了广泛关注。联邦学习允许多个参与者在本地计算和更新模型的同时，保持数据的隐私性，避免将敏感数据上传到中央服务器。尽管联邦学习在保护数据隐私方面具有显著优势，但在实际应用中，仍然面临着如何平衡模型精度和隐私保护之间的挑战。在传统的集中式学习中，所有的数据都集中在服务器上进行训练，这种方式可以通过直接访问完整的数据集来提高模型的精度。然而，联邦学习要求数据保持在本地，仅将本地计算得到的模型更新上传至中央服务器。因此，如何有效保护用户数据隐私，同时减少隐私保护带来的性能损失，成为联邦学习中的一个关键问题。
2、为了解决这一问题，研究人员聚焦于使用各种隐私保护技术来实现安全的联邦学习，这些方法主要可以分为两类：密码学方法和差分隐私，其中密码学方法包括安全多方计算和同态加密等。安全多方计算和同态加密可以为联邦学习提供较好的安全保证，但通信开销和计算量较大。而差分隐私主要是对信息加噪，不会造成很大的通信开销和计算量，与其他方法相比，具有明显的轻量级优势。
3、差分隐私可分为中心差分隐私(gdp)和本地差分隐私(ldp)。与gdp相比，ldp通过在上传模型参数之前添加局部扰动，提供了更强的隐私保护。因此，ldp方法常被应用于联邦学习中。然而，在基于本地差分隐私的联邦学习方法中，存在着隐私保护与模型精度之间的平衡问题。具体而言，随着敏感数据隐私保护水
技术实现思路
1、为了解决以上问题,本专利技术的目的是提供一种基于本地小批量梯度差分隐私的联邦学习方法，来解决联邦学习存在模型精度和隐私保护水平之间的平衡性问题，且在训练过程中容易出现泛化能力差和准确性降低的问题。
2、本专利技术一种基于本地小批量梯度差分隐私的联邦学习方法，应用于服务器和n个客户端之间，所述包括如下步骤：
3、s1:首先对服务器进行初始化，配置数据集和全局模型。同时，为每个客户端配置唯一的客户端id、本地数据集以及差分隐私库，并初始化学习参数。学习参数包括用于本地模型迭代训练的学习率和训练批次大小。需要注意的是，全局模型与本地模型的结构是相同的。
4、s2:服务器初始化全局模型参数，并将全局模型参数广播至各客户端。
5、s3:客户端基于全局模型参数更新本地模型，得到更新后本地模型。
6、s4:客户端将本地数据集划分为多个小批量。
7、s5:客户端基于本地数据集对更新后本地模型进行选代训练，迭代训练时，使用当前小批量中的所有样本，并基于累积隐私损失阈值、通过小批量梯度下降算法进行本地模型参数更新，并根据隐私损失的大小调整添加到本地模型中的噪声强度。
8、s6:服务器基于所有客户端上传的本地模型参数以及聚合过程中前一轮全局模型的历史参数信息进行聚合计算，得到全局模型，基于服务器内数据集对全局模型进行验证，并将对应的全局模型参数广播至各客户端。
9、s7:循环执行步骤s3-s7，直至全局模型得到预定效果。
10、作为优选，客户端基于隐私损失构建累积隐私损失阈值，累积隐私损失阈值计算公式如下：
11、
12、作为优选，客户端基于本地数据集、通过小批量梯度下降算法对更新后本地模型进行迭代训练，得到本地模型表示为：
13、
14、其中，代表的是用户g第i个用户扰动后的梯度，m代表用户数据的维度，γ则表示第k次迭代中使用的学习率。在实验中为了方便，将其设置为0.01。
15、作为优选，服务器基于所有客户端上传的本地模型参数以及聚合过程中前一轮全局模型的历史参数信息进行聚合计算，得到的全局模型表示为：
16、
17、其中，wt为当前第t轮的全局模型，wt+1为将下一轮t+1客户端梯度聚合后更新的全局模型，为所有客户端梯度参数的平均值，α为更新算法的学习速率。
18、作为优选，全局模型是一个基于卷积神经网络(cnn)构建的网络结构，包含两个网络单元。每个网络单元由一个卷积层、一个relu层和一个最大池化层组成。最大池化层后接两个全连接层，最终通过一个softmax层输出结果。本专利技术的一种基于本地小批量梯度差分隐私的联邦学习方法具有以下优点：
19、1、引入隐私损失成本的概念，通过基于累积隐私损失阈值的小批量梯度下降算法，每轮随机选取一组用户上传的梯度均值作为新一轮服务器参数，减少噪声注入量，从而有效提高模型准确率，达到隐私保护效率与准确率的平衡。
20、2、提出了一种改进的加权聚合算法，利用历史信息以及客户端相关性分配权重，有效提高模型准确率。
本文档来自技高网...【技术保护点】
1.一种基于本地小批量梯度差分隐私的联邦学习方法，其特征在于，应用于服务器和N个客户端之间，所述包括如下步骤：
2.根据权利要求1所述的基于本地小批量梯度差分隐私的联邦学习方法，其特征在于，客户端基于隐私损失构建累积隐私损失阈值，累积隐私损失阈值计算公式如下：
3.根据权利要求2所述的基于本地小批量梯度差分隐私的联邦学习方法，其特征在于，客户端基于本地数据集、通过小批量梯度下降算法对更新后本地模型进行迭代训练，得到本地模型表示为：
4.根据权利要求3所述的基于本地随机差分隐私的联邦学习方法，其特征在于，服务器基于所有客户端上传的本地模型参数以及聚合过程中前一轮全局模型的历史参数信息进行聚合计算，得到的全局模型表示为：
5.根据权利要求1所述的基于本地随机差分隐私的联邦学习方法，其特征在于，全局模型是一个基于卷积神经网络(CNN)构建的网络结构，包含两个网络单元；每个网络单元由一个卷积层、一个ReLU层和一个最大池化层组成；最大池化层后接两个全连接层，最终通过一个Softmax层输出结果。
【技术特征摘要】
1.一种基于本地小批量梯度差分隐私的联邦学习方法，其特征在于，应用于服务器和n个客户端之间，所述包括如下步骤：
2.根据权利要求1所述的基于本地小批量梯度差分隐私的联邦学习方法，其特征在于，客户端基于隐私损失构建累积隐私损失阈值，累积隐私损失阈值计算公式如下：
3.根据权利要求2所述的基于本地小批量梯度差分隐私的联邦学习方法，其特征在于，客户端基于本地数据集、通过小批量梯度下降算法对更新后本地模型进行迭代训练，得到本地模型表示为：
4...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。