【技术实现步骤摘要】
本专利技术涉及机器学习数据安全，特别是涉及一种结合局部噪声削减机制的联邦学习隐私保护方法。
技术介绍
1、随着大数据时代的发展，传统的集中式机器学习收集用户数据后，集中由第三方训练，造成用户隐私泄露。联邦学习的出现避免了用户将数据直接暴露给第三方。在联邦学习中，客户端使用本地数据分别训练局部模型，并交由中央服务器进行聚合得到全局模型，由此实现了基于多方协作的模型训练，并有效避免了数据集中式处理可能导致的隐私泄露问题。然而，尽管联邦学习中的客户端只共享局部模型而不共享其本地数据，但若局部模型缺少保护，联邦学习仍然可能因遭受推理攻击和重构攻击而泄露隐私。例如，敌手通过捕获梯度信息或模型参数，可以推断出训练数据的典型特征，从而构建出与原始数据相接近的数据。
2、因此，研究者们将差分隐私、同态加密、区块链等技术应用到联邦学习中，以提高物联网场景下联邦学习的隐私保护效果。同态加密虽然可以在加密数据上进行运算，但其计算效率通常较低，会大大增加联邦学习的训练时间。区块链技术虽然能够保证数据的不可篡改性，但在处理大规模数据时，区块链节点间的数据同步会出现延迟，且需要消耗较多的存储空间和算力，导致联邦学习面临性能瓶颈和可扩展性差等方面的问题。相比之下，差分隐私因具备计算高效、隐私保护强度可控等优势而成为前沿研究热点。但是，联邦学习的多轮训练过程会多次运用差分隐私，导致模型噪声累积，使得模型精度降低、训练速度减慢、训练稳定性变差，甚至无法收敛。为了在不影响安全性的前提下提升基于差分隐私的联邦学习隐私保护方法的效果，本专利提出一种结合局部
技术实现思路
1、本专利技术的目的是提供一种结合局部噪声削减机制的联邦学习隐私保护方法，能够保护本地用户可以安全共享局部模型参数，实现在保证模型局部模型隐私的同时减少用户噪声量的累积，达到提高模型训练精度的目的。
2、为实现上述目的，本专利技术提供了一种结合局部噪声削减机制的联邦学习隐私保护方法，包括：
3、步骤1、客户端接收中央服务器发送的全局模型，判断所述全局模型是否完成训练，若完成训练则训练结束，若未完成训练，则对添加高斯噪声的全局模型进行局部噪声消减处理，获取本地训练初始模型；
4、步骤2、所述客户端根据本地样本和所述本地训练初始模型进行更新，获取局部消噪模型；
5、步骤3、将所述局部消噪模型添加高斯噪声，获取添加高斯噪声后的局部模型；
6、步骤4、将所述添加高斯噪声后的局部模型上传到所述中央服务器，获取更新后的全局模型，返回所述步骤1进行迭代。
7、可选的，所述步骤1中对添加高斯噪声的全局模型进行局部噪声消减处理，获取本地训练初始模型包括：
8、获取未向客户端添加高斯噪声的全局模型；
9、根据所述添加高斯噪声的全局模型和所述未向客户端添加高斯噪声的全局模型，获取所述客户端在t轮训练中添加的噪声量；
10、根据所述添加的噪声量在第t+1轮中进行局部噪声消减处理，获取所述本地训练初始模型。
11、可选的，所述添加高斯噪声的全局模型的获取方法包括：
12、获取添加到所有客户端的噪声总量，根据所述噪声总量，获取所述添加高斯噪声的全局模型；
13、所述噪声总量为：
14、
15、其中，表示第t轮添加到客户端i的噪声量，nt+1表示第t轮添加到参与训练的客户端的噪声总量，pi为客户端i的权重；
16、所述添加高斯噪声的全局模型为：
17、
18、其中，表示客户端i在第t轮训练时，局部迭代q次得到的局部模型，表示客户端i在第t轮训练时，添加高斯噪声的局部模型，wt+1表示第t轮训练时，含有高斯噪声全局模型，k为k个客户端。
19、可选的，所述未向客户端添加高斯噪声的全局模型为：
20、
21、其中，表示未向客户端i添加噪声的全局模型，为每轮选中参与联邦学习的客户端集合，j为除消噪客户端外的其它客户端。
22、可选的，获取所述客户端添加的噪声量的具体方法为：
23、
24、其中，表示未向客户端i添加噪声的全局模型，wt+1表示第t轮训练时，含有高斯噪声全局模型，表示第t轮添加到客户端i的噪声量，为客户端i在第t轮中所添加的噪声量，pi为客户端i的权重。
25、可选的，获取所述本地训练初始模型方法为：
26、
27、其中，是客户端i未含上一轮自身噪声的模型，dn是噪声削减的标识，wt+1表示第t轮训练时，含有高斯噪声全局模型，为客户端i在第t轮中所添加的噪声量。
28、可选的，所述步骤2中所述客户端根据本地样本和所述本地训练初始模型进行更新，获取局部消噪模型包括：
29、所述客户端根据所述本地样本和局部迭代的本地训练初始模型，计算样本梯度；
30、对所述样本梯度进行二范数裁剪，获取裁剪后的梯度；
31、根据所述局部迭代的本地训练初始模型和所述裁剪后的梯度，通过梯度下降算法，获取所述局部消噪模型。
32、可选的，获取所述局部消噪模型的方法为：
33、
34、其中，表示客户端i在第t+1轮训练时，局部迭代q次得到的模型，表示客户端i在第t+1轮训练时，第q次局部迭代的消噪模型，表示被裁剪后的梯度，表示客户端i在t+1轮训练时，第q次局部迭代中的平均梯度，η表示局部训练的学习率。
35、可选的，所述步骤3中将所述局部消噪模型添加高斯噪声，获取添加高斯噪声后的局部模型包括：
36、
37、其中，是客户端i添加高斯噪声后的局部模型，表示高斯噪声的分布，σ为控制隐私保护强度的噪声尺度，id是与f具有相同维度的单位矩阵，d为添加噪声的维度。
38、可选的，所述步骤4中将所述添加高斯噪声后的局部模型上传到所述中央服务器包括：
39、基于所述局部消噪模型，所述中央服务器采用联邦平均聚合操作更新全局模型，得到所述更新后的全局模型；
40、所述更新后的全局模型为：
41、
42、其中，wt+2是第t+1轮更新的全局模型，pi是客户端i的权重，是客户端i在第t+1轮训练时，添加高斯噪声的局部模型，k是k个客户端。
43、本专利技术的有益效果为：1)本专利技术在每个客户端的模型参数上添加各自权重的高斯噪声，在下一轮训练时，客户端能够去除上一轮模型训练过程中所添加的噪声，从而减弱噪声的累计效应、提高训练的稳定性和模型决策的准确性。
44、2)本专利技术具有广泛的适用性，适用于多种客户端模型更新模式和任意机制的差分隐私。即当客户端采用局部模型增量的形式上传更新到中央服务器时，本专利技术同样适用；当采用基于拉普拉斯噪声机制或其他机制的差分隐私实现隐私保护(噪声添加)时，本专利技术同样适用。
本文档来自技高网...【技术保护点】
1.一种结合局部噪声削减机制的联邦学习隐私保护方法，其特征在于，包括：
2.根据权利要求1所述的结合局部噪声削减机制的联邦学习隐私保护方法，其特征在于，所述步骤1中对添加高斯噪声的全局模型进行局部噪声消减处理，获取本地训练初始模型包括：
3.根据权利要求2所述的结合局部噪声削减机制的联邦学习隐私保护方法，其特征在于，所述添加高斯噪声的全局模型的获取方法包括：
4.根据权利要求3所述的结合局部噪声削减机制的联邦学习隐私保护方法，其特征在于，所述未向客户端添加高斯噪声的全局模型为：
5.根据权利要求2所述的结合局部噪声削减机制的联邦学习隐私保护方法，其特征在于，获取所述客户端添加的噪声量的具体方法为：
6.根据权利要求2所述的结合局部噪声削减机制的联邦学习隐私保护方法，其特征在于，获取所述本地训练初始模型方法为：
7.根据权利要求1所述的结合局部噪声削减机制的联邦学习隐私保护方法，其特征在于，所述步骤2中所述客户端根据本地样本和所述本地训练初始模型进行更新，获取局部消噪模型包括：
8.根据权利要求7所
9.根据权利要求1所述的结合局部噪声削减机制的联邦学习隐私保护方法，其特征在于，所述步骤3中将所述局部消噪模型添加高斯噪声，获取添加高斯噪声后的局部模型包括：
10.根据权利要求1所述的结合局部噪声削减机制的联邦学习隐私保护方法，其特征在于，所述步骤4中将所述添加高斯噪声后的局部模型上传到所述中央服务器包括：
...【技术特征摘要】
1.一种结合局部噪声削减机制的联邦学习隐私保护方法，其特征在于，包括：
2.根据权利要求1所述的结合局部噪声削减机制的联邦学习隐私保护方法，其特征在于，所述步骤1中对添加高斯噪声的全局模型进行局部噪声消减处理，获取本地训练初始模型包括：
3.根据权利要求2所述的结合局部噪声削减机制的联邦学习隐私保护方法，其特征在于，所述添加高斯噪声的全局模型的获取方法包括：
4.根据权利要求3所述的结合局部噪声削减机制的联邦学习隐私保护方法，其特征在于，所述未向客户端添加高斯噪声的全局模型为：
5.根据权利要求2所述的结合局部噪声削减机制的联邦学习隐私保护方法，其特征在于，获取所述客户端添加的噪声量的具体方法为：
6.根据权利要求2所述的结合局部噪声削减机制...
【专利技术属性】
技术研发人员：李龙，刘振参，李晶晶，何松兴，孙希延，常亮，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。