【技术实现步骤摘要】
本公开实施例涉及人工智能，尤其涉及一种层级隐私保护的联邦深度学习方法。
技术介绍
1、目前的联邦学习研究主要集中在数据分布、联邦机器学习模型、隐私保护策略和个性化方面。数据分布的联邦学习研究是为了在实践中处理客户端样本和特征的三种数据形状，即水平联邦学习，垂直联邦学习，以及混合联邦学习。对联邦机器学习模型的研究是将传统模型扩展到联邦学习模式中进行训练，例如，联邦岭回归、联邦k-means、联邦主成分分析等。隐私保护策略的研究是为了控制持有隐私的参数通信，如差分隐私策略、基于梯度的聚合和同态加密。对个性化的研究是为了处理特征和样本的异质性。smith等人通过整合客户端之间的关联，提出了一种联合多任务学习模型，即mocha模型。li等人通过平衡全局模型和局部模型并训练局部分类头，提出了用于个性化的ditto。此外还可以通过变分贝叶斯推理实现个性化的联邦学习。
2、然而，现有研究存在以下问题：1)所使用数据集较小，数据来源局限且单一，无法保证数据的对于真实分布的刻画能力。尤其是深度学习模型需要大规模数据样本进行训练，因此相关模型的预测精度难以获得较大提升。2)传统的联邦学习模型没有考虑本地客户端的特定特征。3)联邦学习的训练主要集中在客户端上，并上传参数到服务器。但攻击者有可能根据参数反向推导出本地数据集，所以应该对客户端的隐私特征进行更好的保护。
技术实现思路
1、为了避免现有技术的不足之处，本申请提供一种层级隐私保护的联邦深度学习方法，用以解决现有技术中存在由于隐私安全导
2、根据本公开实施例，提供一种层级隐私保护的联邦深度学习方法，该方法包括：
3、将训练集输入到对应的客户端中的本地模型中进行训练；其中，所述本地模型包括全局子模型、局部子模型和本地分类头网络，所述客户端的隐私特征包括可共享全局特征和私有特征；
4、根据所述可共享全局特征和所述私有特征将所述训练集分成共享数据和私有数据；
5、将所述共享数据分别输入到所述全局子模型和所述局部子模型中进行训练，分别获得用于联邦学习交流的共享表示和用于本地分类的私有表示；
6、利用所述本地分类头网络对所述私有数据、所述共享表示和所述私有表示进行处理，以得到所述训练集的目标内容；
7、计算所述处理过程中的网络损失和精度，根据所述网络损失和所述精度更新所述全局子模型，并将更新后的所述全局子模型发送至服务器；
8、所述服务器对所有更新后的所述全局子模型进行平均，以得到全局模型，并将所述全局模型发送至各个所述客户端中替代更新后的所述全局子模型，以进行下一轮训练，直至训练完成。
9、所述将训练集输入到对应的客户端中的本地模型中进行训练的步骤之前，还包括：
10、将所述数据集按照若干个所述客户端的数量等分成若干份后，再将每一份所述数据集按照预设的比例划分成训练集和测试集。
11、该方法还包括：
12、将所述测试集输入到训练后的所述本地模型中，以得到所述测试集的所述目标内容。
13、利用所述本地分类头网络对所述私有数据、所述共享表示和所述私有表示进行处理，以得到所述训练集的目标内容的步骤中，包括：
14、所述本地分类头网络中，所述私有数据进行拼接后经过全连接层，再与所述共享表示和所述私有表示合并后，使用所述全连接层学习分类映射函数及softmax函数作为输出层来计算每个类的概率，再根据所述每个类的概率得到所述训练集的目标内容。
15、所述全局模型与所述本地模型的关系为：
16、
17、式中，{x1，x2，...，xm}表示若干个客户端，{w1，w2，...，wm}表示m个本地参数，为表示参数为w*的全局模型，nt是第t个数据集中样本数，是任务t的损失函数，是本地模型，ε是对模型参数wt施加的正则化，λ是损失和正则化之间的权衡参数。
18、该方法还包括：
19、引入子空间分割学习的策略，将所述本地模型的特征空间划分为所述全局子模型和所述局部子模型，则所述全局模型与所述本地模型的关系为：
20、
21、式中，为全局子模型，为局部子模型，为一个集合函数，
22、该方法还包括：
23、引入最大化子空间分离准则，即引入了正则化项，以扩大所述全局子模型和所述局部子模型之间的距离；
24、其中，所述正则化项的表达式为：
25、
26、式中，dist(a，b)衡量a和b之间的距离；
27、所述全局子模型和所述局部子模型之间的距离为：
28、
29、式中，||a||f为矩阵a的fibonacci范数，exp(.)为指数函数。
30、引入所述最大化子空间分离准则后，所述全局模型与所述本地模型的关系为：
31、
32、式中，α为平衡参数，且α≥0。
33、引入层级隐私保护策略，将所述客户端的隐私特征划分为可共享全局特征和私有特征，则所述全局模型与所述本地模型的关系为：
34、
35、式中，为可共享全局特征，为私有特征，为本地分类头网络。
36、本公开的实施例提供的技术方案可以包括以下有益效果：
37、本公开的实施例中，通过上述层级隐私保护的联邦深度学习方法，将本地模型的特征空间划分为局部子空间和全局子空间，通过引入最大化子空间分离准则，分别获得用于联邦学习交流的共享表示和用于本地分类的私有表示。将客户端的隐私特征划分为多等级的隐私分层，分别参与联邦学习全局多用户的交流和本地私有表示的更新。本方法将联邦学习引入数据挖掘领域，不仅保护了用户数据的隐私安全，而且促进了个性化研究的发展进程。
本文档来自技高网...【技术保护点】
1.一种层级隐私保护的联邦深度学习方法，其特征在于，该方法包括：
2.根据权利要求1所述层级隐私保护的联邦深度学习方法，其特征在于，所述将训练集输入到对应的客户端中的本地模型中进行训练的步骤之前，还包括：
3.根据权利要求2所述层级隐私保护的联邦深度学习方法，其特征在于，该方法还包括：
4.根据权利要求1所述层级隐私保护的联邦深度学习方法，其特征在于，利用所述本地分类头网络对所述私有数据、所述共享表示和所述私有表示进行处理，以得到所述训练集的目标内容的步骤中，包括：
5.根据权利要求1所述层级隐私保护的联邦深度学习方法，其特征在于，所述全局模型与所述本地模型的关系为：
6.根据权利要求5所述层级隐私保护的联邦深度学习方法，其特征在于，该方法还包括：
7.根据权利要求6所述层级隐私保护的联邦深度学习方法，其特征在于，该方法还包括：
8.根据权利要求7所述层级隐私保护的联邦深度学习方法，其特征在于，引入所述最大化子空间分离准则后，所述全局模型与所述本地模型的关系为：
9.根据权利要求8所述
...【技术特征摘要】
1.一种层级隐私保护的联邦深度学习方法，其特征在于，该方法包括：
2.根据权利要求1所述层级隐私保护的联邦深度学习方法，其特征在于，所述将训练集输入到对应的客户端中的本地模型中进行训练的步骤之前，还包括：
3.根据权利要求2所述层级隐私保护的联邦深度学习方法，其特征在于，该方法还包括：
4.根据权利要求1所述层级隐私保护的联邦深度学习方法，其特征在于，利用所述本地分类头网络对所述私有数据、所述共享表示和所述私有表示进行处理，以得到所述训练集的目标内容的步骤中，包括：
5.根据权利要求1所述层级隐私保护的联邦深度学习方法，其...
【专利技术属性】
技术研发人员：张育培，尚学群，李钰心，王亦菲，韦双双，徐宇楠，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。