一种应用差分隐私保护的分层联邦学习方法及系统技术方案

一种应用差分隐私保护的分层联邦学习方法及系统，涉及联邦学习技术领域，用以解决现有的端

【技术实现步骤摘要】
一种应用差分隐私保护的分层联邦学习方法及系统


[0001]本专利技术涉及联邦学习
，具体涉及一种应用差分隐私保护的分层联邦学习方法及系统。

技术介绍

[0002]近年来，存储在终端设备中的大量个人隐私数据通过相关算法进行分析与应用，进而加重了大数据驱动应用程序的隐私泄露程度。通过建立联合模型而不共享本地数据的联邦学习(Federated Learning,FL)方法，在一定程度上可以缓解隐私问题，避免用户的本地元数据泄露。其中，端
‑
边
‑
云分层联邦学习(Hierarchical Federated Learning,HFL)结合了端
‑
边、端
‑
云两层联邦学习的优点，辅以高效的客户端更新，减少了与云服务器的通信次数、运行时间和本地迭代次数，降低了参数聚合服务器单点故障的影响，训练数据集规模的增大可提高模型的推理性能。HFL更适合应用于实际的复杂异构系统，可同时考虑跨设备(cross device)和跨孤岛(cross silo)两种联邦学习模式。
[0003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用差分隐私保护的分层联邦学习方法，其特征在于，分层联邦学习中包括云服务器、边缘服务器和客户端，所述云服务器连接多个边缘服务器，每个边缘服务器连接多个以树形结构组织的客户端；所述分层联邦学习方法包括下述步骤：步骤一、客户端进行本地更新与隐私保护首先，客户端利用本地训练数据集训练深度学习模型，对所述深度学习模型求解获得本地模型参数；然后，对本地模型参数进行差分隐私处理，获得包含扰动保护的本地模型参数；最后，将包含扰动保护的本地模型参数发送至相应的边缘服务器；步骤二、边缘服务器进行端
‑
边聚合与隐私保护首先，边缘服务器对接收到的多个包含扰动保护的本地模型参数进行端
‑
边聚合计算，获得边缘聚合参数，并将所述边缘聚合参数广播下发至客户端；然后，对边缘聚合参数进行差分隐私处理，获得包含扰动保护的边缘聚合参数；最后，将包含扰动保护的边缘聚合参数发送至云服务器；步骤三、云服务器进行边
‑
云聚合与全局模型参数下发首先，云服务器对接收到的多个包含扰动保护的边缘聚合参数进行边
‑
云聚合计算，获得全局模型参数；然后，将所述全局模型参数广播下发至客户端；步骤四、迭代执行上述步骤一至步骤三直至每个客户端的本地更新次数达到其预设的本地更新总次数后停止执行，完成分层联邦学习模型训练。2.根据权利要求1所述的一种应用差分隐私保护的分层联邦学习方法，其特征在于，步骤一中所述深度学习模型为卷积神经网络模型；对所述深度学习模型求解采用小批量随机梯度下降训练方法。3.根据权利要求2所述的一种应用差分隐私保护的分层联邦学习方法，其特征在于，步骤一中对本地模型参数进行差分隐私处理的方法为基于雷尼差分隐私的矩统计方法，具体步骤包括：首先，根据本地隐私参数计算客户端所添加噪声的本地标准差；然后，将所述本地标准差加入到求解获得的本地模型参数中，从而获得包含扰动保护的本地模型参数。4.根据权利要求3所述的一种应用差分隐私保护的分层联邦学习方法，其特征在于，步骤一中根据本地隐私参数计算客户端所添加噪声的本地标准差的具体公式为：其中，表示端
‑
边聚合过程的敏感度；q
l
表示端
‑
边聚合的客户端选择率；K表示客户端内本地更新总次数；k1表示一轮端
‑
边聚合内的本地更新次数；表示本地隐私参数。5.根据权利要求4所述的一种应用差分隐私保护的分层联邦学习方法，其特征在于，步骤二中边缘服务器根据客户端本地训练数据集在对应的边缘服务器的总训练数据集的占比，以不同的权重对多个包含扰动保护的本地模型参数进行端
‑
边聚合计算。6.根据权利要求5所述的一种应用差分隐私保护的分层联邦学习方法，其特征在于，步骤二中对边缘聚合参数进行差分隐私处理的方法为基于雷尼差分隐私的矩统计方法，具体
步骤包括：首先，根据边缘隐私参数计算边缘服务器所添加噪声的边缘标准差；然后，将所述边缘标准差加入到经过端
‑
边聚合计算后获得的边缘聚合参数中，从而获得包含扰动保护的边缘聚合参数。7.根据权利要求6所述的一种应用差分隐私保护的分层联邦学习方法，其特征在于，步骤二中根据边缘隐私参数计算边缘服务器所添加噪声的边缘标准差σ
l
的具体公式为：其中，是边
‑
云聚合过程的敏感度；q
c
表示边
‑
云聚合的边缘服务器选择...

【专利技术属性】
技术研发人员：张伟哲，石路，束建刚，刘洋，方滨兴，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：