面向联邦学习的差分隐私保护方法及装置制造方法及图纸

本发明专利技术提供一种面向联邦学习的差分隐私保护方法及装置，该方法包括：获取参与当前轮学习的各个客户端上传的模型权重差；根据当前轮学习对应的裁剪参数，对所述各个客户端上传的模型权重差分别执行裁剪操作；对执行裁剪操作后的各个模型权重差进行聚合，并根据当前轮学习对应的高斯噪声分布对聚合后的模型权重差进行加噪处理，完成当前轮学习的模型更新；其中，当前轮学习对应的高斯噪声分布根据当前轮学习对应的噪声尺度和当前轮学习对应的裁剪参数确定，各轮次学习对应的噪声尺度随学习轮次的增加逐渐减小。能够使所加噪声贴合当前客户端上传的模型权重信息特点，从而获得更高的模型精度，并有效减少差分隐私保护中的隐私预算。预算。预算。

【技术实现步骤摘要】
面向联邦学习的差分隐私保护方法及装置


[0001]本专利技术涉及联邦学习
，尤其涉及一种面向联邦学习的差分隐私保护方法及装置。

技术介绍

[0002]联邦学习作为一种分布式框架，可用于解决数据孤岛问题，使得个人设备或者组织机构不用上传聚合原本的私密数据，而只需要上传模型训练所需要的梯度即可。联邦学习对于现有的自动驾驶技术、自然语言处理以及推荐系统等深度学习应用领域具有一定的启发，已经成为目前人工智能发展的新趋势。
[0003]理想情况下，联邦学习中每一个角色只允许获得其所需要的信息，然而每个客户端的参与，以及每次客户端与服务器之间的交互过程都可能造成隐私泄露。
[0004]为了实现隐私保护，在联邦学习中，可应用差分隐私技术，比如中心差分隐私、本地差分隐私、分布式差分隐私、混合式差分隐私等。然而，目前的差分隐私技术存在如下一些问题尚未得到有效地改善：差分隐私技术的计算开销巨大，对加噪模型的训练需要更多算力，差分算法有待优化；随着客户端与服务器沟通次数的增加，共享模型所需总体噪声增大，这将导致添加噪声后的数据的可用性也随之降低。

技术实现思路

[0005]针对现有技术存在的问题，本专利技术提供一种面向联邦学习的差分隐私保护方法及装置。
[0006]第一方面，本专利技术提供一种面向联邦学习的差分隐私保护方法，包括：
[0007]获取参与当前轮学习的各个客户端上传的模型权重差；
[0008]根据当前轮学习对应的裁剪参数，对所述各个客户端上传的模型权重差分别执行裁剪操作；
[0009]对执行裁剪操作后的各个模型权重差进行聚合，并根据当前轮学习对应的高斯噪声分布对聚合后的模型权重差进行加噪处理，完成当前轮学习的模型更新；
[0010]其中，当前轮学习对应的高斯噪声分布根据当前轮学习对应的噪声尺度和当前轮学习对应的裁剪参数确定，各轮次学习对应的噪声尺度随学习轮次的增加逐渐减小。
[0011]可选地，所述根据当前轮学习对应的裁剪参数，对所述各个客户端上传的模型权重差分别执行裁剪操作，包括：
[0012]对所述各个客户端上传的模型权重差分别进行范数处理，得到各所述模型权重差的范数值；
[0013]根据各所述模型权重差的范数值中位数，将各所述模型权重差划分为多个模型权重差集合；
[0014]根据每个所述模型权重差集合所对应的范数值中位数，确定相应的模型权重差集合的裁剪参数；
[0015]根据每个所述模型权重差集合的裁剪参数，对相应的模型权重差集合中的模型权重差执行裁剪操作。
[0016]可选地，所述当前轮学习对应的高斯噪声分布根据当前轮学习对应的噪声尺度和当前轮学习对应的裁剪参数中的最大值确定。
[0017]可选地，所述当前轮学习对应的高斯噪声分布为N(0,z2·
S
max2
)，其中，z表示当前轮学习对应的噪声尺度，S
max
表示所述多个模型权重差集合的裁剪参数中的最大值。
[0018]可选地，所述当前轮学习对应的噪声尺度根据以下公式确定：
[0019][0020]其中，z表示当前轮学习对应的噪声尺度，a表示初始噪量，b表示随学习轮次的增加在每一轮所加噪量的变化程度，c表示添加噪声的减少速度，x表示当前的学习轮次。
[0021]可选地，所述方法还包括：
[0022]对于所述各个客户端中的任一目标客户端，根据所述目标客户端对应的执行裁剪操作后的模型权重差和所述目标客户端当前参与联邦学习的次数，确定所述目标客户端的当前贡献度。
[0023]第二方面，本专利技术还提供一种面向联邦学习的差分隐私保护装置，包括：
[0024]获取模块，用于获取参与当前轮学习的各个客户端上传的模型权重差；
[0025]裁剪模块，用于根据当前轮学习对应的裁剪参数，对所述各个客户端上传的模型权重差分别执行裁剪操作；
[0026]聚合加噪模块，用于对执行裁剪操作后的各个模型权重差进行聚合，并根据当前轮学习对应的高斯噪声分布对聚合后的模型权重差进行加噪处理，完成当前轮学习的模型更新；
[0027]其中，当前轮学习对应的高斯噪声分布根据当前轮学习对应的噪声尺度和当前轮学习对应的裁剪参数确定，各轮次学习对应的噪声尺度随学习轮次的增加逐渐减小。
[0028]第三方面，本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述第一方面所述的面向联邦学习的差分隐私保护方法。
[0029]第四方面，本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述第一方面所述的面向联邦学习的差分隐私保护方法。
[0030]第五方面，本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述面向联邦学习的差分隐私保护方法。
[0031]本专利技术提供的面向联邦学习的差分隐私保护方法及装置，通过随学习轮次的增加逐渐减小噪声尺度进行自适应加噪，能够充分根据服务器与客户端的每次沟通中模型权重差变化特点，令在服务器与客户端的每次沟通中，所加噪声都能够贴合当前客户端上传的模型权重信息特点，从而获得更高的模型精度，并有效减少差分隐私保护中的隐私预算。
附图说明
[0032]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术
描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]图1是本专利技术提供的联邦学习的架构图；
[0034]图2是本专利技术提供的面向联邦学习的差分隐私保护方法的流程示意图；
[0035]图3是本专利技术提供的面向联邦学习的差分隐私保护方法的实施流程图；
[0036]图4是本专利技术提供的面向联邦学习的差分隐私保护装置的结构示意图；
[0037]图5是本专利技术提供的电子设备的结构示意图。
具体实施方式
[0038]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0039]为了便于更加清晰地理解本专利技术的技术方案，首先对本专利技术相关的一些
技术实现思路
进行介绍。
[0040](1)联邦学习。
[0041]图1为本专利技术提供的联邦学习的架构图，如图1所示，联邦架构主要由参数服务器与被视作数据持有者的客户端构成，数据持有者对终端设备具有自主控制权，节点并不稳定，节点负载也不均衡，例如，用户的智能手机。参数服务器初始化全局模型参数，对每一次迭代都随机选本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向联邦学习的差分隐私保护方法，其特征在于，包括：获取参与当前轮学习的各个客户端上传的模型权重差；根据当前轮学习对应的裁剪参数，对所述各个客户端上传的模型权重差分别执行裁剪操作；对执行裁剪操作后的各个模型权重差进行聚合，并根据当前轮学习对应的高斯噪声分布对聚合后的模型权重差进行加噪处理，完成当前轮学习的模型更新；其中，当前轮学习对应的高斯噪声分布根据当前轮学习对应的噪声尺度和当前轮学习对应的裁剪参数确定，各轮次学习对应的噪声尺度随学习轮次的增加逐渐减小。2.根据权利要求1所述的面向联邦学习的差分隐私保护方法，其特征在于，所述根据当前轮学习对应的裁剪参数，对所述各个客户端上传的模型权重差分别执行裁剪操作，包括：对所述各个客户端上传的模型权重差分别进行范数处理，得到各所述模型权重差的范数值；根据各所述模型权重差的范数值中位数，将各所述模型权重差划分为多个模型权重差集合；根据每个所述模型权重差集合所对应的范数值中位数，确定相应的模型权重差集合的裁剪参数；根据每个所述模型权重差集合的裁剪参数，对相应的模型权重差集合中的模型权重差执行裁剪操作。3.根据权利要求2所述的面向联邦学习的差分隐私保护方法，其特征在于，所述当前轮学习对应的高斯噪声分布根据当前轮学习对应的噪声尺度和当前轮学习对应的裁剪参数中的最大值确定。4.根据权利要求3所述的面向联邦学习的差分隐私保护方法，其特征在于，所述当前轮学习对应的高斯噪声分布为N(0,z2·
S
max2
)，其中，z表示当前轮学习对应的噪声尺度，S
max
表示所述多个模型权重差集合的裁剪参数中的最大值。5.根据权利要求1至4任一项所述的面向联邦学习的差分隐私保护方法，...

【专利技术属性】
技术研发人员：李丽香，李卉桢，彭海朋，李海涛，陈俊，戴一挥，丁一航，姚俊先，杨方，刘济舟，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：