【技术实现步骤摘要】
本专利技术涉及联邦学习隐私保护，特别涉及一种自适应差分隐私调节的异步联邦学习方法及系统。
技术介绍
1、联邦学习是一种主流的具有隐私保护特性的分布式学习，其基本思想是各参与用户使用本地计算的梯度或模型与中心服务器进行交互，取代原始数据的直接交互，即“数据不动模型动”。异步联邦学习指各参与用户与中心服务器交互时不需要等待其余用户完成本地当前回合的更新，中心服务器对接收到的本地更新聚合时也无需事先指定参与更新的用户。异步联邦学习具有本地用户计算资源利用率高、整体训练时间较少等优点。
2、虽然异步联邦学习保证了参与用户原始数据的隐私安全，但用户与中心服务器交互的梯度仍可能泄露原始数据，一些攻击方法如逆向攻击、模型重构等具备从梯度或模型中恢复部分原始数据或数据特征的能力。差分隐私与异步联邦学习的结合可以在花费较少计算开销的同时增强联邦学习的隐私安全，其主要做法是对各参与用户对本地计算的梯度进行裁剪，并对裁剪后的梯度添加如高斯分布或拉普拉斯分布等噪声。中心服务器对用户上传的扰动后的噪声进行加权平均聚合，并将更新后的全局模型参量发送给参与用户。
3、已有在异步联邦学习主要使用静态的噪声方差或基于经验动态调节的噪声方差对梯度进行扰动，但由于引入的噪声量不能随联邦学习过程而自适应的改变，造成隐私保护程度不足或模型效用损害严重。若基于训练初始阶段设置裁剪大小和噪声方差，则联邦学习后期当梯度变小时将引入过量的噪声，从而损害模型效用。若基于训练中期或后期设置裁剪大小和噪声方差，则联邦学习前期提供的隐私保护能力将不足。因此，需要
技术实现思路
1、为此，本专利技术提供一种自适应差分隐私调节的异步联邦学习方法及系统，解决现有在异步联邦学习中使用固定噪声方差或基于经验设置动态噪声方差方法导致的模型效用差的问题，将实际梯度观测大小与理论分析的迭代次数双重控制自适应差分隐私调节，减小噪声的总体引入量，同时将噪声方差与梯度裁剪大小的比值设置为常值以保证整个过程隐私保护程度的一致，进而保证在不改变隐私保护程度的前提下通过减小总体引入的噪声量，提升隐私保护和模型效用，便于在实际应用中进行部署实施。
2、按照本专利技术所提供的设计方案，一方面，提供一种自适应差分隐私调节的异步联邦学习方法，包含：
3、中心服务器根据用户集合和模型结构对联邦学习参量进行估计，依据估计结果设置联邦学习控制参量，并将联邦学习控制参量广播至用户集合，所述用户集合为所有参与联邦学习的本地用户集合，所述联邦学习参量包括损失函数最大初始值、梯度范数最大值、初始梯度方差最大初始值、梯度利普希兹光滑参数和用户梯度与全局梯度之间的最大偏差，所述联邦学习控制参量包括初始噪声方差、梯度裁剪大小、阶段迭代次数上界、本地用户聚合数量、本地参与训练最小批次及全局模型学习率；
4、本地用户从中心服务器获取联邦学习参量及梯度范数最大值，基于联邦学习参量并利用本地数据训练本地模型，并对训练后的本地模型参数进行梯度扰动，并将梯度扰动结果上传至中心服务器，所述梯度扰动包括梯度计算、梯度裁剪和添加噪声扰动；
5、中心服务器依据接收顺序聚合最先接收的指定数量的本地用户梯度扰动结果，并依据聚合结果更新当前全局模型参量，并下发至本地用户；且中心服务器每经过预定条件下的全局模型更新后，更新梯度裁剪大小、噪声方差和全局模型学习率并下发至本地用户进行迭代联邦学习训练，直至全局模型收敛或者达到预设收敛条件。
6、作为本专利技术自适应差分隐私调节的异步联邦学习方法，进一步地，中心服务器根据用户集合和模型结构对联邦学习参量进行估计之前，还包含：
7、中心服务器对模型参量进行初始化，并将初始化后的模型参量广播给用户集合；
8、本地用户利用初始化的模型参量计算本地用户特征指标，并将结果反馈至中心服务器，以使中心服务器依据本地用户特征指标对联邦学习参量进行估计，所述本地用户特征指标包含利用本地数据计算的本地模型损失函数和梯度。
9、作为本专利技术自适应差分隐私调节的异步联邦学习方法，进一步地，中心服务器根据用户集合和模型结构对联邦学习参量进行估计，包含：
10、中心服务器基于用户上传的本地模型损失函数和梯度计算全局平均损失函数和全局平均梯度；
11、依据全局平均损失函数和全局平均梯度对联邦学习参量进行估计。
12、作为本专利技术自适应差分隐私调节的异步联邦学习方法，进一步地，依据估计结果设置联邦学习控制参量，包括：
13、依据梯度范数上界设置初始的梯度裁剪大小，并利用初始的梯度裁剪大小和预设比值常数设置初始的噪声标准差；
14、依据当前活跃本地用户数量、当前联邦学习轮次参与聚合的本地用户数量、梯度利普希兹光滑参数、梯度范数上界设置当前联邦学习阶段的学习率；
15、依据损失函数最大初始值、学习率、衰减因子和梯度范数上界设置当前联邦学习阶段迭代次数。
16、作为本专利技术自适应差分隐私调节的异步联邦学习方法，进一步地，当前联邦学习阶段的学习率γ表示为当前联邦学习阶段迭代次数ts满足其中，σ为初始梯度方差的最大初始值，z表示预设比值常数，g表示梯度范数上界，τc表示当前活跃本地用户数量，k表示当前联邦学习轮次参与聚合的本地用户数量，β表示用户本地梯度和全局梯度的最大偏差，l为梯度利普希兹光滑参数，γ表示损失函数最大初始值，θ表示衰减因子，b表示本地用户联邦学习最小批大小。
17、作为本专利技术自适应差分隐私调节的异步联邦学习方法，进一步地，本地用户对训练后的本地模型参数进行梯度扰动，包含：
18、使用梯度裁剪大小对模型参量在每个训练样本上的梯度进行裁剪，基于用户使用的本地最小批计算裁剪后平均梯度；
19、使用差分隐私对平均梯度添加高斯噪声，获取差分隐私保护的梯度信息，以将该梯度信息作为梯度扰动结果，上传至中心服务器。
20、作为本专利技术自适应差分隐私调节的异步联邦学习方法，进一步地，中心服务器更新梯度裁剪大小、噪声方差和全局模型学习率，包含：
21、中心服务器依据梯度扰动结果计算平均扰动梯度，并依据平均扰动梯度判断是否满足预设终止条件或判断当前阶段迭代次数是否被执行完毕，若两者满足其一，则依据衰减因子更新梯度裁剪大小和噪声方差，将更新后的梯度裁剪大小和噪声方差发送给当前参与联邦学习的本地用户，同时中心服务器对学习率和新联邦学习阶段的迭代次数进行更新，若两者均不满足，则返回本地用户基于联邦学习参量并利用本地数据训练本地模型的阶段，以通过重复执行本地用户和中心服务器对全局模型的协同更新，直至满足总体迭代次数。
22、再一方面，本专利技术还提供一种自适应差分隐私调节的异步联邦学习系统，包含：中心服务器和本地用户，其中，
23、中心服务器，根据用户集合和模型结构对联邦学习参量进行估计，依据估本文档来自技高网...
【技术保护点】
1.一种自适应差分隐私调节的异步联邦学习方法，其特征在于，包含：
2.根据权利要求1所述的自适应差分隐私调节的异步联邦学习方法，其特征在于，中心服务器根据用户集合和模型结构对联邦学习参量进行估计之前，还包含：
3.根据权利要求1或2所述的自适应差分隐私调节的异步联邦学习方法，其特征在于，中心服务器根据用户集合和模型结构对联邦学习参量进行估计，包含：
4.根据权利要求1所述的自适应差分隐私调节的异步联邦学习方法，其特征在于，依据估计结果设置联邦学习控制参量，包括：
5.根据权利要求4所述的自适应差分隐私调节的异步联邦学习方法，其特征在于，当前联邦学习阶段的学习率γ表示为当前联邦学习阶段迭代次数Ts满足其中，σ为初始梯度方差的最大初始值，z表示预设比值常数，G表示梯度范数上界，τC表示当前活跃本地用户数量，K表示当前联邦学习轮次参与聚合的本地用户数量，β表示用户本地梯度和全局梯度的最大偏差，L为梯度利普希兹光滑参数，Γ表示损失函数最大初始值，θ表示衰减因子，b表示本地用户联邦学习最小批大小。
6.根据权利要求1所述的自适应差
7.根据权利要求1所述的自适应差分隐私调节的异步联邦学习方法，其特征在于，中心服务器更新梯度裁剪大小、噪声方差和全局模型学习率，包含：
8.一种自适应差分隐私调节的异步联邦学习系统，其特征在于，包含：中心服务器和本地用户，其中，
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当计算机程序被执行时，能够实现如权利要求1～7任一项所述的方法。
...【技术特征摘要】
1.一种自适应差分隐私调节的异步联邦学习方法，其特征在于，包含：
2.根据权利要求1所述的自适应差分隐私调节的异步联邦学习方法，其特征在于，中心服务器根据用户集合和模型结构对联邦学习参量进行估计之前，还包含：
3.根据权利要求1或2所述的自适应差分隐私调节的异步联邦学习方法，其特征在于，中心服务器根据用户集合和模型结构对联邦学习参量进行估计，包含：
4.根据权利要求1所述的自适应差分隐私调节的异步联邦学习方法，其特征在于，依据估计结果设置联邦学习控制参量，包括：
5.根据权利要求4所述的自适应差分隐私调节的异步联邦学习方法，其特征在于，当前联邦学习阶段的学习率γ表示为当前联邦学习阶段迭代次数ts满足其中，σ为初始梯度方差的最大初始值，z表示预设比值常数，g表示梯度范数上界，τc表示当前活跃本地用户数量，k表示当前联邦学...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。