基于差分隐私的联合学习安全聚合方法及装置制造方法及图纸

本发明专利技术实施例提供了一种基于差分隐私的联合学习安全聚合方法及装置，应用于服务器，对联合模型和隐私会计值进行初始化；接收目标客户端利用目标客户端本地的用户数据对从服务器中下载的联合模型进行训练获得的本轮沟通的模型更新参数；基于模型更新参数利用差分隐私机制对服务器中的联合模型进行聚合以及加噪处理，得到并利用本轮沟通的更新模型更新服务器本地的联合模型；按照中心极限定理，利用f‑差分隐私机制更新隐私会计值；若当前的隐私会计值大于隐私阈值，将服务器本地的联合模型确定为训练得到的联合模型，否则，执行从多个分别存储有不同用户数据的客户端中，确定参与本轮沟通的目标客户端。本方案可以提高联合学习的安全性。

【技术实现步骤摘要】
基于差分隐私的联合学习安全聚合方法及装置
本专利技术涉及联合学习
，特别是涉及一种基于差分隐私的联合学习安全聚合方法及装置。
技术介绍
联合学习是指在无需多方数据实体泄露各自存储的数据以保护用户隐私的情况下，让一个模型从多方数据实体存储的海量数据中受益的模型训练过程。示例性的，多家医院可以聚合各自存储的患者医疗数据对模型作出的贡献，共同训练一个分析医学影像数据的机器视觉模型，而无需共享患者的医疗数据。多家银行可以聚合各自存储的用户账户数据对模型作出的贡献，共同训练一个用于评估用户的金融借贷风险的风险评估模型等等。在具体应用中，可以在数据实体也就是客户端本地为用户数据添加噪声，通过对用户数据的扰动保护用户隐私，从而实现联合学习的安全聚合。但是，上述安全聚合仅局限于保护用户数据级的隐私，攻击者有可能通过用户数据对模型作出的贡献还原用户数据，导致联合学习的安全性降低。
技术实现思路
本专利技术实施例的目的在于提供一种基于差分隐私的联合学习安全聚合方法及装置，以实现隐藏用户数据对模型作出的贡献，提高联合学习的安全性的效本文档来自技高网...

【技术保护点】
1.一种基于差分隐私的联合学习安全聚合方法，其特征在于，应用于服务器，所述方法包括：/n对联合模型和隐私会计值进行初始化；/n从多个分别存储有不同用户数据的客户端中，确定参与本轮沟通的目标客户端，并通知所述目标客户端下载所述服务器中的联合模型，以使得所述目标客户端利用所述目标客户端本地的用户数据，对所下载的联合模型进行训练，获得本轮沟通的模型更新参数，并发送给所述服务器；/n基于所接收的模型更新参数，利用差分隐私机制对所述服务器中的联合模型进行聚合以及加噪处理，得到本轮沟通的更新模型，并利用所述本轮沟通的更新模型，更新所述服务器本地的联合模型；/n按照中心极限定理，利用f-差分隐私机制更新所述...

【技术特征摘要】
1.一种基于差分隐私的联合学习安全聚合方法，其特征在于，应用于服务器，所述方法包括：
对联合模型和隐私会计值进行初始化；
从多个分别存储有不同用户数据的客户端中，确定参与本轮沟通的目标客户端，并通知所述目标客户端下载所述服务器中的联合模型，以使得所述目标客户端利用所述目标客户端本地的用户数据，对所下载的联合模型进行训练，获得本轮沟通的模型更新参数，并发送给所述服务器；
基于所接收的模型更新参数，利用差分隐私机制对所述服务器中的联合模型进行聚合以及加噪处理，得到本轮沟通的更新模型，并利用所述本轮沟通的更新模型，更新所述服务器本地的联合模型；
按照中心极限定理，利用f-差分隐私机制更新所述服务器中存储的隐私会计值，得到当前的隐私会计值；
当所述当前的隐私会计值大于隐私阈值时，将所述服务器本地的联合模型确定为训练得到的联合模型，否则，执行所述从多个分别存储有不同用户数据的客户端中，确定参与本轮沟通的目标客户端，并通知所述目标客户端下载所述服务器中的联合模型。


2.根据权利要求1所述的方法，其特征在于，所述基于所接收的模型更新参数，利用差分隐私机制对所述服务器中的联合模型进行聚合以及加噪处理，得到本轮沟通的更新模型，包括：
按照保证所述服务器中的联合模型对不同用户数据之间的识别差异属于预设区间的规则，获取裁剪参数；
利用所述裁剪参数以及所接收的模型更新参数，对所述服务器中的联合模型的各神经网络层进行分层裁剪，获得各神经网络层对应的裁剪后更新参数；
针对所述服务器中的联合模型的各神经网络层，利用差分隐私机制对该神经网络层对应的裁剪后更新参数进行聚合以及加噪处理，并将处理后的参数作为所述服务器中的联合模型的参数，得到本轮沟通的更新模型。


3.根据权利要求2所述的方法，其特征在于，所述按照保证所述服务器中的联合模型对不同用户数据之间的识别差异属于预设区间的规则，获取裁剪参数，包括：
按照联合平均公式获取裁剪权重；
将所述裁剪权重输入第一裁剪参数公式，得到裁剪参数；
其中，所述联合平均公式为：所述第一裁剪参数公式为：
所述Vk为第k个目标客户端的用户数据对应的裁剪权重，所述nk为第k个目标客户端的用户数据量，所述n为用户数据总量，所述Cj是第j层神经网络层的裁剪参数，所述Vk为第k个目标客户端的用户数据丰富度，所述m为目标客户端的总数，所述wj是第j层神经网络层的权重。


4.根据权利要求2所述的方法，其特征在于，所述按照保证所述服务器中的联合模型对不同用户数据之间的识别差异属于预设区间的规则，获取裁剪参数，包括：
针对所述服务器中的联合模型的各神经网络层，将该神经网络层的权重输入第二裁剪参数公式，得到裁剪参数；
其中，所述第二裁剪参数公式为：Cj＝median(||wj||2)；
所述Cj是第j层神经网络的裁剪参数，所述wj是第j层神经网络层的权重。


5.根据权利要求2所述的方法，其特征在于，所述利用所述裁剪参数以及所接收的模型更新参数，对所述服务器中的联合模型的各神经网络层进行分层裁剪，获得各神经网络层对应的裁剪后更新参数，包括：
针对所述服务器中的联合模型的各神经网络层，将该神经网络层对应的裁剪参数以及模型更新参数输入裁剪公式，得到该神经网络层对应的裁剪后更新参数；
其中，所述裁剪公式为：
所述为第t+1轮沟通中第j层神经网络层对应的裁剪后更新参数，所述Cj是第j层神经网络层的裁剪参数，所述为第t+1轮沟通所接收的模型更新参数中，第j层神经网络层的模型更新参数。

【专利技术属性】
技术研发人员：李丽香，周涛，彭海朋，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11