一种基于联邦学习的隐私计算方法、装置、系统及设备制造方法及图纸

本发明专利技术实施例提供了一种基于联邦学习的隐私计算方法、装置、系统及设备，所述方法应用于服务器端，包括：确定参与本次迭代训练的各目标客户端；将预设的剪裁参数发送至各目标客户端，以使各目标客户端对子模型参数变化值进行剪裁；接收剪裁后的子模型参数变化值并进行聚合处理，得到聚合模型参数变化值；基于加噪处理后得到的聚合模型参数变化值与本次迭代目标聚合模型参数，更新目标聚合模型参数；在当前迭代满足预设收敛条件时，按照中心极限定理，利用f‑差分隐私机制对目标聚合模型的隐私参数值进行计算；在不满足时返回执行确定参与本次迭代训练的各目标客户端的步骤。本发明专利技术实施例，能够对基于联邦学习的模型隐私参数进行计算。

【技术实现步骤摘要】
一种基于联邦学习的隐私计算方法、装置、系统及设备
本专利技术涉及联邦学习
，特别是涉及一种基于联邦学习的隐私计算方法、装置、系统及设备。
技术介绍
随着科技的发展，国际社会上对信息安全、个人隐私的问题越来越重视，各种相关的法案相继颁布，对私人数据的管理、监督、保护更加全面化、严格化、密集化。各公司对各自的数据也越来越重视，作为资产不可能拿出来分享，这就造成了数据孤岛的现象。为解决设备间的数据孤岛问题，谷歌提出了针对手机终端的联邦学习方法。联邦学习，就是联合不同终端、不同公司、不同商家等的数据，共同训练模型，可以有效解决数据孤岛问题，让参与方在不共享数据的基础上联合建模，能从技术上打破数据孤岛。相关技术中，基于联邦学习的模型，为保护各终端用户数据的隐私，模型训练过程中，在各终端为本地用户数据添加扰动噪声，进而将添加扰动得到的终端子模型参数上传至服务器进行联合训练，实现用户级别数据的隐私保护。在该过程中，联合训练得到的模型隐私参数的计算成为亟待解决的技术问题。
技术实现思路
本专利技术实施例的目的在于提供一种基于联本文档来自技高网...

【技术保护点】
1.一种基于联邦学习的隐私计算方法，其特征在于，应用于服务器端，所述方法包括：/n从多个分别存储不同样本数据的客户端中，确定参与本次迭代训练的各目标客户端；/n将预设的剪裁参数发送至各所述目标客户端，以使各所述目标客户端基于所述预设的剪裁参数对子模型参数变化值进行剪裁，得到剪裁后的子模型参数变化值，其中，所述子模型参数变化值为：各所述目标客户端分别利用本地样本数据对本地子模型进行训练，得到的训练前后子模型参数的变化值；/n接收各所述目标客户端发送的所述剪裁后的子模型参数变化值；/n对各所述剪裁后的子模型参数变化值进行聚合处理，得到聚合模型参数变化值；/n利用差分隐私机制对所述聚合模型参数变化值...

【技术特征摘要】
1.一种基于联邦学习的隐私计算方法，其特征在于，应用于服务器端，所述方法包括：
从多个分别存储不同样本数据的客户端中，确定参与本次迭代训练的各目标客户端；
将预设的剪裁参数发送至各所述目标客户端，以使各所述目标客户端基于所述预设的剪裁参数对子模型参数变化值进行剪裁，得到剪裁后的子模型参数变化值，其中，所述子模型参数变化值为：各所述目标客户端分别利用本地样本数据对本地子模型进行训练，得到的训练前后子模型参数的变化值；
接收各所述目标客户端发送的所述剪裁后的子模型参数变化值；
对各所述剪裁后的子模型参数变化值进行聚合处理，得到聚合模型参数变化值；
利用差分隐私机制对所述聚合模型参数变化值进行加噪处理，并基于加噪处理后得到的聚合模型参数变化值与本次迭代目标聚合模型参数，更新目标聚合模型参数，以及将更新后的目标聚合模型参数发送给各所述目标客户端；
在当前迭代次数满足预设收敛条件的情况下，按照中心极限定理，利用f-差分隐私机制对目标聚合模型的隐私参数值进行计算；
在当前迭代次数不满足预设收敛条件的情况下，返回执行从多个分别存储不同样本数据的客户端中，确定参与本次迭代训练的各目标客户端的步骤。


2.根据权利要求1所述的方法，其特征在于，所述将预设的剪裁参数发送至各所述目标客户端，以使各所述目标客户端基于所述预设的剪裁参数对子模型参数变化值进行剪裁，得到剪裁后的子模型参数变化值的步骤，包括：
将预设的剪裁参数发送至各所述目标客户端，以使各所述目标客户端基于所述预设的剪裁参数分别对子模型各层的参数变化值进行剪裁，得到剪裁后的子模型参数变化值；其中，子模型各层的参数变化值为：各所述目标客户端分别利用本地样本数据对本地子模型进行训练，得到的训练前后子模型各层的参数变化值。


3.根据权利要求1所述的方法，其特征在于，所述利用差分隐私机制对所述聚合模型参数变化值进行加噪处理，并基于加噪处理后得到的聚合模型参数变化值与本次迭代目标聚合模型参数，更新目标聚合模型参数的步骤，包括：
利用差分隐私机制，使用如下第一预设表达式，对所述聚合模型参数变化值进行加噪处理，并基于加噪处理后得到的聚合模型参数变化值与本次迭代目标聚合模型参数，更新目标聚合模型参数：



其中，wt+1表示更新后的目标聚合模型参数，wt表示第t次迭代下目标聚合模型参数，Δwt+1表示聚合模型参数变化值，m表示目标客户端的个数，表示期望为0，方差为z2·S2的高斯分布函数，z表示噪声尺度参数，S表示预设的剪裁参数。


4.根据权利要求1所述的方法，其特征在于，所述按照中心极限定理，利用f-差分隐私机制对目标聚合模型的隐私参数值进行计算的步骤，包括：
使用如下第二预设表达式，对目标聚合模型的隐私参数值进行计算：



其中，μ表示目标聚合模型的隐私参数值，p表示对目标客户端的抽样概率，T表示联邦学习的预设迭代次数，z表示噪声尺度参数，Φ()表示正态分布的累计分布函数。


5.一种基于联邦学习的隐私计算装置，其特征在于，应用于服务器端，所述装置包括：
确定模块，用于从多个分别存储不同样本数据的客户端中，确定参与本次迭代训练的各目标客户端；
发送模块，用于将预设的剪裁参数发送至各所述目标客户端，以使各所述目标客户端基于所述预设的剪裁参数对子模型参数变化值进行剪裁，得到剪裁后的子模型参数变化值，其中，所述子模型参数变化值为：各所述目标客户端分别利用本地样本数据对本地子模型进行训练，得到的训练前后子模型参数的变化值；
接收模块...

【专利技术属性】
技术研发人员：李丽香，李卉桢，彭海朋，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11