一种可验证的隐私保护联邦学习方法及系统技术方案

本发明专利技术公开了一种可验证的隐私保护联邦学习方法及系统，属于联邦学习安全领域，解决基于多密钥同态加密的隐私保护联邦学习所面临的问题，即服务器返回的聚合密文至少需要两个客户端进行合作解密，无法实现单个客户端独自解密，在服务器不可信的情况下，从而会造成客户端密钥泄露的问题。本发明专利技术包括系统初始化、密钥生成、本地模型训练、加密上传、模型聚合及部分解密和完全解密。本发明专利技术用于隐私保护联邦学习。联邦学习。联邦学习。

【技术实现步骤摘要】
一种可验证的隐私保护联邦学习方法及系统


[0001]一种可验证的隐私保护联邦学习方法及系统，用于隐私保护联邦学习，属于联邦学习安全领域。

技术介绍

[0002]深度学习(Deep Learning，DL)是机器学习中的研究方向之一，它的出现使得传统的机器学习更加接近于其最初的目标
‑
人工智能。正是由于这一独特的优势，使得DL吸引了众多学者的关注，并被广泛应用于多个领域，如自然语言处理、数据挖掘及医疗预测等。在传统的集中式DL中，用户或移动设备的数据将会被上传至一个中央数据中心，随后数据中心(如大型服务器等)基于这些数据和一些机器学习算法来训练得到最终模型。然而，这种方式存在着很大的缺陷。首先，随着国内外有关隐私保护法律法规的完善及人们隐私保护意识的提高，越来越多的用户、公司及政府机构不再愿意将数据直接上传至一个中央数据中心，这也是造成数据孤岛问题出现的根本原因。其次，在现实场景中集中式DL还面临着单点故障威胁及高延迟、开销大等问题。为解决这些问题，Google在2016年提出了一种分布式机器学习架构，即联邦学习(Federat本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可验证的隐私保护联邦学习方法，其特征在于，包括如下步骤：步骤S1.基于给定的安全参数生成客户端和服务器的公私钥，服务器基于深度学习模型、客户端和服务器的公私钥初始化一个全局模型W0，全局模型即指全局模型明文，是所有客户端本地模型的聚合结果，本地模型为深度学习模型；步骤S2.若为第一轮训练，客户端基于全局模型W
n
及本地数据对深度学习模型进行训练，并采用多钥Paillier同态加密算法对本地模型加密并上传至服务器，若为t轮训练，t为取值大于1的整数，客户端接收来自服务器的上一轮训练得到全局模型密文，使用自身私钥对其进行解密，得到全局模型明文，并基于该全局模型和本地数据进行训练，获得新的本地模型，随后采用多钥Paillier同态加密算法对本地模型加密并上传至服务器，其中，加密后的本地模型即为本地模型密文，本地数据是深度学习任务所需的数据，根据不同训练任务数据，为图片数据、文本数据、音频数据或时间序列；步骤S3.服务器聚合所有客户端上传的本地模型密文为全局模型密文，并基于该全局模型密文和服务器私钥获得部分解密后的全局模型密文；步骤S4.服务器将部分解密后的全局模型密文传输给每个客户端，客户端使用自身私钥完全解密获得最终的全局模型明文。2.根据权利要求1所述的一种可验证的隐私保护联邦学习方法，其特征在于，所述步骤S1的具体步骤为：S1.1.基于给定的安全参数λ获取素数p和q；S1.2.基于素数构建第一乘法循环群和第二乘法循环群S1.3.基于第一乘法循环群和第二乘法循环群获取生成元g、g1和g2；S1.4.基于两个第一乘法循环群和一个第二乘法循环群构建双线性对S1.5.基于哈希函数、素数、第一乘法循环群、第二乘法循环群、生成元、双线性对构建系统公开参数其中，大整数N＝pq，一个解密所需的关于x的函数从Z
N
中选取k个随机数z
i
(i∈{1，2，...，k})，并计算2k个系统公开参数值i表示第i个；S1.6.基于系统公开参数，选择多个随机数d
j
∈
R
Z
N
作为第j个客户端u
j
的私钥sk
j
(j∈{1，2，
…
，n})，R表示随机选择，并以随机数为解构建一个秘密多项式函数，n})，R表示随机选择，并以随机数为解构建一个秘密多项式函数其中，a1是多项式函数中第l项的系数，y
l
是多项式函数含变量y的每一项，ψ(N2)是N2的欧拉函数结果，N即为系统公开参数中的N，最后基于秘密多项式系数和生成元构建所有客户端公钥S1.7.基于系统公开参数，可信第三方选择的随机数x∈
R
Z
N
作为服务器的私钥sk
s
，基于服务器的私钥，计算服务器对应的公钥S1.8.联邦学习任务颁布者设置联邦学习任务初始化超参数，并设置机器学习算法；S1.9.服务器基于深度学习模型、客户端和服务器的公私钥初始化全局模型W0，其中，深
度学习模型为全局神经网络模型。3.根据权利要求2所述的一种可验证的隐私保护联邦学习方法，其特征在于，所述步骤S2的具体步骤为：步骤S2.1.若为第一轮训练，客户端基于全局模型W0、本地数据、机器学习算法和超参数对深度学习模型进行训练，即训练本地模型，并转到步骤S2.3，其中，机器学习算法为随机梯度下降；步骤S2.2.若为t轮训练，t为取值大于1的整数，客户端u
j
接收来自服务器的上一轮训练得到全局模型密文C(W
t
‑1)，使用自身私钥对其进行解密，得到的全局模型W
t
‑1，并基于该全局模型和本地数据进行训练，获得新的本地模型其中，η表示学习率，表示偏导，b表示偏置，并转到步骤S2.3；S2.3.客户端u
j
(j∈{1，...，n})选择随机数其中，计算训练后的本地模型所对应的一个n+2维本地模型密文向量c
j
＝(c
j，0
，c
j，1
，...，c
j，m
，c
j，n
，c
j，n+1
)，其中，c
j，m
(j∈{1，...，n}，m∈{0，1，...，n+1})是第j个客户端本地...

【专利技术属性】
技术研发人员：陈涛，汪小芬，杨浩淼，李雄，张可，李芳，王艳平，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：