一种基于Paillier的联邦学习数据隐私保护方法技术

本发明专利技术公开了一种基于Paillier的联邦学习数据隐私保护方法，其实现步骤为：构建联邦学习系统，联邦服务器初始化参数并分发个客户端，随机选择一个客户端生成公钥和私钥并共享给其余的客户端，全部客户端根据公钥和私钥分别建立明文池和噪声池。在训练过程中，客户端根据自身的私有数据计算得到局部梯度，然后与联邦学习系统中的其余客户端同步梯度范围，确定量化系数，客户端根据量化系数量化梯度，然后基于明文池和噪声池加密梯度数据并发送给服务器，服务器在收到所有客户端的加密梯度后，直接聚合梯度而不进行解密，然后返回聚合梯度给客户端。客户端根据私钥进行解密，更新自身模型，进入下一个迭代。进入下一个迭代。进入下一个迭代。

【技术实现步骤摘要】
一种基于Paillier的联邦学习数据隐私保护方法


[0001]本专利技术涉及一种保护方法，具体涉及一种基于Paillier的联邦学习数据隐私保护方法，属于数据处理


技术介绍

[0002]近年来机器学习的发展如火如荼，在图像处理、自然语言处理、强化学习、对抗式生成网络等领域取得了令人瞩目的成果。在这些领域取得良好的效果无疑离不开大量数据进行训练。
[0003]2016年，为解决安卓系统更新的问题，谷歌提出可以在用户的手机上部署神经网络训练，只需要将训练好的模型参数上传，而不需要上传用户数据，一定程度上保证了个人数据的私密，这就是联邦学习（federated learning）的核心理念。在联邦学习中，客户端与服务端通过交换梯度训练全局模型，尽管梯度信息看上去是一些杂乱无章、毫无规律的数据，但是攻击者仍然可以通过部分梯度信息推测出客户端上的训练数据类别，甚至推测出客户端身份。因此，加法同态加密（HE），特别是基于合数剩余问题的加密算法Paillier，在联邦学习中特别有吸引力，因为它提供了强大的隐私保障，而不会损失学习准确性。基于Paillier算法的联邦学习提供了不错的隐私保护性，但是模幂运算影响了它的计算性能。
[0004]专利：一种联邦学习系统中的快速 Paillier加密方法（申请号：202210527155 .5），包括：步骤1，离线得出以模幂运算密态零集合：在训练协议离线阶段，联邦 学习系统各参与方根据自身对应训练任务确定 自身加密任务总次数，各参与在本地用公钥以模 幂运算生成与自身加密任务总次数对应数量的 密态零组成密态零集合；步骤2，利用离线得出的密态零集合以模乘运算在线加密：在训练协议在线阶段，各参与方每次对明文执行Paillier加密时，均从该参与方生成的密态零集合中随机选一个密态零以模乘运算进行本次Paillier加密操 作，并在密态零集合去除本次所选密态零。该方法能减少在线阶段加密运算时间开销，有效提升联邦学习训练协议在线阶段运行效率；该文献所使用的方法能减少在线阶段加密运算时间开销，有效提升联邦学习训练协议在线阶段运行效率。但存在如下不足：（1）仅能针对小模型训练，对于大模型来说，由于参数过多，如果迭代次数较多的话，需要的密态零集合过大，存储空间空间不足；（2）没有对解密过程进行优化，仅仅针对加密过程进行了优化，解密过程仍然存在大量的模幂运算。因此，迫切的需要一种新的方案解决上述技术问题。

技术实现思路

[0005]本专利技术正是针对现有技术中存在的问题，提供一种基于Paillier的联邦学习数据隐私保护方法，该技术方案利用联邦学习中加解密在同一机器上和明文集合有限的特点，改进Paillier算法的加密和解密。通过将模型梯度量化到有限的集合，预计算g
m
mod n2部分结果，建立明文池，避免部分不必要的计算开销，同时选择特定的随机数进行加密，同样地，
预计算一部分r
n
mod n2保存到一个随机数池，同时利用上传和下载梯度的间隙，更新随机数池，保持随机。在解密部分，由于选择了特定的随机数进行加密，本专利技术的方法直接跳过了原始的模幂运算解密方案，通过对密文直接取模，然后进行简单操作即可进行解密。
[0006]为了实现上述目的，本专利技术的技术方案如下，一种基于Paillier的联邦学习数据隐私保护方法，所述方法包括以下步骤：S1服务器根据模型结构生成模型参数，然后将模型参数共享给联邦学习中的其他客户端,S2随机选择一个客户端生成公钥和私钥，然后分发给所有参与训练的客户端,S3客户端分别根据公钥和私钥建立明文池和噪声池，其中噪声池根据私钥产生,S4客户端根据自身的私有数据集和模型参数计算得到梯度，然后将梯度进行量化,S5量化后的梯度数据根据明文池和噪声池进行加密，从而跳过加密过程中的模幂运算,S6将加密后的数据发送给服务器进行聚合操作，在等待时间利用自乘更新噪声池,S7服务器在收到所有客户端发送的加密梯度后执行聚合操作,S8客户端收到聚合后的加密梯度后利用私钥进行解密，S9解密后的梯度利用反量化公式计算得到原始梯度，更新客户端上的局部模型，进入下一轮迭代。
[0007]具体实现过程如下，所述方法包括以下步骤：步骤S1，服务器根据模型结构初始化模型参数，然后将初始化的模型参数共享给联邦学习中的其他客户端。
[0008]所述S2中，随机选择一个客户端生成公钥和私钥，然后分发给所有参与训练的客户端，其中，和均为长度为1024
‑
bit的大素数，，为了方便快速生成公钥，令，是两个大素数成绩，和都是公钥，同时将公钥发送给服务器。
[0009]步骤S3，如图2所示，根据公钥预计算的结果，如果是8
‑
bit的量化方案，仅仅只需要保持256个计算结果，的范围在0
‑
255之间，为了保持训练精度，选择量化到12
‑
bit，于是的范围在0
‑
4095之间，这种情况下也仅仅需要保存4096个预计算结果，这对当今计算机内存而言是微乎其微的。将保存预计算结果的变量称为明文池；其中令，在计算时，可以根据二项式展开快速计算，，根据上述公式可以快速初始化明文池。
[0010]同样的，为噪声，的长度为2048
‑
bit，根据预计算结果，并将其保存，称之为噪声池。噪声池的长度为的个数为10000以保证噪声不备重复使用。相比于Paillier中的加密，预计算和部分，便于在加密的时
候跳过加密中的模幂运算，大大提高了加密速度。
[0011]步骤S4中，客户端根据自身的私有数据集和模型参数反向求导计算得到梯度，梯度在[
‑
1,1]之间，进一步将它量化到一个
Ϻ
‑
bit的无符号整数，设表示标准舍入函数，的量化映射值为，其中min=
‑
0.5，max=0.5，那么反量化公式则为，其中为量化后的数值，由此将一个32位浮点数量化到了
Ϻ
‑
bit位整数，梯度量化的另一个好处是明文可以预知，即明文的范围有限。
[0012]步骤S5，在Paillier中的加密公式为，其中，，，为明文，为噪声，为客户端的加密梯度。根据之前建立的噪声池和明文池，加密公式可以变为，其中，和是储存在明文池和噪声池的预计算结果。于是加密过程中大量的模幂运算被简化成两个大数相乘取余操作，节约计算时间。同时，由于客户端同时持有私钥和公钥，因此可以利用私钥生成噪声，利用这些特殊的噪声加速解密速度。
[0013]步骤S6，客户端将加密的数据发给服务端。为了避免噪声池里的数据重复使用。利用客户端等待服务端聚合梯度的等待时间，更新自身噪声池。首先打乱噪声池里的数据顺序，然后与为打乱顺序的噪声池进行自乘其中，r为噪声，为打乱顺序的噪声，为噪声池里的更新数据。
[0014]步骤S7，服务端在收到所有客户端发来的数据后，聚合加密后的梯度数据，然后发个所有客户端。
[0015本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Paillier的联邦学习数据隐私保护方法，其特征在于，所述方法包括以下步骤：S1服务器根据模型结构生成模型参数，然后将模型参数共享给联邦学习中的其他客户端，S2随机选择一个客户端生成公钥和私钥，然后分发给所有参与训练的客户端，S3客户端分别根据公钥和私钥建立明文池和噪声池，其中噪声池根据私钥产生，S4客户端根据自身的私有数据集和模型参数计算得到梯度，然后将梯度进行量化，S5量化后的梯度数据根据明文池和噪声池进行加密，从而跳过加密过程中的模幂运算，S6将加密后的数据发送给服务器进行聚合操作，在等待时间利用自乘更新噪声池，S7服务器在收到所有客户端发送的加密梯度后执行聚合操作，S8客户端收到聚合后的加密梯度后利用私钥进行解密，S9解密后的梯度利用反量化公式计算得到原始梯度，更新客户端上的局部模型，进入下一轮迭代。2.如权利要求1所述的一种基于Paillier的联邦学习数据隐私保护方法，其特征在于，所述S1中，服务器根据模型结构初始化模型参数，然后将初始化的模型参数共享给联邦学习中的其他客户端。3.如权利要求2所述的一种基于Paillier的联邦学习数据隐私保护方法，其特征在于，所述S2中，随机选择一个客户端生成公钥和私钥，然后分发给所有参与训练的客户端，其中，和均为长度为1024
‑
bit的大素数，，，是两个大素数成绩，和都是公钥。4.如权利要求3所述的一种基于Paillier的联邦学习数据隐私保护方法，其特征在于，所述S3中，客户端分别根据公钥和私钥建立明文池和噪声池，明文池和噪声池分别储存，其中，和是储存在明文池和噪声池的预计算结果，为明文，为噪声，在联邦学习中，客户端同时持有私钥和公钥，因此，私钥用来产生噪声。5.如权利要求4所述的一种基于Paillier的联邦学习数据隐私保护方法，其特征在于，所述S4中，客户端根据自身的私有数据集和模型参数反向求导计算得...

【专利技术属性】
技术研发人员：汪芸，徐超，
申请(专利权)人：东南大学，
类型：发明
国别省市：