基于门限同态的自适应采样联邦学习隐私保护方法技术

本发明专利技术公开了一种基于门限同态的自适应采样联邦学习隐私保护方法，其实现步骤为：构建联邦学习系统，联邦服务器S初始化参数，密钥分发中心KDC生成客户端密钥，客户端A

【技术实现步骤摘要】
基于门限同态的自适应采样联邦学习隐私保护方法


[0001]本专利技术属于计算机
，涉及一种联邦学习隐私保护方法，具体涉及一种基于门限同态的自适应采样联邦学习隐私保护方法，可用于降低联邦学习过程中客户端通信负载，提高联邦学习隐私保护的通信效率，拓宽联邦学习隐私保护适用范围。

技术介绍

[0002]联邦学习是一种分布式机器学习框架，允许多个客户端协作训练机器学习模型，且无需共享隐私数据。概括地讲，联邦学习可以分为以下三个步骤。首先，服务器初始化全局模型并向客户端分发全局模型。其次，客户端使用服务器下发的全局模型在本地数据集上进行训练得到梯度，然后将梯度上传至服务器。最终，服务器将所有上传的梯度进行聚合，得到聚合梯度，随后使用聚合梯度更新全局模型。通过不断迭代以上三个步骤，最终训练得到训练后的模型。
[0003]然而，有研究表明，在联邦学习客户端上传梯度给服务器的过程中，存在隐私泄露的隐患：攻击者通过明文梯度可以反推客户端本地数据集中的数据。针对这一问题，许多学者提出应用同态加密算法对梯度明文进行加密来保护联邦学习客户端本地数据集的隐私。基于同态加密算法的联邦学习隐私保护与传统的联邦学习训练步骤基本一致，只需服务器在完成聚合后发送聚合梯度密文给给客户端进行解密，客户端随后上传解密过的明文梯度给服务器用于参数更新即可。
[0004]使用基于同态加密的联邦学习隐私保护方法其问题在于，实际应用中客户端通常部署在通信条件差，且通信资源严重不均的复杂网络环境中，导致客户端通信带宽低且客户端之间通信带宽差距极大。另外，加密梯度与明文梯度相比，其上传时通信带宽的需求至少增加一倍，且解密过的聚合梯度明文仍需要再次上传给服务器，求进一步加剧了客户端的通信负载，严重地降低了联邦学习的通信效率。
[0005]内蒙古大学在其申请的专利文献“一种基于同态加密的联邦学习隐私保护方法”(专利申请号：202110608465.5，申请公布号：CN113434873A)中公开了一种基于同态加密和差分隐私的联邦学习隐私保护方法。该方法在联邦学习每一轮客户端在本地计算梯度后，利用差分隐私随机梯度下降添加噪音，根据同态加密机制加密被扰动的梯度，发送至服务器。服务器根据所有收到的密文梯度，产生新的密文参数并发送给客户端，最终客户端根据所得密文参数解密并更新模型。该方法的不足之处在于，其需要客户端传输全部加密梯度给服务器，给客户端带来了过重的通信负载，且通信效率低下。例如，在实际中使用ResNet
‑
9作为训练网络，单个客户端单次上传加密梯度的总通信负载在50MB以上。此外，应用该方法，部分在窗口时间不能完成加密梯度传输的客户端无法参与联邦学习隐私保护，压缩了联邦学习的适用范围。

技术实现思路

[0006]本专利技术的目的是克服上述现有技术存在的不足，提出了一种基于门限同态的自适
应采样联邦学习隐私保护方法，用于解决现有技术中客户端通信负载过重的技术问题。
[0007]为了实现上述目的，本专利技术采取的技术方案包括如下步骤：
[0008](1)构建联邦学习系统：
[0009]构建包括联邦服务器S、密钥分发中心KDC和N个客户端A＝{A1,A2,...,A
n
,...,A
N
}的联邦学习系统，每个客户端A
n
持有图像数据集D
n
＝{X
n
,Y
n
}，其中N≥2，A
n
表示身份信息为ID
n
的第n个客户端，X
n
表示包含Z幅图像的图像集，Y
n
表示X
n
中包含的目标的真实类别标签集，
[0010](2)联邦服务器S初始化参数：
[0011](2a)联邦服务器S初始化每个客户端A
n
的卷积神经网络模型F
n
，最小压缩率为CR
min
，窗口时间time，F
n
的权值参数为并将CR
min
、time和F
n
发送至A
n
，其中M表示模型F
n
的权值个数，M≥50000，表示F
n
的第m个权值；
[0012](2b)联邦服务器S初始化(T,N)门限的Paillier同态加密算法中的解密门限为T，训练轮数为r，第r轮训练的卷积神经网络模型为最大训练轮数R，并将T和客户端的数量N发送给密钥分发中心KDC后，令r＝0，其中0＜T≤N且T＜CR
min
·
N，R≥100；
[0013](3)密钥分发中心KDC生成客户端密钥：
[0014]密钥分发中心KDC根据T和N生成每个客户端A
n
的私钥sk
n
后将sk
n
发送给A
n
，并生成公开的公钥pk；
[0015](4)客户端A
n
获取加密采样梯度向量和位置比特串：
[0016](4a)客户端A
n
将图像数据集D
n
作为卷积神经网络模型F
n
的输入进行前向传播，得到所有图像的预测标签集P
n
，然后采用交叉熵损失函数，通过P
n
和Y
n
计算F
n
的损失值L
n
，然后通过L
n
对权值参数求偏导计算梯度向量元素得到梯度向量
[0017](4b)客户端A
n
测量第r轮客户端A
n
向给联邦服务器S发送位置比特串和加密采样梯度向量的通信带宽为B
r
，并计算本轮训练的采样梯度元素个数然后根据对梯度向量G
n
进行自适应采样，得到包括个采样梯度的采样梯度向量再使用公钥集合pk对每个采样梯度向量元素进行加密，得加密采样梯度向量其中y为梯度向量元素所占用的计算机存储空间大小，E(
·
)表示(T,N)门限的Paillier同态加密算法中的加密函数，表示采样梯度向量中第个元素，表示加密采样梯度向量中第个元素；
[0018](4c)客户端A
n
初始化与梯度向量对应的每一位均为0的二进制比特串I
n
'＝<I
n1
,I
n2
,...,I
nm
,...,I
nM
>，并判断是否成立，即判断是否在自适应采样中被选中，若是，令对应的比特I
nm
＝1，否则令I
nm
＝0，得到记录采样梯度向量元素在梯度向量G
n
中位置的二进制位置比特串I
n
＝<I
n1
,I
n2
,...,I
nm
...

【技术保护点】

【技术特征摘要】
1.一种基于门限同态的自适应采样联邦学习隐私保护方法，其特征在于包括如下步骤：(1)构建联邦学习系统：构建包括联邦服务器S、密钥分发中心KDC和N个客户端A＝{A1,A2,...,A
n
,...,A
N
}的联邦学习系统，每个客户端A
n
持有图像数据集D
n
＝{X
n
,Y
n
}，其中N≥2，A
n
表示身份信息为ID
n
的第n个客户端，X
n
表示包含Z幅图像的图像集，Y
n
表示X
n
中包含的目标的真实类别标签集，(2)联邦服务器S初始化参数：(2a)联邦服务器S初始化每个客户端A
n
的卷积神经网络模型F
n
，最小压缩率为CR
min
，窗口时间time，F
n
的权值参数为并将CR
min
、time和F
n
发送至A
n
，其中M表示模型F
n
的权值个数，M≥50000，表示F
n
的第m个权值；(2b)联邦服务器S初始化(T,N)门限的Paillier同态加密算法中的解密门限为T，训练轮数为r，第r轮训练的卷积神经网络模型为最大训练轮数R，并将T和客户端的数量N发送给密钥分发中心KDC后，令r＝0，其中0＜T≤N且T＜CR
min
·
N，R≥100；(3)密钥分发中心KDC生成客户端密钥：密钥分发中心KDC根据T和N生成每个客户端A
n
的私钥sk
n
后将sk
n
发送给A
n
，并生成公开的公钥pk；(4)客户端A
n
获取加密采样梯度向量和位置比特串：(4a)客户端A
n
将图像数据集D
n
作为卷积神经网络模型F
n
的输入进行前向传播，得到所有图像的预测标签集P
n
，然后采用交叉熵损失函数，通过P
n
和Y
n
计算F
n
的损失值L
n
，然后通过L
n
对权值参数求偏导计算梯度向量元素得到梯度向量(4b)客户端A
n
测量第r轮客户端A
n
向给联邦服务器S发送位置比特串和加密采样梯度向量的通信带宽为B
r
，并计算本轮训练的采样梯度元素个数然后根据对梯度向量G
n
进行自适应采样，得到包括个采样梯度的采样梯度向量再使用公钥集合pk对每个采样梯度向量元素进行加密，得加密采样梯度向量其中y为梯度向量元素所占用的计算机存储空间大小，E(
·
)表示(T,N)门限的Paillier同态加密算法中的加密函数，表示采样梯度向量中第个元素，表示加密采样梯度向量中第个元素；(4c)客户端A
n
初始化与梯度向量对应的每一位均为0的二进制比特串I
n
'＝<I
n1
,I
n2
,...,I
nm
,...,I
nM
>，并判断是否成立，即判断是否在自适应采样中被选中，若是，令对应的比特I
nm
＝1，否则令I
nm
＝0，得到记录采样梯度向量元素在梯度向量G
n
中位置的二进制位置比特串I
n
＝<I
n1
,I
n2
,...,I
nm
,...,I
nM
>；
(4d)客户端A
n
将位置比特串I
n
和加密采样梯度向量E(G
n
')发送给联邦服务器S；(5)联邦服务器S对加密采样梯度向量进行聚合并发送聚合结果：(5a)联邦服务器S通过位置比特串I
n
对客户端A
n
的加密采样梯度向量E(G
n
')进行展开得到得到表示A
n
的第m个展开采样梯度向量元素：其中J＝m；J表示I
nm
在I
n
中的位置索引；(5b)联邦服务器S对N个客户端中第m个展开采样梯度向量元素进行聚合，得到加密聚合梯度向量其中表示第m个加密聚合梯度向量元素：(5c)联邦服务器S构建以为键值对的分发字典D，其中键值对按的大小降序排列；同时，构建由T个加密聚合梯度向量E(G
a
)组成的分发列表L＝<E1(G
a
),E2(G
a
),...,E
t
(G
a
),...,E
T
(G
a
)>，其中E
t
(G
a
)表示组成分发列表L的第t个E(G
a
)；(5d)联邦服务器S按照分发字典D中...

【专利技术属性】
技术研发人员：马卓，杨易龙，金嘉玉，李腾，张俊伟，刘洋，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：