本发明专利技术公开了一种云边端协同的基于模型分割和同态加密的高效联邦学习隐私保护方法，包括：密钥管理机构初始化密钥参数生成公钥和私钥，将公私钥对发送到各边缘节点，公钥发送到云服务器；云服务器根据训练任务加载预训练模型并分割为特征提取层和隐藏层；云服务器向物联网客户端发送特征提取层作为客户端模型；云服务器初始化隐藏层并使用公钥对隐藏层进行加密后发送至边缘端作为初始化边缘端模型；物联网客户端使用客户端模型对数据集进行特征提取发送至边缘节点；本发明专利技术使用全同态加密CKKS方案作为隐私技术，保证了边缘节点训练模型梯度的安全性，防止因梯度造成的隐私泄露，提供一个可信的全局模型。提供一个可信的全局模型。提供一个可信的全局模型。
【技术实现步骤摘要】
一种云边端协同的基于模型分割和同态加密的高效联邦学习隐私保护方法
[0001]本专利技术涉及联邦学习
，具体涉及一种云边端协同的基于模型分割和同态加密的高效联邦学习隐私保护方法。
技术介绍
[0002]联邦学习作为边缘计算的一个很有前景的范式，允许边缘节点在不上传数据集的情况下协同训练模型，然而联邦学习很容易受到不诚实的聚合器的推断攻击，这些聚合器可以从客户的模型参数中推断出客户的原始信息；为了解决这个问题，现有的隐私保护联邦学习方案多采用基于密码学的算法，如同态加密，对客户端上传的梯度进行保护，但是这通常会带来沉重的计算开销，导致FL系统训练时间过长；
[0003]现有技术中，使用同态加密的联邦学习方案往往会产生极大的通信开销，主要来源于加密后的密文膨胀，这让使用同态加密的联邦学习方案部署在大规模的设备训练场景中产生了困难。
技术实现思路
[0004]本专利技术的目的在于提供一种云边端协同的基于模型分割和同态加密的高效联邦学习隐私保护方法。首先，服务器使用一个预训练好的深度神经网络(DNN)模型，再根据深度神经网络的模型分区技术，将一个DNN模型分割为物联网客户端DNN和边缘端DNN两部分，将简单的特征提取放在客户端，复杂的模型训练部分外包给边缘服务器，因此，边缘节点仅需对更新的边缘端DNN使用同态加密来保证边缘服务器模型参数的安全性；
[0005]为了实现上述目的，本专利技术的技术方案为：
[0006]一种云边端协同的基于模型分割和同态加密的高效联邦学习隐私保护方法，其特征在于，具体包括如下步骤：(1)密钥管理机构初始化密钥参数生成公钥和私钥，将公私钥对发送到各边缘节点，公钥发送到云服务器；(2)云服务器根据训练任务加载预训练模型并分割为特征提取层和隐藏层；(3)云服务器向物联网客户端发送特征提取层作为客户端模型；(4)云服务器初始化隐藏层并使用公钥对隐藏层进行加密后发送至边缘端作为初始化边缘端模型；(5)物联网客户端使用客户端模型对数据集进行特征提取发送至边缘节点；(6)边缘节点使用私钥解密密文全局模型，使用特征数据集训练更新边缘端模型；边缘节点使用公钥加密边缘端模型并发送至云服务器；(7)云服务器接收到所有节点的密文模型后进行聚合，得到新密文模型；(8)云服务器发送新密文模型到边缘节点作为边缘端模型。
[0007]所述步骤(1)密钥管理机构初始化密钥参数生成公钥和私钥，将公私钥对发送到各边缘节点，公钥发送到云服务器；其步骤如下：密钥管理机构使用CKKS同态加密算法生成公钥pk，私钥sk,将公私钥对(pk,sk)发送到各边缘节点，公钥pk发送至云服务器；
[0008]进一步，所述步骤(2)云服务器根据训练任务加载预训练模型并分割为特征提取层和隐藏层；其步骤如下：云服务器根据训练任务准备一个预训练好的DNN模型，将其卷积
层和网络的最后一层划分，把训练好的卷积层的网络结构和参数冻结作为客户端DNN部署到每个物联网客户端设备进行简单的特征提取，把最后一层部署到边缘节点，边缘节点通过执行前向和反向传播对边缘端DNN进行微调。
[0009]进一步，所述步骤(3)云服务器向物联网客户端发送特征提取层作为客户端模型；其步骤如下：云服务器向每一个物联网客户端设备发送客户端DNN，将深度学习网络视为确定性函数d
l
＝F(d
r
)，其中d
r
代表物联网客户端私有原始数据，d
l
表示神经网络第l层的输出；
[0010]进一步，所述步骤(4)云服务器初始化隐藏层并使用公钥对隐藏层进行加密后发送至边缘端作为初始化边缘端模型；其步骤如下：云服务器初始化隐藏层参数并使用公钥pk加密作为初始化边缘端DNN发送至各边缘节点；
[0011]进一步，所述步骤(5)物联网客户端使用客户端模型对数据集进行特征提取发送至边缘节点；其步骤如下：物联网客户端将本地私有数据集输入客户端DNN模型以提取出数据特征d
j
，d
j
代表客户端设备j运行客户端DNN的最后一层输出，之后将特征d
j
发送到边缘端进行训练；客户端设备将数据特征上传之后便可离线，以此节省计算资源；
[0012]进一步，所述步骤(6)边缘节点使用私钥解密密文全局模型，使用特征数据集训练更新边缘端模型；边缘节点使用公钥加密边缘端模型并发送至云服务器；其步骤如下：
[0013]步骤6.1：边缘节点使用私钥sk解密密文全局DNN，并将结果除以n，n为边缘节点数量，得到本轮训练的边缘端DNN；
[0014]步骤6.2：在第v轮迭代中，节点i从物联网客户端上传的特征数据集D
i
＝{d1,d2...d
j
}中选取批量大小为b的数据，在本地进行r次迭代，得到节点i在第v轮迭代时的梯度梯度描述为公式其中L(w
v
‑1,D
i
)为经验损失函数，为推导操作，w
v
‑1为第v
‑
1轮时的全局DNN；
[0015]步骤6.3：边缘节点i使用基于SGD的反向传播算法(BP)来训练模型公式其中β为学习率，是节点i在第v轮迭代过程中训练更新的边缘DNN；
[0016]步骤6.4：边缘节点i使用公钥pk加密为节点i在第v轮迭代时的密文梯度并发送至云服务器；
[0017]进一步，所述步骤(7)云服务器接收到所有节点的密文模型后进行聚合，得到新密文模型；其步骤如下：
[0018]步骤7.1：云服务器接收所有边缘节点的密文梯度，执行公式其中[g
v
]pk
为第v轮迭代中所有节点的总密文梯度；
[0019]步骤7.2：云服务器执行公式[w
v
]pk
＝[w
v
‑1]pk
‑
α*[g
v
]pk
更新全局模型，其中w
v
为第v轮时的全局DNN，α为全局学习率；
[0020]进一步，所述步骤(8)云服务器发送新密文模型到边缘节点作为边缘端模型；其步骤如下：云服务器判断训练结果是否达到终止条件；若未达到终止条件，则将密文全局DNN发送给各边缘节点，进入步骤(6)；若达到终止条件，则结束程序。
[0021]本专利技术提出的方案有益效果包括：
[0022](1)本专利技术设计了一个分区学习框架，将深度神经网络分成两部分：客户端DNN和
边缘端DNN，前者保持一个一致的卷积层来提取训练数据的特征，后者则配备其余的层来更新每个参与者的参数，大大降低了计算开销；
[0023](2)本专利技术使用全同态加密CKKS方案作为隐私技术，保证了边缘节点训练模型梯度的安全性，防止因梯度造成的隐私泄露，提供一个可信的全局模型。
附图说明
[0024]图1为本专利技术中具体实施方式的方法总流程图
[0025]图2为本专利技术中方案的系统模型图
...
【技术保护点】
【技术特征摘要】
1.一种云边端协同的基于模型分割和同态加密的高效联邦学习隐私保护方法，其特征在于，具体包括如下步骤：(1)密钥管理机构初始化密钥参数生成公钥和私钥，将公私钥对发送到各边缘节点，公钥发送到云服务器；(2)云服务器根据训练任务加载预训练模型并分割为特征提取层和隐藏层；(3)云服务器向物联网客户端发送特征提取层作为客户端模型；(4)云服务器初始化隐藏层并使用公钥对隐藏层进行加密后发送至边缘端作为初始化边缘端模型；(5)物联网客户端使用客户端模型对数据集进行特征提取发送至边缘节点；(6)边缘节点使用私钥解密密文全局模型，使用特征数据集训练更新边缘端模型；边缘节点使用公钥加密边缘端模型并发送至云服务器；(7)云服务器接收到所有节点的密文模型后进行聚合，得到新密文模型；(8)云服务器发送新密文模型到边缘节点作为边缘端模型。2.根据权利要求1所述的一种云边端协同的基于模型分割和同态加密的高效联邦学习隐私保护方法，其特征在于，所述步骤(1)密钥管理机构初始化密钥参数生成公钥和私钥，将公私钥对发送到各边缘节点，公钥发送到云服务器；其步骤如下：密钥管理机构使用CKKS同态加密算法生成公钥pk，私钥sk,将公私钥对(pk,sk)发送到各边缘节点，公钥pk发送至云服务器。3.根据权利要求1所述的一种云边端协同的基于模型分割和同态加密的高效联邦学习隐私保护方法，其特征在于，所述步骤(2)云服务器根据训练任务加载预训练模型并分割为特征提取层和隐藏层；其步骤如下：云服务器根据训练任务准备一个预训练好的DNN模型，将其卷积层和网络的最后一层划分，把训练好的卷积层的网络结构和参数冻结作为客户端DNN部署到每个物联网客户端设备进行简单的特征提取，把最后一层部署到边缘节点，边缘节点通过执行前向和反向传播对边缘端DNN进行微调。4.根据权利要求1所述的一种云边端协同的基于模型分割和同态加密的高效联邦学习隐私保护方法，其特征在于，所述步骤(3)云服务器向物联网客户端发送特征提取层作为客户端模型；其步骤如下：云服务器向每一个物联网客户端设备发送客户端DNN，将深度学习网络视为确定性函数d
l
＝F(d
r
)，其中d
r
代表物联网客户端私有原始数据，d
l
表示神经网络第l层的输出。5.根据权利要求1所述的一种云边端协同的基于模型分割和同态加密的高效联邦学习隐私保护方法，其特征在于，所述步骤(4)云服务器初始化隐藏层并使用公钥对隐藏层进行加密后发送至边缘端作为初始化边缘端模型；其步骤如下：云服务器初始化隐藏层参数并使用公钥pk加密作为初始化边缘端DNN发送至各边缘节点。6.根据权利要求1所述的一种云边端协同的基于模型分割和同态加密的高效联邦学习隐私保护方法，其特征在于，所述步骤(5)物联网客户端使用客户端模型对...
【专利技术属性】
技术研发人员：韩牟，郝晓华，朱雨，
申请(专利权)人：江苏大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。