联邦边缘学习环境下模型分割优化的隐私数据保护方法技术

本发明专利技术提出一种联邦边缘学习环境下模型分割优化的隐私数据保护方法。本发明专利技术结合了隐私安全保护和模型分割动态调整策略，在满足联邦边缘学习计算任务、数据隐私安全性和边缘设备能耗控制的条件下，使得联邦边缘学习效率最大化，并提供模型分割动态调整策略。首先根据模型反演找到满足数据隐私安全性的模型分割安全点，在满足数据安全性的条件下，找到一个边缘设备能耗和训练效率的模型分割平衡点。在平衡点处进行模型分割部署的初始化。然后在训练和推理的过程中根据边缘设备的资源分配需求，动态调整模型分割点，满足复杂环境下模型训练效率最大化以及资源动态调整的需求。训练效率最大化以及资源动态调整的需求。训练效率最大化以及资源动态调整的需求。

【技术实现步骤摘要】
联邦边缘学习环境下模型分割优化的隐私数据保护方法


[0001]本专利技术涉及联邦边缘学习、深度学习模型分割
，具体是一种联邦边缘学习环境下模型分割优化的隐私数据保护方法。

技术介绍

[0002]随着深度学习网络(DNN)在物联网领域中的广泛应用，如语音识别，计算机视觉，图像处理等。在深度学习任务的应用中，需要大量的数据来训练DNN模型，这需要庞大的存储系统以及足够的算力支持。传统的解决方案采用集中的训练方式，将边缘设备的数据传输到云服务器进行训练。这种方案在数据隐私保护方面有不可避免的缺陷。另一方面，数据上传到云也需要占用大量的通信资源，拉低了整个系统的性能。基于此，在边缘设备周围架设边缘服务器得以受到人们的重视。边缘服务器凭借其物理距离的优势，相比于云服务器有更加可靠的短距离通信传输，显著的降低了系统的通信成本。但是，数据在边缘服务器的隐私保护问题仍未得到解决。
[0003]联邦学习(Federal Learning,FL)的出现为隐私保护的解决提供了新的平台和机遇。FL是一种分布式学习范式，允许多个边缘设备协同训练DNN模型。在FL框架中每个边缘设备根据自己的数据集在本地进行模型训练，然后将本地模型参数上传至中央服务器，中央服务器负责将各个边缘设备的模型聚合，得到全局模型参数，并将全局模型再分发到边缘设备。重复上述训练过程，直至模型收敛。
[0004]随着越来越多的物联网设备参与到联邦学习中，近年来研究人员致力于优化FL范式，优化目标主要集中在提高模型精度和通信效率上。相比而言，对于提高FL的计算效率以及降低FL计算能耗的研究并不多。在经典FL框架下，资源受限的边缘设备承担了大部分的模型训练任务，资源充足的边缘服务器只是承担了计算量很小的聚合任务，这种不公平的任务分配策略很大程度上降低了FL的训练效率。
[0005]边缘学习(Edge Learning)提出利用网络边缘的资源执行计算任务，具有数据传输距离短、数据处理实时的优点。一些解决方案将联合学习和边缘计算相结合，以减少交换模型参数时的通信开销。它们要求边缘服务器对近端移动设备的模型进行聚合，并将聚合后的模型上传到云数据中心。然而，移动设备仍然需要消耗大量的本地计算资源来训练模型。这就引入了一个额外的第三方，边缘服务器，这可能会增加新的潜在的安全风险。
[0006]联邦边缘学习(Federal Edge Learning,FEEL)的出现弥补了FL在资源分配策略上的不足，也平衡了边缘学习隐私安全性的缺陷。在FEEL中，基于边缘计算的思想，将模型计算任务转移到私有的可信任的边缘服务器上，而不是在中央服务器上进行简单的模型聚合。边缘设备、边缘服务器和中央服务器构成了FEEL的三层架构。现有大部分FEEL策略为增强数据隐私的安全性，在模型计算通信的过程中增加了噪声或者进行了加密处理，但都同时提高了模型训练的复杂度，不利于模型训练的效率。再者，现有FEEL策略多继承了经典FL框架的特征，将整个DNN模型放了在边缘设备上，资源受限的边缘设备承担了大部分的模型训练任务。这种不公平的任务分配策略同样很大程度上降低了FEEL的训练效率。
[0007]为此，本专利技术提出的一种联邦边缘学习环境下模型分割优化的隐私数据保护方法，在保证数据隐私安全性的前提下，降低边缘设备端的模型计算能耗，提高模型计算效率。

技术实现思路

[0008]本专利技术针对现有方法的不足，提出了一种联邦边缘学习环境下模型分割优化的隐私数据保护方法。
[0009]本专利技术提出的一种联邦边缘学习环境下模型分割优化的隐私数据保护方法，在保证数据隐私安全性的前提下，降低边缘设备端的模型计算能耗，提高模型计算效率。本专利技术方法的大体思想是：分割学习策略、模型反演、模型分割优化和模型分割动态调整策略。
[0010]分割学习策略给定了模型分割的分割策略，在模型分割点处进行有效的模型分割，并部署到边缘设备和边缘服务器上。
[0011]模型反演用来验证边缘设备的子模型在不同分割点的隐私安全性，训练一个反演模型，对不同分割点的中间激活进行反演测试，根据对边缘数据安全性的要求，找到一个最小的模型分割安全点Q。
[0012]模型分割优化用来在数据隐私安全性和训练性能之间找到一个平衡点。按照该分割平衡点K，进行模型的初始化分割。
[0013]模型分割动态调整策略，边缘设备计算发生变化时，对模型分割点进行动态调整。分为两种情况，当边缘设备其他计算任务抢占计算资源时，若新任务的响应速度要求高，则应减少FEEL训练任务所占用的计算量，即减少边缘设备上的模型层数，这部分模型依靠边缘服务器来训练。当边缘设备上计算任务量少时，则可增加FEEL训练任务在边缘设备的模型层数，由于边缘设备的资源限制以及能耗要求，模型在边缘设备上的子模型层数并不能一直增加，需采取的策略是将子模型层数增加至之前模型分割优化所得到的模型分割平衡点。
[0014]本专利技术具体如下：
[0015]第一方面，本专利技术提供一种联邦边缘学习环境下模型分割优化的隐私数据保护方法，包括如下步骤：
[0016]步骤1、构建联邦边缘学习框架，包括一个云服务器S、一组边缘服务器ES、n个边缘设备E以及每个边缘设备的私有数据集D
i
；
[0017]步骤2、制定模型分割学习策略，实现DNN模型的分割，一部分部署在边缘设备端，另一部分部署在边缘服务器端；
[0018]步骤3、构建反演模型，训练并推理，根据对数据安全性的要求计算DNN模型分割隐私安全点Q；
[0019]步骤4、考虑各边缘设备的计算性能及功耗，兼顾DNN模型训练效率，确定DNN模型分割平衡点K。然后根据步骤2所示模型分割学习策略将DNN模型在模型分割平衡点K处进行分割初始化，以保护各边缘设备的数据隐私；
[0020]步骤5、根据各边缘设备的资源分配需求，在满足数据隐私安全性的状态下，动态调整DNN模型分割点，以提高边缘设备任务调度的灵活性。
[0021]进一步的，步骤2具体包括以下步骤：
[0022]所述DNN模型从输入层至输出层共有N层，其中靠近输入层的前m层部署在边缘设备上，称为左子模型M
l
；靠近输出层的后N
‑
m层部署到边缘服务器上，称为右子模型M
r
，模型分割处为当前模型分割点。
[0023]边缘设备在本地执行前向传播，将左子模型最后的激活参数传到边缘服务器的右子模型。边缘服务器使用接受到的激活参数继续进行正向传播。之后，边缘服务器对右子模型的模型参数进行反向传播，更新右子模型。然后，边缘服务器将右子模型在分割点处的反向传播模型参数传递给边缘设备。边缘设备接收到边缘服务器传来的反向传播模型参数后，对本地左子模型继续进行反向传播。以此来进行分离式的边缘联邦学习。
[0024]进一步的，步骤3具体包括以下步骤：
[0025]从DNN模型的输入层开始进行逐层分割，对于每一个可能的分割点(即分割层)L
i...

【技术保护点】

【技术特征摘要】
1.一种联邦边缘学习环境下模型分割优化的隐私数据保护方法，其特征在于所述方法包括如下步骤：步骤1、构建联邦边缘学习框架，包括一个云服务器S、一组边缘服务器ES、n个边缘设备E以及每个边缘设备的私有数据集D
i
；步骤2、制定模型分割学习策略，实现DNN模型的分割，一部分部署在边缘设备端，另一部分部署在边缘服务器端；所述DNN模型从输入层至输出层共有N层，其中靠近输入层的前m层部署在边缘设备上，称为左子模型M
l
；靠近输出层的后N
‑
m层部署到边缘服务器上，称为右子模型M
r
，模型分割处为当前模型分割点；边缘设备在本地执行前向传播，将左子模型M
l
最后的激活参数传到边缘服务器的右子模型M
r
；边缘服务器使用接受到的激活参数继续进行正向传播；之后，边缘服务器对右子模型M
r
的模型参数进行反向传播，更新右子模型M
r
；然后，边缘服务器将右子模型M
r
在分割点处的反向传播模型参数传递给边缘设备；边缘设备接收到边缘服务器传来的反向传播模型参数后，对本地左子模型M
l
继续进行反向传播；步骤3、构建反演模型，训练并推理，根据对数据安全性的要求计算DNN模型分割隐私安全点Q；步骤4、考虑各边缘设备的计算性能及功耗，兼顾DNN模型训练效率，确定DNN模型分割平衡点K；然后根据步骤2模型分割学习策略将DNN模型在模型分割平衡点K处进行分割初始化，以保护各边缘设备的数据隐私；步骤5、根据各边缘设备的资源分配需求，在满足数据隐私安全性的状态下，动态调整DNN模型分割点。2.根据权利要求1所述方法，其特征在于步骤3具体包括以下步骤：从DNN模型的输入层开始进行逐层分割，对于每一个可能的分割点L
i
，i＝1,2,
…
，N，分别构建反演模型G
i
，部署在边缘设备上的左子模型记为M
Li
；对反演模型G
i
进行训练，使得反演推理出的数据与原始输入数据之间的均方误差MSE最小化；设用于训练反演模型的数据集为Data
g
，则反演模型G
i
的优化可表示为：利用训练好的反演模型G
i
对左子模型M
Li
发送的中间激活参数Ait
i
进行反演推理，重构原始输入数据；采用峰值信噪比PSNR和结构相似性SSIM来衡量反演模型的重构数据与原数据的相似程度；若重构数据与原数据的PSNR>30dB且SSIM>0.8时，则认为以当前分割点进行模型分割是隐私不安全的；反之，若重构数据与原数据的PSNR≤30dB或SSIM≤0.8则认为以当前分割点进行模型分割是隐私安全的；反演模型的训练从i＝1开始，逐个训练反演模型G
i
，直到反演模型G
i
重构出的图像不满足评价指标，则当前i就是要找的模型分割安全点,记为Q。3.根据权利要求2所述方法，其特征在于步骤3中不同分割层数i的反演模型G
i
的模型结构和训练次数应相同。4.根据权利要求1所述方法，其特征在于步骤4具体包括以下步骤：
4
‑
1计算边缘设备总能量消耗E；单个边缘设备总能量消耗E
sum
由边缘设备模型计算能耗和通信传输能耗两部分组成；边缘设备模型计算能耗可由设备CPU/GPU功率乘计算时间得到，边缘设备通信能耗可由设备通信功率乘通信传输时间得到；边缘设备总能量消耗E可表示为：E＝P
edge
*T
edge
+P
arr
*T
arr
ꢀꢀꢀꢀꢀ
式(2)其中...

【专利技术属性】
技术研发人员：胡海洋，徐帅达，李忠金，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：