一种云边端协同的泛在智能联邦学习隐私保护系统及方法技术方案

本发明专利技术公开了一种云边端协同的泛在智能联邦学习隐私保护系统及方法，系统上包括终端设备、参数服务器、边缘服务器、中心云服务器；方法上包括：S1、设置基于掩码的终端训练输出保护机制；S2、添加局部模型的自适应差分扰动；S3、全局模型聚合和添加自适应差分扰动。本发明专利技术提出了一种轻量级的隐私保护方案，在终端设备进行部分模型训练并添加矩阵掩码，保证在终端与边缘服务器之间安全传输；此外，在边缘服务器进行剩余模型训练并添加差分扰动；在云端进行聚合后添加噪声再反馈给边缘服务器。实验结果表明，该方案在保证隐私的前提上在CIFAR10数据集上能达到86％的准确率，能够很好地满足泛在智能的需求，因此，本发明专利技术非常适合大规模推广应用。合大规模推广应用。合大规模推广应用。

【技术实现步骤摘要】
一种云边端协同的泛在智能联邦学习隐私保护系统及方法


[0001]本专利技术涉及人工智能
，具体涉及的是一种云边端协同的泛在智能联邦学习隐私保护系统及方法。

技术介绍

[0002]随着人工智能(AI)的高速发展，以大数据为支撑的机器学习已经成为泛在智能的一大主力。机器学习是将大量数据通过复杂的神经网络进行训练，从而得到较好的分类和决策模型，其中，深度学习与各个领域结合，促进了泛在智能的发展。然而，深度学习需要大数据的支持，而数据的机密性使得数据收集变得困难，这也导致了模型训练缺乏大数据支撑。
[0003]为了解决数据孤岛问题，有学者将谷歌提出的分布式的联邦学习框架应用于模型训练，在保证用户数据不出本地的同时又能进行模型训练(Kairouz P,McMahan H B,Avent B,et al.Advances and open problems in federated learning[J].Foundations andin Machine Learning,2021,14(1
–
2):1
‑
210)。联邦学习在服务器和终端设备的协调下，可以保证数据的隐私性，提高训练的可靠性。
[0004]但现有的联邦学习框架也存在一些问题。在基于云端的联邦学习中，终端设备(Terminal Equipment，TE)缺乏足够的内存和算力(Khan L U,Saad W,Han Z,et al.Federated learning for internet of things:Recent advances,taxonomy,and open challenges[J].IEEE Communications Surveys&Tutorials,2021)，不能支撑起复杂的神经网络模型训练，同时，大量的通信带来了巨大的时延。为此，有学者提出将联邦学习框架应用于移动边缘场景下(Lim W Y B,Luong NC,Hoang D T,et al.Federated learning in mobile edge networks:A comprehensive survey[J].IEEE Communications Surveys&Tutorials,2020,22(3):2031
‑
2063)，终端设备将训练好的模型放在边缘服务器(Edge Server,ES)上进行聚合。这样的方式虽然可以缓解带宽不足的压力，减少一定的传输时延，但是增加了计算时延。为了权衡通信和计算时延，Wang R等人提出将模型训练的任务卸载给更靠近移动设备的边缘服务器(Wang R,Lai J,Zhang Z,et al.Privacy
‑
Preserving Federated Learning for Internet of Medical Things under Edge Computing[J].IEEE Journal of Biomedical and Health Informatics,2022)，将数据放在靠近用户的边缘端，平衡了数据本地化和终端设备计算资源的不足。一方面，数据没有通过核心网进行传输，减少了传输时受到攻击的风险；另一方面，边缘服务器的算力能够支撑模型的快速训练和迭代更新。
[0005]此外，现有的研究表明，边缘式的联邦学习能够达到和基于云的联邦学习相似的准确率，同时具有更低的时延，可以解决基于云的联邦学习带宽不足等问题。但是，针对边缘式的联邦学习的梯度泄露攻击可以通过获得梯度并推演出用户数据信息。此外，若将数据放在边缘服务器上进行训练，在终端设备与边缘服务器之间进行数据传输也有遭受攻击的风险，导致用户隐私泄露。
[0006]为了解决隐私泄露问题，Zhang C等人提出了分层联邦学习同态加密方法(Zhang C,Li S,Xia J,et al.{BatchCrypt}:Efficient Homomorphic Encryption for{Cross
‑
Silo}Federated Learning[C]//2020USENIX Annual Technical Conference(USENIX ATC 20).2020:493
‑
506)，对数据进行同态加密后再进行联邦学习的训练，但是同态加密需要耗费大量的时间和空间，这对于需要高实时的泛在智能化系统是不可行的。Kanagavelu R等人提出了基于密码学的多方安全计算(Kanagavelu R,Li Z,Samsudin J,et al.Two
‑
phase multi
‑
party computation enabled privacy
‑
preserving federated learning[C]//2020 20th IEEE/ACM International Symposium on Cluster,Cloud and Internet Computing(CCGRID).IEEE,2020:410
‑
419)，但是攻击者可以通过获得密钥来获得数据或梯度，同时多方安全计算不适用于分布式场景。Wei K等人提出了差分隐私方案(Wei K,Li J,Ding M,et al.Federated learning with differential privacy:Algorithms and performance analysis[J].IEEE Transactions on Information Forensics and Security,2020,15:3454
‑
3469)，对模型梯度添加噪声或者在本地对数据添加噪声。这种方法虽然能够很好的保护数据，但是噪声的添加会使得数据在一定程度上失真，这会在一定程度上降低模型精度。
[0007]而为了平衡安全和精度，Wu X等人提出了一种自适应的差分隐私方案(Wu X,Zhang Y,Shi M,et al.An adaptive federated learning scheme with differential privacy preserving[J].Future Generation Computer Systems,2022,127:362
‑
372)，通过对梯度进行自适应裁剪来提高精度，同时还可以降低吞吐量，减少时延。Yu R等人则提出了利用网络不同层敏感度来进行模型压缩，解决权重参数冗余的问题，以达到模型训练效率和模型复杂度之间的平衡(Yu R,Li A,Chen C F,et al.Nisp:Pruning networks using neuron importance score propagation[C]//Proceedings of the IEEE Conference on Computer Vision本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种云边端协同的泛在智能联邦学习隐私保护系统，其特征在于，包括：终端设备，用于生成个人掩码向量和系数矩阵的分量，收集数据集并进行部分模型训练，并对模型输出添加掩码；参数服务器，用于进行密钥协商和分配并负责收集预定区域内终端设备的个人掩码，然后生成公共掩码和系数矩阵，并将公共掩码和系数矩阵发送给参与训练的终端设备和边缘服务器；边缘服务器，用于从中心云服务器获取需要训练的模型框架，收集添加掩码后的输出并解除掩码，然后将终端设备的输出作为输入进行神经网络的训练，并将训练所得的局部模型参数进行差分扰动，再发送给中心云服务器进行聚合；中心云服务器，用于对不同边远服务器训练所得的局部模型参数进行聚合，再将聚合后的全局模型参数发送给边远服务器，以进行下一轮训练。2.一种云边端协同的泛在智能联邦学习隐私保护方法，其特征在于，其是在云、边、端协同的联邦学习上，设置掩码添加和自适应差分扰动，从而在保证模型精度和训练效率的前提下，对数据和模型参数进行隐私保护，具体过程如下：S1、设置基于掩码的终端训练输出保护机制：S101、参数服务器分别和参与训练的终端设备和边缘服务器进行对称密钥协商得到对称密钥S
s
；S102、每个终端设备生成一个个人随机掩码和个人系数向量，并使用对称密钥加密后发送给边缘服务器；S103、边缘服务器收到对称密钥之后利用系数向量组生成一个满秩矩阵A作为系数矩阵；S104、边缘服务器计算系数矩阵的逆A
‑
，并将对应终端设备的个人随机掩码相加得到全局公共掩码R，然后和系数矩阵进行对称加密后发送给每一个参与训练的终端设备；S105、终端设备收到密文后进行解密得到公共掩码和系数矩阵，然后在训练过程中对部分模型输出进行掩码添加；S2、添加局部模型的自适应差分扰动：S201、边缘服务器从中心云服务器下载并初始化模型参数，终端设备将添加了掩码后的部分模型输出发送给边缘服务器，由边缘服务器解除掩码后，以部分模型输出的分量作为输入进行神经网络的训练，得到一个局部模型；S202、求取局部模型梯度值，并进行裁剪；S203、利用裁剪后的局部模型梯度值更新局部模型参数；S204、对更新后的局部模型参数添加高斯噪声；S205、各边缘服务器将添加了噪声的局部模型参数发送到中心云服务器；S3、全局模型聚合和添加自适应差分扰动：S301、中心云服务器收到各个边缘服务器的局部模型参数后，对其进行聚合并获得全局模型参数；S302、对全局模型参数进行裁剪；S303、裁剪后，在全局模型参数中添加高斯噪声，并更新全局模型参数；S304、中心云服务器将更新后的全局模型参数下发给边缘服务器进行下一轮次的训
练，直到模型收敛或达到迭代次数为止。3.根据权利要求2所述的一种云边端协同的泛在智能联邦学习隐私保护方法，其特征在于，所述步骤S102具体过程为：每个终端设备d
i
使用随机数生成器random.uniform()生成个人随机掩码r
i
，该r
i
是n维列向量，其值在[0，1]，并将r
i
进行归一化得到系数向量a
i
，加密后将r
i
和a
i
发送给边缘服务器；对于r
i
里的第j个分量；归一化公式如下：式中，||r
i
||2为向量的二范数，遍历r
i
里的每一个分量元...

【专利技术属性】
技术研发人员：王瑞锦，赖金山，张凤荔，刘东，朱举异，张志扬，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：