本发明专利技术公开了一种适用于边缘计算场景下的联邦学习安全聚合方法，包括：(1)边缘节点将各个终端之间的通信拓扑图结构由全连通图修改为基于最小生成树的终端连通拓扑图；(2)各个终端利用本地数据训练联邦学习的模型，并根据修改的终端连通拓扑图与邻居终端以广播密钥的方式进行通信；(3)各个终端计算掩码并用于加密模型梯度；(4)边缘节点接收终端传输的加密的模型梯度并进行局部聚合；(5)云计算处理中心接收来局部聚合模型梯度，再进行一次聚合形成全局聚合模型，并将全局聚合模型下发到边缘节点，为终端提供服务。本发明专利技术在解决联邦学习中隐私泄露问题的同时，避免了需要大量额外的计算和通信开销，并提高了模型的收敛速度。度。度。
【技术实现步骤摘要】
一种适用于边缘计算场景下的联邦学习安全聚合方法
[0001]本专利技术涉及边缘计算
，具体地说，是涉及一种适用于边缘计算场景下的联邦学习安全聚合方法。
技术介绍
[0002]随着移动智能设备的普及以及5G等无线通信技术的发展，涌现出了许多具有低延迟要求的计算密集型应用，如在线沉浸式游戏、增强现实和视频流分析等。由于传统的云计算无法满足这些应用对低延迟的需求，Satyanarayanan等人提出了一种新型的计算模式，称为边缘计算，它将大量的计算任务从云端卸载到处于距离用户更近的边缘节点，如wifi无线接入点、基站，同时可以更有效的保护数据隐私。
[0003]谷歌提出的联邦学习(FL，Federated Learning)技术是分布式机器学习中解决隐私保护的重要技术方法。一方面，在联合建模过程中如何能够把尽量多的数据利用起来。另一方面，监管机构和社会对隐私保护的要求日趋严格。联邦学习提出以数据不动模型动和数据可用不可见的方式，来解决这种两难的困境。McMahan等人提出了用于联邦学习的联邦平均算法FedAvg(Federated Averaging)，但是该算法中每个终端的工作量相同。而实际场景下，不同终端的可用计算资源不相同并且数据是高度异构的。针对此问题，Tian等人提出了一种改进的FedProx算法，该算法允许系统根据不同终端的可用计算资源去执行可变的工作量以避免其由于负载过大而被迫退出。Karimireddy等人针对异构数据问题，提出了改进算法SCAFFOLD。当终端高度数据异构的情况下，该算法相比于FedAvg可以避免全局模型向局部最优发展，加快收敛速度。
[0004]然而，联邦学习并没有彻底解决隐私泄露问题。针对该问题，M.Abadi等人提出将差分隐私技术运用在深度学习的随机梯度下降(SGD)算法中，以保护用户数据的隐私。由于联邦学习的发展以及隐私保护需求的提高，Geyer等人提出将差分隐私技术运用在联邦学习中，以保护终端的数据在联邦学习过程中不泄露。另一个方案是在联邦学习中部署多方安全计算(MPC，secure multiparty computation)，简称MPL。Song等人提出了在多个数据集上训练具有隐私保护的机器学习模型所存在(简称为TMMPP)的问题并给出解决方案，即利用MPC去解决分布式机器学习中的安全问题。G Xu等人提出可验证框架VerifyNet来保证模型的机密性和完整性，Wang R等人提出在边缘计算下医疗物联网的隐私保护联邦学习框架，Bonawitz等人提出了安全聚合(SA,Secure Aggregation)的概念，将密码学中密钥共享、加解密等原语用于联邦学习框架中，目的是保护终端的隐私不受侵犯。
[0005]然而，由于密钥共享以及加解密给框架带来的计算和通信开销较大，所以常常导致全局模型的收敛速度变慢。对此，Bell等人提出使用稀疏图来减小终端的连通性以减少安全聚合的计算开销和通信开销；Choi等人也提出了一种基于稀疏图Erdos
‑
Renyi图的CCESA算法，该算法通过降低图的连通度，让终端只与邻居终端共享密钥，以达到降低通信计算开销的目的。
[0006]但是这里仍然存在一些不足。第一，无论是SA还是CCESA，它们都需要借助云服务
器去广播公钥和密钥份额，这极大的增加了云服务器的通信计算开销；第二，CCESA方案虽然通过将终端共享密钥份额的对象从所有其他终端改为邻居终端，但是由于需要从邻居终端获取密钥份额来重构密钥，所以该方案需要保证每个终端至少有t个邻居终端；第三，在某些云服务器距离终端很远的场景下，它们之间的通信时延很高，在通过云服务器广播公钥和密钥份额这一步就需要付出很多额外时间，减慢了系统整体的模型收敛时间。
[0007]综上，如何在解决联邦学习中隐私泄露问题的同时，避免需要大量额外的计算和通信开销，并提高模型的收敛速度，便成为本领域技术人员亟需解决的问题。
技术实现思路
[0008]本专利技术的目的在于提供一种适用于边缘计算场景下的联邦学习安全聚合方法，可以在解决联邦学习中隐私泄露问题的同时，避免需要大量额外的计算和通信开销，并提高模型的收敛速度。
[0009]为实现上述目的，本专利技术采用的技术方案如下：
[0010]一种适用于边缘计算场景下的联邦学习安全聚合方法，包括以下步骤：
[0011](1)处于边缘计算中间层的边缘节点，以处于边缘计算边缘层的各个终端之间的通信时延作为终端全连通拓扑图的边的权重，将参与联邦学习的各个终端之间的通信拓扑图结构由全连通图修改为基于最小生成树的终端连通拓扑图；
[0012](2)各个终端利用本地数据训练联邦学习的模型，并根据修改的终端连通拓扑图与邻居终端以广播密钥的方式进行通信，然后由边缘节点收集各个终端的密钥份额；
[0013](3)各个终端利用与邻居终端之间的对称密钥通过伪随机生成器PRG生成随机向量，并将其作为掩码用于加密模型梯度，然后向边缘节点传输加密的模型梯度；
[0014](4)边缘节点接收终端传输的加密的模型梯度，并利用收集的终端密钥份额消除掩码后进行局部聚合，得到局部聚合模型梯度；
[0015](5)边缘节点将局部聚合模型梯度发送至边缘计算最高层的云计算处理中心；
[0016](6)云计算中心接收来自边缘节点的局部聚合模型梯度，再进行一次聚合形成全局聚合模型，并将全局聚合模型下发到边缘节点，为终端提供服务。
[0017]所述步骤(1)中，基于最小生成树的终端连通拓扑图的修改过程为：边缘节利用最小生成树算法依次选择权重最小的边，同时保证当前选择的边和已经选择的边不会产生回路，直到所有终端位于一个连通分量为止，最终将参与联邦学习的各个终端之间的通信拓扑图结构由全连通图修改为基于最小生成树的终端连通拓扑图。
[0018]进一步地，所述步骤(2)中，模型的训练过程采用梯度下降法SGD更新参数，公式如下：
[0019][0020]式中，w
t,k
是终端k第t轮更新后的参数，w
t
‑
1,k
是第(t
‑
1)轮的参数，η为学习率，是目标函数F
k
(w)对于参数w的梯度方向。
[0021]具体地，所述步骤(2)中，终端与邻居终端通信的过程如下：
[0022](a)使用t
‑
out
‑
of
‑
n算法将私钥s
isk
和随机数bu
i
各自分为t个份额，即SS.share(t,bu
i
)
→
{bu
i,j
+,SS.share(t,s
isk
)
→
{s
i,jsk
},j∈neighbor
i
(j)；其中，SS.share()代表密钥分享协议，neighbor
i
(j)代表本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种适用于边缘计算场景下的联邦学习安全聚合方法，其特征在于，包括以下步骤：(1)处于边缘计算中间层的边缘节点，以处于边缘计算边缘层的各个终端之间的通信时延作为终端全连通拓扑图的边的权重，将参与联邦学习的各个终端之间的通信拓扑图结构由全连通图修改为基于最小生成树的终端连通拓扑图；(2)各个终端利用本地数据训练联邦学习的模型，并根据修改的终端连通拓扑图与邻居终端以广播密钥的方式进行通信，然后由边缘节点收集各个终端的密钥份额；(3)各个终端利用与邻居终端之间的对称密钥通过伪随机生成器PRG生成随机向量，并将其作为掩码用于加密模型梯度，然后向边缘节点传输加密的模型梯度；(4)边缘节点接收终端传输的加密的模型梯度，并利用收集的终端密钥份额消除掩码后进行局部聚合，得到局部聚合模型梯度；(5)边缘节点将局部聚合模型梯度发送至边缘计算最高层的云计算处理中心；(6)云计算中心接收来自边缘节点的局部聚合模型梯度，再进行一次聚合形成全局聚合模型，并将全局聚合模型下发到边缘节点，为终端提供服务。2.根据权利要求1所述的一种适用于边缘计算场景下的联邦学习安全聚合方法，其特征在于，所述步骤(1)中，基于最小生成树的终端连通拓扑图的修改过程为：边缘节利用最小生成树算法依次选择权重最小的边，同时保证当前选择的边和已经选择的边不会产生回路，直到所有终端位于一个连通分量为止，最终将参与联邦学习的各个终端之间的通信拓扑图结构由全连通图修改为基于最小生成树的终端连通拓扑图。3.根据权利要求2所述的一种适用于边缘计算场景下的联邦学习安全聚合方法，其特征在于，所述步骤(2)中，模型的训练过程采用梯度下降法SGD更新参数，公式如下：式中，w
t，k
是终端k第t轮更新后的参数，w
t
‑
1，k
是第(t
‑
1)轮的参数，η为学习率，是目标函数F
k
(w)对于参数w的梯度方向。4.根据权利要求3所述的一种适用于边缘计算场景下的联邦学习安全聚合方法，其特征在于，所述步骤(2)中，终端与邻居终端通信的过程如下：(a)使用t
‑
out
‑
of
‑
n算法将私钥s
isk
和随机数bu
i
各自分为t个份额，即SS.share(t，bu
i
)<...
【专利技术属性】
技术研发人员：王瑞锦，李雄，张凤荔，周世杰，王金波，赖金山，周潼，程帆，李嘉坤，孙鹏钊，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。