一种面向异构边缘计算环境的分散联邦学习方法技术

本发明专利技术涉及一种面向异构边缘计算环境的分散联邦学习方法，属于大数据计算领域。该方法包括以下步骤：在联邦学习系统中，边缘节点初始化自己的模型；边缘节点根据本身的通信速率和计算能力计算通信成本函数，该成本函数表示边缘节点之间的匹配程度；节点基于贪婪算法选择成本函数较小的相邻节点作为匹配集；对于每个边缘节点，基于梯度和权重衡量边缘节点模型间的相似性，使用MonteCarlo方法进行从匹配集中选择邻居；节点从邻居处接收权重和更新模型，基于得到的数据，通过共识得到聚合模型；节点通过聚合模型，计算梯度下降，更新模型，并发给邻居。本发明专利技术使得具有相似数据分布的边缘节点协同训练模型，以节省额外的计算和通信延迟。迟。迟。

【技术实现步骤摘要】
一种面向异构边缘计算环境的分散联邦学习方法


[0001]本专利技术属于大数据计算领域，涉及一种面向异构边缘计算环境的分散联邦学习方法。

技术介绍

[0002]如今物联网(IoT)蓬勃发展，智能手机、智能城市和智能工厂等设备正在产生大量的数据，这促进了机器学习等数据驱动方法的出现。在传统的ML范式中，模型使用中央服务器收集的大型数据集进行训练。然而，在物联网的许多实际应用中，数据可能是隐私敏感的，在中央服务器上聚合大型数据集进行模型训练不切实际。在这种情况下训练数据通常分布在不同的物联网客户端上，例如传感器，电话或其他信息源。而将这些原始数据从设备传递到中央服务器将消耗大量带宽资源，并可能导致隐私泄露。随着边缘计算(EC)的出现，它能够将深度学习模型分配给靠近数据源的边缘节点(或终端设备)，并执行边缘(或设备上)分布式模型训练。这种模型训练范式也被称为联邦学习，它不仅保证数据隐私，而且充分利用了网络边缘的大量计算资源。
[0003]在一般的FL系统中，中央服务器基于客户端的数据来协调训练任务。在每一轮训练中，每个参与的客户端根据其本地数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向异构边缘计算环境的分散联邦学习方法，其特征在于：该方法包括以下步骤：步骤1：在联邦学习系统中，边缘节点初始化自己的模型；步骤2：边缘节点根据本身的通信速率和计算能力计算通信成本函数，该成本函数表示边缘节点之间的匹配程度；节点基于贪婪算法选择成本函数较小的相邻节点作为匹配集；步骤3：对于每个边缘节点，基于梯度和权重衡量边缘节点模型间的相似性，使用Monte Carlo方法进行从匹配集中选择邻居，即将上一轮中的邻居与当前随机抽样的相邻节点一起放进候选列表，从候选列表中选择相似度最大的前k名候选节点作为当前轮邻居；步骤4：节点从邻居处接收权重和更新模型，基于得到的数据，通过共识得到聚合模型ψ
t,i
；步骤5：节点通过聚合模型，计算梯度下降，更新模型，并发给邻居。2.根据权利要求1所述的一种面向异构边缘计算环境的分散联邦学习方法，其特征在于：所述联邦学习系统由一个中央服务器和包含n个节点的节点集c＝(1,2,...,n)组成，每个节点拥有自己的数据；中央服务器负责发布训练任务、选择节点以及完成模型聚合；节点集c中被选中的节点接收中央服务器下发的本轮参数，在本地数据上使用中央服务器选择的数据量进行训练，并将更新后的参数上传至中央服务器；节点依靠与邻居节点的本地合作和本地网络来协同训练模型；网络的交互拓扑被建模为一个有向图ν＝(1,2,
……
,K)表示节点的集合，ξ表示相连节点的边，节点K的邻居集表示为N
k
。3.根据权利要求2所述的一种面向异构边缘计算环境的分散联邦学习方法，其特征在于：所述步骤1具体为：边缘节点在t0时刻初始化模型W
0,k
；所述步骤2具体为：节点之间的通信速率用R表示，计算能力用CPU频率f表示；为确定客户端之间的开销，采用以下策略：C
ij
＝1/R
ij
+μ(f
...

【专利技术属性】
技术研发人员：黄宏程，张楚丽，胡敏，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：