一种高效通信的分层联邦学习框架及其优化方法和系统技术方案

本发明专利技术公开了一种高效通信的分层联邦学习框架及其优化方法和系统，该框架包括：一个云聚合器、多个边缘聚合器和多个分布式计算节点；在每轮云聚合迭代中，边缘聚合器首先从云聚合器下载全局学习模型，每个分布式计算节点从其关联的边缘聚合器下载全局学习模型，训练模型更新上传到关联的边缘聚合器；边缘聚合器聚合接收模型更新并聚合发送回关联的计算节点，经过多次边缘聚合迭代后，将边缘模型更新上传到云聚合器；云聚合器将多个边缘模型聚合后得到全局模型更新发送回所有的边缘聚合器；重复边缘聚合以及云聚合迭代，直至全局模型达到目标精度。该优化方法采用通信开销最小化作为优化目标。本发明专利技术提高学习性能的同时，可降低系统的通信开销。

【技术实现步骤摘要】
一种高效通信的分层联邦学习框架及其优化方法和系统
本专利技术涉及大规模分布式边缘智能框架的性能优化技术，尤其涉及一种高效通信的分层联邦学习框架及其优化方法和系统。
技术介绍
随着移动设备的普及率越来越高，网络边缘产生的数据日益增多。这些数据通常通过网络传输到云端集中存储，借助机器学习算法，可以有效地提取出数据的特征，为智能服务的发展奠定了基础。但是，移动设备产生的数据大多是隐私数据，在网络传输过程中面临隐私泄露的风险。为了保护数据隐私，联邦学习一改传统的集中式学习模式，提出每个分布式计算节点利用本地数据协作学习全局模型的新方法。这样，数据不必离开设备，只有计算节点学习到的模型更新被传输到云端聚合，然后更新云上的全局模型并将其发送回计算节点以进行下一轮的学习。所以，联邦学习可以在保护数据隐私的同时，不断地提高全局模型的质量。在联邦学习中，高效的通信对学习效率至关重要。因为需要足够多轮次的云端模型聚合才能使模型达到令人满意的精度。尤其是当分布式计算节点的数据为非独立同分布时，需要的聚合次数会更多。并且，通过实验发现，频繁的模型更新对于优化全本文档来自技高网...

【技术保护点】
1.一种高效通信的分层联邦学习框架，其特征在于，包括：一个云聚合器、多个边缘聚合器和多个分布式计算节点；每个云聚合器与多个边缘聚合器关联，每个边缘聚合器与两个以上的分布式计算节点关联；/n在每轮云聚合迭代中，边缘聚合器首先从云聚合器下载全局学习模型，每个分布式计算节点从其关联的边缘聚合器下载全局学习模型，用本地数据训练模型，再将模型更新上传到关联的边缘聚合器；边缘聚合器聚合接收到的来自相关联的两个以上的分布式计算节点的模型更新并聚合，将聚合后的模型发送回关联的计算节点，以进行下一轮次的边缘聚合迭代；/n每个边缘聚合器经过多次边缘聚合迭代后，将边缘模型更新上传到云聚合器；云聚合器将来自多个边缘聚...

【技术特征摘要】
1.一种高效通信的分层联邦学习框架，其特征在于，包括：一个云聚合器、多个边缘聚合器和多个分布式计算节点；每个云聚合器与多个边缘聚合器关联，每个边缘聚合器与两个以上的分布式计算节点关联；
在每轮云聚合迭代中，边缘聚合器首先从云聚合器下载全局学习模型，每个分布式计算节点从其关联的边缘聚合器下载全局学习模型，用本地数据训练模型，再将模型更新上传到关联的边缘聚合器；边缘聚合器聚合接收到的来自相关联的两个以上的分布式计算节点的模型更新并聚合，将聚合后的模型发送回关联的计算节点，以进行下一轮次的边缘聚合迭代；
每个边缘聚合器经过多次边缘聚合迭代后，将边缘模型更新上传到云聚合器；云聚合器将来自多个边缘聚合器的多个边缘模型聚合后得到全局模型，并将全局模型更新发送回所有的边缘聚合器，以进行下一轮次的云聚合迭代；
重复边缘聚合以及云聚合迭代，直至全局模型达到目标精度。


2.根据权利要求1所述的高效通信的分层联邦学习框架，其特征在于，所述边缘聚合器从候选边缘聚合器中选取，所述候选边缘聚合器从多个分布式计算节点中选取。


3.一种根据权利要求1至2中的高效通信的分层联邦学习框架的优化方法，其特征在于，包括以下步骤：
将计算节点与边缘聚合器之间以及边缘聚合器与云聚合器之间在整个分布式学习期间的总通信开销最小作为所述分层联邦学习框架的优化目标；定义为通信开销最小化问题；
将所述通信开销最小化问题转化为两个子问题：在每一轮次的云聚合中，通过决策X和Y来最小化移动计算节点、边缘聚合器和云聚合器之间的总通信成本；以及通过决策X和Y来最小化边缘聚合器的数据分布和均匀分布之间的平均相对熵；
并通过参数γ调整总通信成本与平均相对熵之间的权重；
求解所述通信开销最小化问题，获得最优的计算节点和边缘聚合器的关联组合，以及最佳边缘聚合器集合。


4.根据权利要求3所述的高效通信的分层联邦学习框架的优化方法，其特征在于，所述通信开销最小化问题的目标函数如下：



上述的目标函数满足以下约束：


















其中，是分布式计算节点的数量，二进制变量xe∈{0,1}用来标志候选边缘节点是否被选作边缘聚合器，等于1表示e被选作边缘聚合器，否则为0；二进制变量yne∈{0,1}用来标志分布式计算节点是否被关联到边缘聚合器e，关联为1，否则为0；(X,Y)为通过决策X和Y来最小化移动计算节点、边缘聚合器和云聚合器之间的总通信成本；Jd(X,Y)为通过决策X和Y来最小化边缘聚合器的数据分布和均匀分布之间的平均相对熵；
约束(4)要求不能选择候选边缘聚合器以外的节点作为边缘聚合器；
约束(5)要求每个分布式计算节点必须与一个且仅能与一个边缘聚合器关联；
约束(6)要求每个分布式计算节点只能与已被选为边缘聚合器的候选节点相关联；
约束(7)限制每个边缘聚合器e最多能与Be个计算节点相关联。


5.根据权利要求4所述的...

【专利技术属性】
技术研发人员：张尧学，邓永恒，吕丰，任炬，
申请(专利权)人：清华大学，中南大学，
类型：发明
国别省市：北京;11