面向电力数据共享的联邦学习聚合优化系统及方法技术方案

本申请适用于电力数据共享技术领域，提供了一种面向电力数据共享的联邦学习聚合优化系统及方法，该系统包括：设备层、边缘层和云层；设备层包括电力物联设备，用于采集目标客户端的电力数据，建立分层联邦学习模型，进行本地模型训练；以及将电力数据和本地模型训练参数发送给边缘层；边缘层包括边缘服务器，用于基于本地模型训练参数，采用模糊聚类法更新边缘模型；以及将电力数据和边缘模型发送给云层；云层包括参数服务器，用于根据电力数据和边缘模型的参数，以过时性感知的异步更新机制更新全局模型。本申请的方法能够在不稳定环境下减少联邦学习的通信时间，提高联邦学习在边缘网络中应用的性能。缘网络中应用的性能。缘网络中应用的性能。

【技术实现步骤摘要】
面向电力数据共享的联邦学习聚合优化系统及方法


[0001]本申请属于电力数据共享
，尤其涉及一种面向电力数据共享的联邦学习聚合优化系统及方法。

技术介绍

[0002]随着新型电力系统的发展和技术需求，联邦学习FL(Federated Learning)广泛应用于电力数据共享业务中进行多方联合建模，并保护用户数据隐私。然而，在边缘网络环境下，联邦学习的性能受制于异构的物联设备、有限的网络资源、数据质量不均衡的约束，难以发挥作用。联邦学习在电力数据共享中应用还存在以下问题：1)物联网设备与云数据中心之间频繁的参数传递导致通信成本高；2)参与联邦学习训练的设备异构性，导致联邦学习的聚合过程存在“掉队者效应”，影响了联邦学习模型的质量；3)能源及电力物联设备网络状态不稳定，可能出现的节点故障和连接中断等问题影响了联邦学习的训练效率。因此，如何在电力物联网边缘高效地执行联邦学习成为一个关键的问题。
[0003]目前许多建议和方案被提出来改善联邦学习的性能。为了减小联邦学习的通信时延，一种常用的解决方法通过将本地数据部分卸载到边缘进行同步训练，但是这种方法损害了用户隐私。还有一种解决办法是通过选择合适的客户端和在每个学习轮次中分配带宽，使得联邦学习的训练效果更好，但这种方法采用的是基于参数服务器和客户端的两层框架，所以大多数的方案仍然会导致网络拥塞。因此，有望提出兼顾训练时间和训练准确性的解决方案。

技术实现思路

[0004]为克服相关技术中存在的问题，本申请实施例提供了一种面向电力数据共享的联邦学习聚合优化系统及方法，能够在不稳定环境下减少联邦学习的通信时间，提高联邦学习在边缘网络中应用的性能。
[0005]本申请是通过如下技术方案实现的：
[0006]第一方面，本申请实施例提供了面向电力数据共享的联邦学习聚合优化系统，包括：设备层、边缘层和云层；
[0007]所述设备层包括电力物联设备，用于采集目标客户端的电力数据，建立分层联邦学习模型，进行本地模型训练，以及将所述电力数据和所述本地模型训练参数发送给所述边缘层；
[0008]所述边缘层包括边缘服务器，用于基于所述本地模型训练参数，采用模糊聚类法更新边缘模型，以及将所述电力数据和所述边缘模型发送给所述云层；
[0009]所述云层包括参数服务器，用于根据所述电力数据和所述边缘模型的参数，以过时性感知的异步更新机制更新全局模型。
[0010]在第一方面的一种可能的实现方式中，所述电力物联设备作为参与所述本地模型训练的客户端，形成分层联邦学习模型；
[0011]所述分层联邦学习模型包括本地模型训练、边缘模型聚合和全局模型更新。
[0012]在第一方面的一种可能的实现方式中，所述边缘模型用于对联邦学习模型进行重构；
[0013]所述对联邦学习模型进行重构包括通过采用模糊聚类法对所述电力物联设备进行分簇，选择一个目标边缘服务器作为簇头；所述目标边缘服务器为所述模糊聚类法的聚类中心，所述聚类中心对联邦学习模型进行重构。
[0014]在第一方面的一种可能的实现方式中，在所述本地模型训练时，客户端使用梯度下降法来训练本地模型，对于集群k中的客户端i来说，在数据集上训练的损失函数表示为：
[0015][0016]在所述边缘模型聚合时，所述集群k中的设备向所述目标边缘服务器发送更新的本地模型得到更新的边缘模型w
k
表示为：
[0017][0018]在所述全局模型更新时，所述参数服务器接受所有边缘模型并进行全局聚合，定义t轮过后的全局损失函数F(w
t
)为：
[0019][0020]在第一方面的一种可能的实现方式中，所述模糊聚类法包括能量消耗模型、计算与通信时间模型和数据异质性模型；
[0021]所述能量消耗模型为：
[0022][0023][0024]其中，E
tran
(i，j)为客户端n
i
向n
j
传输b比特数据的能量消耗，α
del
表示数据处理的电路所消耗的单位能量，α
op
表示运行电路所消耗的单位能量，d
ij
表示客户端n
i
和n
j
之间的距离，γ表示路径衰耗指数；客户端n
i
的CPU周期频率表示为f
i
，训练本地模型所需要执行的CPU周期数为c
i
，β
i
表示样本数据大小，是客户端i芯片组的有效电容参数；
[0025]所述计算与通信时间模型为：
[0026][0027][0028]其中，为边缘节点k传输模型参数的时间，为边缘节点i传输模型参数的时间；联邦学习参数的传输速率表示为B是传输带宽，ρ
k
是边缘节点k的传输功率，h
k
是边缘节点k之间点对点链路的信道增益，N0是可能存在的噪声；令边缘节点边缘聚合所得的模型参数数目为σ；TP
i
表示客户端之间的P2P通信吞吐量；
[0029]所述数据异质性模型为：假设第i个客户端的训练数据是从分布中iid采样的，则总体分布是所有局部数据分布的混合，即将SGD权重发散定义为：
[0030][0031]使用EMD距离来量化客户端数据分布的模型权重发散程度；设p(y＝z)为总体概率分布，p
i
(y＝z)为第i个客户端的局部概率分布，则客户端i的EMD距离为：
[0032][0033]在第一方面的一种可能的实现方式中，所述模糊聚类法，还包括：将所述分层联邦学习模型聚类转化为非线性规划问题，进行模糊K均值聚类；
[0034]所述模糊K均值聚类表示为：
[0035][0036]其中，J为最小化目标，即簇内平方误差；u
ki
为
‑
簇划分矩阵，μ
k
是簇的聚类中心；u
ki
包括客户端的所述能量消耗、所述计算和通信时间和所述模型权重分散程度。
[0037]在第一方面的一种可能的实现方式中，所述过时性感知的异步更新机制，包括：
[0038]对于集群k，τ表示自上次全局更新以来其内部客户端的本地迭代次数，t
‑
τ表示第t轮迭代的模型过时性；设置在全局聚合时，从任意集群接收到的模型权重由τ确定，得到全局更新规则为：
[0039][0040]其中，w
k
表示第t轮迭代接收到的所述边缘模型参数，表示第t轮全局迭代时所述边缘模型w
k
的权重；
[0041]的值由下式确定：
[0042][0043]其中，a和b为预设的超参数，a＞0，b≥0，b表示为过时模型权重的衰减度；当τ＞a时，模型的权重随着老化程度的增加而下降；
[0044]将所述边缘模型的权重初始化为将初始化带入上式可重新得到的表达式：
[0045][0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向电力数据共享的联邦学习聚合优化系统，其特征在于，包括：设备层、边缘层和云层；所述设备层包括电力物联设备，用于采集目标客户端的电力数据，建立分层联邦学习模型，进行本地模型训练，以及将所述电力数据和所述本地模型训练参数发送给所述边缘层；所述边缘层包括边缘服务器，用于基于所述本地模型训练参数，采用模糊聚类法更新边缘模型，以及将所述电力数据和所述边缘模型发送给所述云层；所述云层包括参数服务器，用于根据所述电力数据和所述边缘模型的参数，以过时性感知的异步更新机制更新全局模型。2.如权利要求1所述的面向电力数据共享的联邦学习聚合优化系统，其特征在于，所述电力物联设备作为参与所述本地模型训练的客户端，形成分层联邦学习模型；所述分层联邦学习模型包括本地模型训练、边缘模型聚合和全局模型更新。3.如权利要求2所述的面向电力数据共享的联邦学习聚合优化系统，其特征在于，所述边缘模型用于对联邦学习模型进行重构；所述对联邦学习模型进行重构包括通过采用模糊聚类法对所述电力物联设备进行分簇，选择一个目标边缘服务器作为簇头；所述目标边缘服务器为所述模糊聚类法的聚类中心，所述聚类中心对联邦学习模型进行重构。4.如权利要求3所述的面向电力数据共享的联邦学习聚合优化系统，其特征在于，在所述本地模型训练时，客户端使用梯度下降法来训练本地模型，对于集群k中的客户端i来说，在数据集上训练的损失函数表示为：在所述边缘模型聚合时，所述集群k中的设备向所述目标边缘服务器发送更新的本地模型得到更新的边缘模型w
k
表示为：在所述全局模型更新时，所述参数服务器接受所有边缘模型并进行全局聚合，定义t轮过后的全局损失函数F(w
t
)为：5.如权利要求1所述的面向电力数据共享的联邦学习聚合优化系统，其特征在于，所述模糊聚类法包括能量消耗模型、计算与通信时间模型和数据异质性模型；所述能量消耗模型为：
其中，E
tran
(i,h)为客户端n
i
向n
j
传输b比特数据的能量消耗，α
del
表示数据处理的电路所消耗的单位能量，α
op
表示运行电路所消耗的单位能量，d
ij
表示客户端n
i
和n
j
之间的距离，γ表示路径衰耗指数；客户端n
i
的CPU周期频率表示为f
i
，训练本地模型所需要执行的CPU周期数为c
i
，β
i
表示样本数据大小，是客户端i芯片组的有效电容参数；所述计算与通信时间模型为：所述计算与通信时间模型为：其中，为边缘节点k传输模型参数的时间，为边缘节点i传输模型参数的时间；联邦学习参数的传输速率表示为B是传输带宽，ρ
k
是边缘节点k的传输功率，h
k
是边缘节点k之间点对点链路的信道增益，N0是可能存在的噪声；令边缘节点边缘聚合所得的模型参数数目为σ；TP
i
表示客户端之间的P2P通信吞吐量；所述数据异质性模型为：假设第i个客户端的训练...

【专利技术属性】
技术研发人员：陈连栋，程凯，张磊，申培培，刘咸通，辛晓鹏，赵林丛，刘子州，刘玮，郭少勇，
申请(专利权)人：北京邮电大学国家电网有限公司，
类型：发明
国别省市：