一种用于多类型电网设备量测数据的动态资源调度方法技术

本发明专利技术公开了一种用于多类型电网设备量测数据的动态资源调度方法，所述方法包括：基于各边缘电网设备资源限制的条件下，通过队列长度调控实现负载均衡，实现边缘节点和云数据中心之间的任务协同；在边缘节点进行在线动态模型部署和资源分配，利用Primal

【技术实现步骤摘要】
一种用于多类型电网设备量测数据的动态资源调度方法


[0001]本专利技术涉及一种用于多类型电网设备量测数据的动态资源调度方法，属于计算系统应用和资源调度


技术介绍

[0002]为进一步落实《构建以新能源为主体的新型电力系统行动方案》相关要求，深入研究企业级实时量测中心数据汇聚于动态交互技术，已成为未来技术主攻方。随着量测技术不断发展，电网系统中除大量的传统传感设施外，还引入了多种智能化的监控方式，产生多类型的实时量测数据。由于其终端广泛部署、节点网络复杂，需要引入云边协同技术，充分利用网络边缘多余的计算、存储和服务能力，结合云端强大的集中数据处理与分析能力，来解决量测数据处理问题。对于不同类型的数据，需要的预处理工序不同，消耗的资源也不同。如对于传统传感数据的处理，可能需要使用图方法等进行大量计算，主要消耗CPU资源；但对于视频数据，可能需要对其中的物体进行检测或进行图像处理，更消耗GPU资源。因此，需要在每个边缘节点部署不同的模型进行，对传感数据或视频数据进行预处理分析。此外，由于以风能为代表的环境友好型新能源具有随机性、间歇性、不稳定等特点，其量测数据的分析需求同样具有不稳定性，还需要动态地进行模型部署，并对各异构边缘及云端的资源进行合理分配，以实现各计算节点负载平滑，避免作业堆积。

技术实现思路

[0003]本专利技术的目的在于提供一种用于多类型电网设备量测数据的动态资源调度方法，以实现在复杂网络结构下，可应对大量多类型实时数据，满足通信和计算需求的负载均衡的问题。
[0004]一种用于多类型电网设备量测数据的动态资源调度方法，所述方法包括：
[0005]基于各边缘电网设备资源限制的条件下，通过队列长度调控实现负载均衡，实现边缘节点和云数据中心之间的任务协同；
[0006]在边缘节点进行在线动态模型部署和资源分配，利用Primal
‑
Dual框架设计在线算法求解每个时刻的资源配置和模型部署进行动态决策。
[0007]进一步地，所述通过队列长度调控实现负载均衡的方法包括：
[0008]对每个边缘节点配设与其相连的传感设施，每个边缘节点之间通过有线网络相互连接，并通过IP骨干网共同连接到云端数据中心；
[0009]在云端数据中心的云端模型仓库存储M个预训练完毕的计算模型，对于每个模型m，定义它在t时刻的精度损失为a
m,t
，其资源需求为d
m
，其大小为s
m
，用p
m
表示模型m的处理能力；
[0010]每个边缘节点根据先到先服务的原则设置任务队列，每个任务到达后先加入队列末端等待处理。
[0011]进一步地，所述队列长度为：
[0012][0013]在任意t时刻，用z
n,m,t
表示模型m当前是否部署在边缘节点n上；p
m
表示模型m的处理能力，用q
n,t
表示t时刻边缘节点n上的队列长度，x
n,m,t
表示模型m在边缘n上应当部署的实例数；y
n,n
′
,t
表示应当从边缘节点n转移到n
′
的任务数，q
n,t+1
表示t+1时刻边缘节点n上的队列长度，y
n
′
,n,t
表示在任意t时刻，表示从边缘节点n
′
转移到n的任务数；因此目标为所有时刻的累积精度损失最小min∑
t
∑
n
∑
m
a
m,t
x
n,m,t
；
[0014]当时间结束时，任意设备上的队列长度为0，满足q
n,t+1
＝0；由于边缘节点的带宽和网络传输能力有限，用b
n,t
表示边缘节点n在t时刻的迁移能力上限，任意时刻任意节点的任务迁移满足：
[0015][0016]受到边缘节点的有限资源限制，部署在边缘节点上的模型实例数量必须在节点的承受能力范围内，在任意t
‑
1时刻，用z
n,m,t
‑1表示模型m是否部署在边缘节点n上用c
n,t
表示边缘节点n在t时刻的模型实例数量部署上限
[0017]进一步地，所述模型部署包括：从云上下载新的模型和释放已经部署的模型实例。
[0018]进一步地，所述Primal
‑
Dual框架的定义包括：
[0019]定义由边缘节点组成的异构设备集的计算能力构成矩阵A：
[0020]线性规划问题P：
[0021]min c
T
x
[0022]s.t.
[0023]Ax≥b
[0024]x≥0
[0025]其对偶问题D：
[0026]max b
T
x
[0027]s.t.
[0028]A
T
y≤c
[0029]y≥0
[0030]其中，A是m
×
n的矩阵，b和c都大于0；
[0031]假设x和y分别是问题P、D的可行解，判断x和y是否为最优解，需要同时考虑两种互补松弛条件：
[0032]第一种：原始互补松弛条件：
[0033][0034][0035]其中，A
j
表示系数矩阵的第j列；
[0036]条件(1)表示，当原问题的可行解x
j
＞0时，对应的对偶问题的约束为紧约束；
[0037]条件(2)表示，当对偶问题的某个约束为松约束时，对应的原问题的可行解x
j
＝0；
[0038]第二种：对偶互补松弛条件：
[0039][0040][0041]其中，A
i
表示系数矩阵的第i行；
[0042]当条件(1)
‑
(4)同时满足的时候，x和y为最优解。
[0043]进一步地，所述最优解包括：
[0044]首先找到能够满足对偶问题的松约束和紧约束的下标集合：
[0045]J＝{j|yA
j
＝c
j
}；I＝{i|y
i
＝0}
[0046]将互补松弛性的达成视为目标，寻找可行解转化为使得原始约束和互补松弛条件的违背最小。
[0047]进一步地，所述最优解还包括：
[0048][0049]s.t.A
i
x≥b
i i∈I
[0050][0051]x≥0
[0052]s≥0
[0053]求解特征为：当该限定原问题的目标值为0的时候，即得原问题的最优解；
[0054]而当该限定原问题的目标值不为0时，当前解为可行解，需要更换下标集合，修改可行解，再次进行求解判断，循环往复，直到得到原问题的最优解，或者推导出原问题无可行解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于多类型电网设备量测数据的动态资源调度方法，其特征在于，所述方法包括：基于各边缘电网设备资源限制的条件下，通过队列长度调控实现负载均衡，实现边缘节点和云数据中心之间的任务协同；在边缘节点进行在线动态模型部署和资源分配，利用Primal
‑
Dual框架设计在线算法求解每个时刻的资源配置和模型部署进行动态决策。2.根据权利要求1所述的用于多类型电网设备量测数据的动态资源调度方法，其特征在于，所述通过队列长度调控实现负载均衡的方法包括：对每个边缘节点配设与其相连的传感设施，每个边缘节点之间通过有线网络相互连接，并通过IP骨干网共同连接到云端数据中心；在云端数据中心的云端模型仓库存储M个预训练完毕的计算模型，对于每个模型m，定义它在t时刻的精度损失为a
m,t
，其资源需求为d
m
，其大小为s
m
，用p
m
表示模型m的处理能力；每个边缘节点根据先到先服务的原则设置任务队列，每个任务到达后先加入队列末端等待处理。3.根据权利要求1所述的用于多类型电网设备量测数据的动态资源调度方法，其特征在于，所述队列长度为：在任意t时刻，用z
n,m,t
表示模型m当前是否部署在边缘节点n上；p
m
表示模型m的处理能力，用q
n,t
表示t时刻边缘节点n上的队列长度，x
n,m,t
表示模型m在边缘n上应当部署的实例数；y
n,n
′
,t
表示应当从边缘节点n转移到n
′
的任务数，q
n,t+1
表示t+1时刻边缘节点n上的队列长度，y
n
′
,n,t
表示在任意t时刻，表示从边缘节点n
′
转移到n的任务数；因此目标为所有时刻的累积精度损失最小min∑
t
∑
n
∑
m
a
m,t
x
n,m,t
；当时间结束时，任意设备上的队列长度为0，满足q
n,t+1
＝0；由于边缘节点的带宽和网络传输能力有限，用b
n,t
表示边缘节点n在t时刻的迁移能力上限，任意时刻任意节点的任务迁移满足：受到边缘节点的有限资源限制，部署在边缘节点上的模型实例数量必须在节点的承受能力范围内，在任意t
‑
1时刻，用z
n,m,t
‑1表示模型m是否部署在边缘节点n上用c
n,t
表示边缘节点n在t时刻的模型实例数量部署上限4.根据权利要求1所述的用于多类型电网设备量测数据的动态资源调度方法，其特征在于，所述模型部署包括：从云上下载新的模型和释放已经部署的模型实例。5.根据权利要求1所述的用于多类型电网设备量测数据的动态资源调度方法，其特征在于，所述Primal
‑
Dual框架的定义包括：定义由边缘节点组成的异构设备集的计算能力构成矩阵
A
：线性规划问题P：min c
T
x
s.t.Ax≥bx≥0其对偶问题D：max b
T

【专利技术属性】
技术研发人员：张子谦，李盛盛，李莉，王沈亮，施康，佘运波，牛紫阳，陈刚，梁淼，黄超智，陈俣，
申请(专利权)人：南京南瑞信息通信科技有限公司，
类型：发明
国别省市：