基于改进水母搜索算法的数据处理进程调度方法及系统技术方案

本发明专利技术公开了一种基于改进水母搜索算法的数据处理进程调度方法及系统，其先收集历史量测数据并统计得到量测数据的算力需求曲线，然后基于滑动窗口将算力需求曲线划分为多个时间窗口，使得每个时间窗口内的算力需求平滑波动，在构建优化问题后进行迭代求解，得到的最优解即表征每个时间窗口内的进程分布向量，保证每个时间窗口内调度的计算资源满足数据处理时延要求且降低了资源消耗，并且，约束了相邻时间窗口的进程分布差异小于阈值，避免了相邻时间窗口出现进程分布的大幅度变动，提高了调度效率

【技术实现步骤摘要】
基于改进水母搜索算法的数据处理进程调度方法及系统


[0001]本专利技术涉及电力量测数据并行处理
，特别地，涉及一种基于改进水母搜索算法的数据处理进程调度方法及系统
、
电子设备
、
计算机可读取的存储介质
。

技术介绍

[0002]电力系统的运行稳定性对整个社会的经济运行和人民生活都有着至关重要的影响，数据共享平台通过汇聚各种传感器获取的电压
、
电流
、
功率等信号数据，结合大数据处理技术可以快速且准确地反映出电力系统的实时状态以及各个设备的运行状况
。
在电网运行中，随着分布式光伏发电
、
风能发电等新能源的飞速发展和电网基础设施的不断完善优化，电网的并网规模越来越大，越来越多的终端被布置在电力系统的各个环节，以保障电力系统安全有效地运行
。
虽然，终端数量的增加以及更为细粒度的数据收集为用户提供了更为优质的服务，但是终端上报的实时数据量陡增，给电力系统带来了新的问题
。
由于实时数据的价值随着时间的推移会快速流逝，因此，如何快速处理实时数据是电力系统面临的新型问题之一，而数据并行处理可以有效加快量测数据处理的速度，保障量测数据档案关联的实时性和准确性
。
[0003]但是，目前的并行处理方法并未根据设备上报量测数据的特性进行设计，工作人员往往只基于测试或者经验取指定进程的数量来保证数据被及时处理
。
而量测数据具有以下特点：一是无边界的流数据，二是量测数据所对应的设备是无序的，不同设备上报数据的频率不一致且数据到达系统的时间不一致，因此，人为指定的进程数量与实时上传的量测数据量不匹配，过大的进程数量会消耗过多的系统资源，而过小的进程数量由于工作人员无法及时做出调整，又会使得实时数据无法得到及时处理，进而出现数据堆压，降低实时数据的价值
。
因此，现有的数据并行处理方法仍然无法满足量测数据的实时性要求，使得不同进程的数据处理负荷出现较大差距，进而出现有些进程的算力富余，而有些进程则无法在容忍时间内处理完数据，最终影响数据处理的整体实时性，而且需要人工设定进程数量，给数据处理带来了额外的工作量
。
因此，亟需基于量测数据的数据特征设计一种进程自适应调度方法，使得不同量测数据量匹配对应的计算资源，能够有效提高量测数据处理的效率的同时避免过多的额外资源消耗
。

技术实现思路

[0004]本专利技术提供了一种基于改进水母搜索算法的数据处理进程调度方法及系统
、
电子设备
、
计算机可读取的存储介质，以解决现有数据并行处理方法无法满足量测数据处理的实时性要求的技术问题
。
[0005]根据本专利技术的一个方面，提供一种基于改进水母搜索算法的数据处理进程调度方法，包括以下内容：
[0006]收集历史量测数据并统计得到量测数据的算力需求曲线；
[0007]基于滑动窗口将算力需求曲线划分为多个时间窗口，划分后每个时间窗口内的算
力需求平滑波动；
[0008]以最小化资源开销作为优化目标
、
以每个时间窗口的处理时延低于容忍时延和每个主机中允许的进程数量作为强制性约束条件
、
以相邻时间窗口的进程分布差异小于阈值作为非强制性约束条件，构建优化问题；
[0009]对优化问题进行迭代求解，得到的最优解表征每个时间窗口内的进程分布向量；
[0010]基于每个时间窗口内的进程分布向量调度对应时间区段内每台主机上的进程数量
。
[0011]进一步地，所述收集历史量测数据并统计得到量测数据的算力需求曲线的过程具体为：
[0012]收集多天的历史量测数据，将一天划分为若干个时刻，然后对历史量测数据进行分类并统计得到每类量测数据在多天的同一时刻的数据量，基于三西格玛准则计算得到每类量测数据在每个时刻的数据量上限值，并计算得到所有类型量测数据在每个时刻的算力需求，从而得到历史量测数据的算力需求曲线
。
[0013]进一步地，所述基于滑动窗口将算力需求曲线划分为多个时间窗口的过程具体为：
[0014]设置滑动窗口的大小，并计算得到初始化时滑动窗口内的算力需求均值，将其作为初始值；其中，初始化时，当前时间窗口的覆盖范围为当前滑动窗口的覆盖范围；
[0015]利用滑动窗口在算力需求曲线上进行不重叠滑动，并计算得到滑动后滑动窗口内算力需求均值的新值，基于算力需求均值的新值和初始值判断是否满足时间窗口划分条件，若满足则将滑动窗口在滑动后覆盖的时间范围划入当前时间窗口，若不满足则转入下一步骤；
[0016]基于二分搜索算法对滑动后的滑动窗口进行划分，找到满足时间窗口划分条件的时间点坐标，并基于该时间点坐标将滑动后的时间窗口划分为左窗口和右窗口，将左窗口覆盖的时间范围划入当前时间窗口，并计算得到右窗口内的算力需求均值，将其作为滑动窗口内算力需求均值的更新值，并将右窗口覆盖的时间范围设置为下一个时间窗口的初始覆盖范围；
[0017]利用滑动窗口滑动遍历算力需求曲线，从而将算力需求曲线划分为多个时间窗口，划分后每个时间窗口内的算力需求平滑波动
。
[0018]进一步地，若算力需求均值的新值的变化率小于预设阈值，或者，当前时间窗口覆盖的时间范围小于预设阈值，则将滑动窗口在滑动后覆盖的时间范围划入当前时间窗口
。
[0019]进一步地，若当前时间窗口覆盖的时间范围小于预设阈值，则计算滑动后滑动窗口内的算力需求方差，若算力需求方差小于预设阈值，则将滑动窗口内的算力需求均值由初始值更新为新值，否则不进行更新
。
[0020]进一步地，所述优化问题表示为：
[0021][0022]其中，
e
h
表示主机
h
中进程处理数据每单位时间的资源开销，
T
i
表示系统在第
i
个时间窗口内处理数据所需的时间，表示主机
h
在第
i
个时间窗口内启用的进程数量，
H
表示系统中主机的数量，
W
表示时间窗口的数量，表示主机
h
在第
i+1
个时间窗口内启用的进程数量，
|w
i
|
表示第
i
个时间窗口的长度，表示容忍时延，
P
h
表示第
h
台主机最大允许的并行进程数量，
θ
表示相邻时间窗口的进程分布差异阈值，约束
C1
和
C2
为强制性约束，约束
C3
为非强制性约束
。
[0023]进一步地，所述对优化问题进行迭代求解的过程具体为：
[0024]初始化水母群，其中，水母群中水母
...

【技术保护点】

【技术特征摘要】
1.
一种基于改进水母搜索算法的数据处理进程调度方法，其特征在于，包括以下内容：收集历史量测数据并统计得到量测数据的算力需求曲线；基于滑动窗口将算力需求曲线划分为多个时间窗口，划分后每个时间窗口内的算力需求平滑波动；以最小化资源开销作为优化目标
、
以每个时间窗口的处理时延低于容忍时延和每个主机中允许的进程数量作为强制性约束条件
、
以相邻时间窗口的进程分布差异小于阈值作为非强制性约束条件，构建优化问题；对优化问题进行迭代求解，得到的最优解表征每个时间窗口内的进程分布向量；基于每个时间窗口内的进程分布向量调度对应时间区段内每台主机上的进程数量
。2.
如权利要求1所述的基于改进水母搜索算法的数据处理进程调度方法，其特征在于，所述收集历史量测数据并统计得到量测数据的算力需求曲线的过程具体为：收集多天的历史量测数据，将一天划分为若干个时刻，然后对历史量测数据进行分类并统计得到每类量测数据在多天的同一时刻的数据量，基于三西格玛准则计算得到每类量测数据在每个时刻的数据量上限值，并计算得到所有类型量测数据在每个时刻的算力需求，从而得到历史量测数据的算力需求曲线
。3.
如权利要求1所述的基于改进水母搜索算法的数据处理进程调度方法，其特征在于，所述基于滑动窗口将算力需求曲线划分为多个时间窗口的过程具体为：设置滑动窗口的大小，并计算得到初始化时滑动窗口内的算力需求均值，将其作为初始值；其中，初始化时，当前时间窗口的覆盖范围为当前滑动窗口的覆盖范围；利用滑动窗口在算力需求曲线上进行不重叠滑动，并计算得到滑动后滑动窗口内算力需求均值的新值，基于算力需求均值的新值和初始值判断是否满足时间窗口划分条件，若满足则将滑动窗口在滑动后覆盖的时间范围划入当前时间窗口，若不满足则转入下一步骤；基于二分搜索算法对滑动后的滑动窗口进行划分，找到满足时间窗口划分条件的时间点坐标，并基于该时间点坐标将滑动后的时间窗口划分为左窗口和右窗口，将左窗口覆盖的时间范围划入当前时间窗口，并计算得到右窗口内的算力需求均值，将其作为滑动窗口内算力需求均值的更新值，并将右窗口覆盖的时间范围设置为下一个时间窗口的初始覆盖范围；利用滑动窗口滑动遍历算力需求曲线，从而将算力需求曲线划分为多个时间窗口，划分后每个时间窗口内的算力需求平滑波动
。4.
如权利要求3所述的基于改进水母搜索算法的数据处理进程调度方法，其特征在于，若算力需求均值的新值的变化率小于预设阈值，或者，当前时间窗口覆盖的时间范围小于预设阈值，则将滑动窗口在滑动后覆盖的时间范围划入当前时间窗口
。5.
如权利要求4所述的基于改进水母搜索算法的数据处理进程调度方法，其特征在于，若当前时间窗口覆盖的时间范围小于预设阈值，则计算滑动后滑动窗口内的算力需求方差，若算力需求方差小于预设阈值，则将滑动窗口内的算力需求均值由初始值更新为新值，否则不进行更新
。6.
如权利要求1所述的基于改进水母搜索算法的数据处理进程调度方法，其特征在于，所述优化问题表示为：
C1:C2:C3:
其中，
e
h
表示主机
h
中进程处理数据每单位时间的资源开销，
T
i
表示系统在第
i
个时间窗口内处理数据所需的时间，表示主机
h
在第
i
个时间窗口内启用的进程数量，
H
表示系统中主机的数量，
W
表示时间窗口的数量，表示主机
h
在第
i+1
个时间窗口内启用的进程数量，
|w
i
|
表示第
i
个时间窗口的长度，表示容忍时延，
P
h
表示第
...

【专利技术属性】
技术研发人员：祝视，李浩志，杨芳僚，孙毅臻，朱宏宇，黄鑫，周沿东，王建辉，杨洪明，郑宇，
申请(专利权)人：国网湖南省电力有限公司信息通信分公司国家电网有限公司，
类型：发明
国别省市：