【技术实现步骤摘要】
基于改进水母搜索算法的数据处理进程调度方法及系统
[0001]本专利技术涉及电力量测数据并行处理
,特别地,涉及一种基于改进水母搜索算法的数据处理进程调度方法及系统
、
电子设备
、
计算机可读取的存储介质
。
技术介绍
[0002]电力系统的运行稳定性对整个社会的经济运行和人民生活都有着至关重要的影响,数据共享平台通过汇聚各种传感器获取的电压
、
电流
、
功率等信号数据,结合大数据处理技术可以快速且准确地反映出电力系统的实时状态以及各个设备的运行状况
。
在电网运行中,随着分布式光伏发电
、
风能发电等新能源的飞速发展和电网基础设施的不断完善优化,电网的并网规模越来越大,越来越多的终端被布置在电力系统的各个环节,以保障电力系统安全有效地运行
。
虽然,终端数量的增加以及更为细粒度的数据收集为用户提供了更为优质的服务,但是终端上报的实时数据量陡增,给电力系统带来了新的问题
。
由于实时数据的价值随着时间的推移会快速流逝,因此,如何快速处理实时数据是电力系统面临的新型问题之一,而数据并行处理可以有效加快量测数据处理的速度,保障量测数据档案关联的实时性和准确性
。
[0003]但是,目前的并行处理方法并未根据设备上报量测数据的特性进行设计,工作人员往往只基于测试或者经验取指定进程的数量来保证数据被及时处理
。
而量测数据具有以下特点:一是无边界的流
【技术保护点】
【技术特征摘要】
1.
一种基于改进水母搜索算法的数据处理进程调度方法,其特征在于,包括以下内容:收集历史量测数据并统计得到量测数据的算力需求曲线;基于滑动窗口将算力需求曲线划分为多个时间窗口,划分后每个时间窗口内的算力需求平滑波动;以最小化资源开销作为优化目标
、
以每个时间窗口的处理时延低于容忍时延和每个主机中允许的进程数量作为强制性约束条件
、
以相邻时间窗口的进程分布差异小于阈值作为非强制性约束条件,构建优化问题;对优化问题进行迭代求解,得到的最优解表征每个时间窗口内的进程分布向量;基于每个时间窗口内的进程分布向量调度对应时间区段内每台主机上的进程数量
。2.
如权利要求1所述的基于改进水母搜索算法的数据处理进程调度方法,其特征在于,所述收集历史量测数据并统计得到量测数据的算力需求曲线的过程具体为:收集多天的历史量测数据,将一天划分为若干个时刻,然后对历史量测数据进行分类并统计得到每类量测数据在多天的同一时刻的数据量,基于三西格玛准则计算得到每类量测数据在每个时刻的数据量上限值,并计算得到所有类型量测数据在每个时刻的算力需求,从而得到历史量测数据的算力需求曲线
。3.
如权利要求1所述的基于改进水母搜索算法的数据处理进程调度方法,其特征在于,所述基于滑动窗口将算力需求曲线划分为多个时间窗口的过程具体为:设置滑动窗口的大小,并计算得到初始化时滑动窗口内的算力需求均值,将其作为初始值;其中,初始化时,当前时间窗口的覆盖范围为当前滑动窗口的覆盖范围;利用滑动窗口在算力需求曲线上进行不重叠滑动,并计算得到滑动后滑动窗口内算力需求均值的新值,基于算力需求均值的新值和初始值判断是否满足时间窗口划分条件,若满足则将滑动窗口在滑动后覆盖的时间范围划入当前时间窗口,若不满足则转入下一步骤;基于二分搜索算法对滑动后的滑动窗口进行划分,找到满足时间窗口划分条件的时间点坐标,并基于该时间点坐标将滑动后的时间窗口划分为左窗口和右窗口,将左窗口覆盖的时间范围划入当前时间窗口,并计算得到右窗口内的算力需求均值,将其作为滑动窗口内算力需求均值的更新值,并将右窗口覆盖的时间范围设置为下一个时间窗口的初始覆盖范围;利用滑动窗口滑动遍历算力需求曲线,从而将算力需求曲线划分为多个时间窗口,划分后每个时间窗口内的算力需求平滑波动
。4.
如权利要求3所述的基于改进水母搜索算法的数据处理进程调度方法,其特征在于,若算力需求均值的新值的变化率小于预设阈值,或者,当前时间窗口覆盖的时间范围小于预设阈值,则将滑动窗口在滑动后覆盖的时间范围划入当前时间窗口
。5.
如权利要求4所述的基于改进水母搜索算法的数据处理进程调度方法,其特征在于,若当前时间窗口覆盖的时间范围小于预设阈值,则计算滑动后滑动窗口内的算力需求方差,若算力需求方差小于预设阈值,则将滑动窗口内的算力需求均值由初始值更新为新值,否则不进行更新
。6.
如权利要求1所述的基于改进水母搜索算法的数据处理进程调度方法,其特征在于,所述优化问题表示为:
C1:C2:C3:
其中,
e
h
表示主机
h
中进程处理数据每单位时间的资源开销,
T
i
表示系统在第
i
个时间窗口内处理数据所需的时间,表示主机
h
在第
i
个时间窗口内启用的进程数量,
H
表示系统中主机的数量,
W
表示时间窗口的数量,表示主机
h
在第
i+1
个时间窗口内启用的进程数量,
|w
i
|
表示第
i
个时间窗口的长度,表示容忍时延,
P
h
表示第
...
【专利技术属性】
技术研发人员:祝视,李浩志,杨芳僚,孙毅臻,朱宏宇,黄鑫,周沿东,王建辉,杨洪明,郑宇,
申请(专利权)人:国网湖南省电力有限公司信息通信分公司国家电网有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。