一种海量电网调度数据采集与存储系统技术方案

本发明专利技术涉及一种海量电网调度数据采集与存储系统，包括数据采集模块、数据处理模块、数据解析模块、数据存储模块、数据读取模块；其中，数据采集模块实现调度数据的采集；数据处理模块实现数据的预处理；数据识别模块实现数据功能的识别；数据存储模块实现数据的分类存储；数据读取模块实现数据的快速读取。本发明专利技术实现了海量电网调度数据的高效采集与存储，同时解决了数据读取低效的问题。时解决了数据读取低效的问题。时解决了数据读取低效的问题。

【技术实现步骤摘要】
一种海量电网调度数据采集与存储系统


[0001]本专利技术涉及电网调度数据采集与存储领域，尤其涉及一种海量电网调度数据采集与存储系统。

技术介绍

[0002]随着国民用电量的大幅度增长，电网设备也投入的越来越多，因此电力调度数据量呈现出指数级的增长，这就宣告了电力调度数据网的大数据时代的来临。目前，电力调度业务中的数据每天都在快速增长，现有的技术已经很难满足海量调度业务数据的采集和存储。主要表现为无法将海量的数据进行完整采集，同时，单一的存储功能使得数据调阅时难以开展数据分析，数据读取困难，严重制约了电网的快速发展和推广新业务的速度。由于电力调度数据网的进一步发展，使得信息数据量也不断增加，这就需要有更高能力的数据采集和存储的方式，而传统的电网采集和存储方式已经很难满足这种需求。

技术实现思路

[0003]为了克服现有技术的不足，本专利技术提供了一种海量电网调度数据采集与存储系统，实现了海量电网调度数据的高效采集与存储，同时解决了数据读取低效的问题。
[0004]为解决以上技术问题，本专利技术的技术方案为：一种海量电网调本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种海量电网调度数据采集与存储系统，其特征在于：包括数据采集模块、数据处理模块、数据解析模块、数据存储模块和数据读取模块；其中，数据采集模块实现调度数据的采集；数据处理模块实现数据的预处理；数据识别模块实现数据功能的识别；数据存储模块实现数据的分类存储；数据读取模块实现数据的快速读取。2.根据权利要求1所述的海量电网调度数据采集与存储系统，其特征在于：所述数据采集模块用于采集电网中的报文数据，数据采集模块包括：主网数据采集模块和配网数据采集模块；其中，主网数据采集模块用于对厂站远动装置上送至主站前置机上的海量报文数据进行采集；配网数据采集模块用于对厂站配电自动化终端上送的海量报文数据进行采集。3.根据权利要求1所述的海量电网调度数据采集与存储系统，其特征在于：数据处理模块对采集的报文数据五元组进行解析，判断报文是否符合104规约格式；具体步骤如下：步骤A1，查找解析后报文中是否有“0x68”字节，如果不是，则判定为不符合104规约格式，然后将其丢弃，否则进入步骤A2；步骤A2，截取从“0x68”字节开始的后续报文数据；步骤A3，判断截取的报文的应用层协议数据单元长度是否介于4到253以内，如果不是，则判定为不符合104规约格式，然后将其丢弃，否则进入步骤A4；步骤A4，判断截取的报文总长度是否比应用层协议数据单元长度多2个字节，如果不是，则判定为不符合104规约格式，然后将其丢弃，否则判定为符合104规约格式。4.根据权利要求1所述的海量电网调度数据采集与存储系统，其特征在于：所述数据识别模块利用深度学习网络对报文应用服务数据进行识别，具体步骤如下：步骤B1，提取报文中的应用服务数据，将十六进制的应用数据转换成十进制；步骤B2，将进制转换后的十进制数据中前784个数进行截取，多余的部分进行丢弃，不足的部分则用0进行补全，再进行归一化操作；步骤B3，将归一化后的784个...

【专利技术属性】
技术研发人员：周航，嵇文路，潘小辉，朱红勤，孙佳炜，杨斌，马楠，宋冰倩，
申请(专利权)人：国网江苏省电力有限公司南京供电分公司，
类型：发明
国别省市：