基于海量电力实时数据的分布式管理系统技术方案

本发明专利技术公开了基于海量电力实时数据的分布式管理系统，包括：分布式电力实时数据存储平台，所述分布式电力实时数据存储平台包括电力实时数据管理模块以及存储电力实时数据的分布式数据库；所述电力实时数据管理模块将电力实时数据进行模型转换，所述模型转换将电力实时数据转换为符合分布式数据库的数据结构，模型转换后的电力实时数据存入分布式数据库中。充分考虑了电力实时数据的数据量、数据类型、数据采集方式、数据存储方式、用户查询方式等特点，并针对这些特点进行了定制和性能优化，以提高本系统的数据存储速度、数据查询速度、系统易用性等性能。

Distributed management system based on massive power real-time data

The invention discloses a distributed management system, massive power based on real time data including distributed power real-time data storage platform, the distributed power real-time data storage platform including distributed data base power real-time data management module and real-time data storage power; the power real-time data management module of power real-time data model transformation, the model conversion to convert the electric power real-time data into a data structure with the distributed database, the real-time data of the power transformation model in distributed database. Considering the characteristics of electric power real-time data, data type, data acquisition, data storage and query mode, and according to the characteristics of customization and performance optimization, in order to improve the speed of data storage, the system data query speed, system usability and performance.

【技术实现步骤摘要】
基于海量电力实时数据的分布式管理系统
本专利技术属于数据管理
，涉及基于海量电力实时数据的分布式管理系统，主要利用大数据处理技术来实现。
技术介绍
电力企业每天产生海量的数据，其中电网实时数据体量最大。由于其直接表现了电网的生产运行状况，因此重要性也最高。对电网实时数据集中存储，集中分析，可以为电网调度提供辅助决策、分析电力设备和电力线路的安全性和可靠性，提升电网的安全运行管理水平。还可以对社会发布用户的电量、电价、负荷数据，实现用户积极参与电网互动，鼓励用户的用电消费。当前，电力企业的实时数据存储在各个电力实时系统的实时数据库中，数据存储是分散的。例如，SCADA系统的实时数据存储在SCADA系统的实时数据库，电厂DCS系统的实时数据存储在电厂DCS系统的实时数据库。电力企业目前没有一个能够集中存储电力企业各种电力实时数据，并能够提供并行计算的数据库。这样造成如下的问题:第一，各个电力实时系统建设时，所选用的实时数据库只考虑了应对本系统本身的查询和存储的计算负荷需求，没有考虑数据分析的计算压力，因此如果直接查询这些实时数据库，进行数据分析，有可能会引起这些电力实时系统的运行故障。第二，电力实时数据分散存储在各个实时数据库，我们无法使用一个分析模型对于全地区的同类的实时数据进行统一的数据分析。例如，我们希望对电厂DCS系统的实时数据进行分析，以了解设备故障和设备超负荷运行之间的关系。但是全省有十个电厂，各个电厂用的DCS系统都是不同厂家的，使用的实时数据库以及实时数据的存储方式都不同。这样，我们必须针对这十个DCS系统编写十个数据分析程序，才可以完成数据分析。所以，将电力实时数据集中存储，将同类电力实时数据按照统一的数据存储模型进行存储，使用一个数据分析算法实现同类电力实时数据的数据分析是非常必要的。第三，无法依照数据分析的需求对电力实时数据进行合理的存储和维护管理。电力实时数据是电力企业宝贵的数据资产，电力企业可以从各种分析角度，使用各种分析模型对电力实时数据进行数据分析，从中发现设备运行情况、电网状态、故障发生原因等信息。因此，电力实时数据需要保存足够长的时间，以充分对其进行分析利用。过期的电力实时数据应该有合理的导出归档的机制。当前，电力企业电力实时数据分散存储在各个电力实时系统的实时数据库中，各个电力实时系统有自己的一套实时数据过期和作废的机制，这些机制肯定各不相同，而且不符合电力数据分析对于数据管理的要求。所以，将电力实时数据集中存储，使用统一的数据存储管理规则是很必要的。第四，电力实时系统的实时数据库不支持高并发查询和并行计算。电力实时数据可能会被很多的数据分析算法使用，还可能会被很多电力用户进行数据查询，因此要求存储电力实时数据的数据库具有高并发访问的能力，并且能够使用并行计算的方式提高查询和数据计算速度。但是电力实时系统的实时数据库不支持高并发查询和并行计算。为了解决上述的问题，我们需要建立具有海量数据吞吐能力的电力实时数据存储平台。针对电力实时数据的特点，制定合理的数据存储模型，将各个电力实时系统的实时数据依据此数据存储模型进行数据转换，存储到此数据存储平台中。对外提供高速的、具有并行计算能力的、高并发性的数据查询和迭代计算接口，为各种实时数据分析模型提供基础的数据服务。
技术实现思路
本专利技术的目的是提供基于海量电力实时数据的分布式管理系统，解决了海量的电力实时数据无法集中存储和分析处理的问题。由于电力实时数据的数据量非常庞大，一个省每天产生的电力实时数据量超过了30G。我们使用HDFS、HBASE、SPARK等大数据框架建立分布式数据库，以存储海量的电力实时数据。分布式数据库是指利用高速计算机网络将物理上分散的多个数据库存储单元连接起来组成一个逻辑上统一的数据库。其基本思想是将原来集中式数据库中的数据分散存储到多个通过网络连接的数据库存储节点上，以获得更大的存储容量和更高的并发访问量。分布式数据库支持PB级的海量数据存储，具有每秒百万条数据的写入速度，支持高速高并发的数据查询。在本项目中，我们使用HDFS、HBASE、SPARK来搭建分布式数据库。HDFS是分布式文件系统，运行于大型商用机集群。HBASE是基于HDFS的分布式的、按列存储的数据库。SPARK是一个通用的、高效的大数据计算平台。为了达到上述目的，本专利技术的技术方案如下：基于海量电力实时数据的分布式管理系统，包括：分布式电力实时数据存储平台，所述分布式电力实时数据存储平台包括电力实时数据管理模块以及存储电力实时数据的分布式数据库；所述电力实时数据管理模块将电力实时数据进行模型转换，所述模型转换将电力实时数据转换为符合分布式数据库的数据结构，模型转换后的电力实时数据存入分布式数据库中。在本专利技术的一个优选实施例中，所述电力实时数据管理模块将一个测点一段时间内的若干条电力实时数据进行合并存储，且将合并存储后的电力实时数据进行模型转换为符合分布式数据库的数据结构。在本专利技术的一个优选实施例中，所述模型转换前的电力实时数据的数据结构包括四个字段：测点ID、时间戳、点值类型、点值。在本专利技术的一个优选实施例中，所述分布式数据库包括若干个服务器集群，相同测点ID的电力实时数据存储在一个服务器上。在本专利技术的一个优选实施例中，还包括将外部系统与所述分布式电力实时数据存储平台联动的开发接口；所述外部系统调用开发接口进行数据查询和数据计算。在本专利技术的一个优选实施例中，采用测点或/和时间作为查询条件进行数据查询时，将从分布式数据库中取得合并存储的电力实时数据解开为多条电力实时数据后，进一步筛选。在本专利技术的一个优选实施例中，所述数据计算用于对筛选出的电力实时数据逐条进行迭代计算。在本专利技术的一个优选实施例中，所述分布式电力实时数据存储平台存储了来自于各个电力实时系统的电力实时数据，其中电力实时数据的采样周期为几秒钟或者几分钟，每一个电力实时系统的电力实时数据的采样周期值是固定的。在本专利技术的一个优选实施例中，所述电力实时数据包括遥测数据、遥信数据、遥控数据以及遥调数据；所述遥信数据是远端设备发送到控制系统的开关量的动作信号；遥测数据是远端设备发送到控制系统的测量值信号；遥控数据是控制系统向远端设备发出的开合动作命令；遥调数据是控制系统向远端设备发出的参数设置和修改命令。通过以上的技术方案，本专利技术达到的技术效果在于:基于海量数据电力实时数据的分布式管理系统，是一个针对电力实时数据的特点而定制的分布式电力实时数据管理系统。其设计充分考虑了电力实时数据的数据量、数据类型、数据采集方式、数据存储方式、用户查询方式等特点，并针对这些特点进行了定制和性能优化，以提高本系统的数据存储速度、数据查询速度、系统易用性等性能。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。图1为本专利技术的平台架构图。图2为本专利技术的电力实时数据-电力实时数据存储模型转换图。图3为本专利技术的电力实时数据分散式存储逻辑图。图4为本专利技术的电力实时数据提取数据流图。图5为本专利技术的电力实时数据条件查询数据流图。图6为本专利技术的电力实时数据迭代计算数据流图。图7为本专利技术的HBASE表数据行的数据结构。图8为本专利技术的HBASE的本文档来自技高网...

【技术保护点】
基于海量电力实时数据的分布式管理系统，其特征在于，包括：分布式电力实时数据存储平台，所述分布式电力实时数据存储平台包括电力实时数据管理模块以及存储电力实时数据的分布式数据库；所述电力实时数据管理模块将电力实时数据进行模型转换，所述模型转换将电力实时数据转换为符合分布式数据库的数据结构，模型转换后的电力实时数据存入分布式数据库中。

【技术特征摘要】
1.基于海量电力实时数据的分布式管理系统，其特征在于，包括：分布式电力实时数据存储平台，所述分布式电力实时数据存储平台包括电力实时数据管理模块以及存储电力实时数据的分布式数据库；所述电力实时数据管理模块将电力实时数据进行模型转换，所述模型转换将电力实时数据转换为符合分布式数据库的数据结构，模型转换后的电力实时数据存入分布式数据库中。2.根据权利要求1所述的基于海量电力实时数据的分布式管理系统，其特征在于，所述电力实时数据管理模块将一个测点一段时间内的若干条电力实时数据进行合并存储，且将合并存储后的电力实时数据进行模型转换，转换为符合分布式数据库的数据结构。3.根据权利要求1或2所述的基于海量电力实时数据的分布式管理系统，其特征在于，所述模型转换前的电力实时数据的数据结构包括四个字段：测点ID、时间戳、点值类型、点值。4.根据权利要求3所述的基于海量电力实时数据的分布式管理系统，其特征在于，所述分布式数据库包括若干个服务器集群，相同测点ID的电力实时数据存储在一个服务器上。5.根据权利要求3所述的基于海量电力实时数据的分布式管理系统，其特征在于，还包括将外...

【专利技术属性】
技术研发人员：于烨，党引，沙卫国，孙寅，张吉生，李斌，李强，刘思尧，周蕾，
申请(专利权)人：国网宁夏电力公司信息通信公司，国网宁夏电力公司，
类型：发明
国别省市：宁夏,64