一种基于海量电力监测数据的统一模型化存储接入方法技术

一种基于海量电力监测数据的统一模型化存储接入方法。本发明专利技术基于电网CIM模型建立电网实时类监测数据的主题实例模型，实现监测数据的统一接入、统一处理、统一存储、统一服务，实现电网调度域、计量自动化域、变电监测域、气象域、电压监测、电能质量等专业域的跨越数据融合；采用MQ、Jstorm、Hadoop、Hbase、Ganglia、Nagios等技术构建贯穿数据接入、计算、存储、服务、监控全过程的分布式数据中心。其中Hbase存储空间80T，满足海量实时类数据存储需求。采用分布式MQ消息中间件实现监测终端数据的接入，通过Jstorm实现属性化数据到主题实例模型的转换，结合基于主题实例模型的预警表达式规则实现数据异常预警，最终将实时类监测数据存入Hbase分布式数据库。

A unified model based storage access method based on mass power monitoring data

A unified model based storage access method based on mass power monitoring data. The present invention establishes grid CIM model subject instance model power grid real-time monitoring data based on monitoring data, to achieve unified access, unified processing, unified storage, unified service, realize the data grid scheduling domain, measurement automation, substation monitoring domain domain, meteorological domain, voltage monitoring, power quality and other professional domain integration; by MQ, Jstorm, Hadoop, Hbase, Ganglia, Nagios technology to build through data access, computing, storage, service and monitoring the whole process of distributed data center. Among them, Hbase storage space 80T meets the needs of massive real-time class data storage. Using distributed MQ middleware to access data monitoring terminal, through the conversion of Jstorm data to the theme attributes example models, combined with the theme of case model early warning data early warning of abnormal expression rules based on the real-time monitoring data will eventually be stored in Hbase distributed database.

【技术实现步骤摘要】

本专利技术专利涉及电力设备监测数据领域，尤其涉及一种海量实时数据的统一建模、流式处理技术、海量分布式存储技术，保证海量实时类数据的及时采集、传输、处理、存储。
技术介绍
随着全球信息量的爆炸式增长，大数据时代也悄然来临，其中，海量流数据占据的比重越来越高。流数据的实时处理有着极为广阔的需求及应用前景。据统计，截止2014年初，全球数据流量达到人均数据流量接近，并正在以50％以上的年增长率迅速扩充目前，海量数据流分析与处理己经得到了广泛的研究。然而，不断增长的数据流量与流处理业务的多样化趋势给实时流数据处理带来了新的挑战。而现有的技术不能很好地满足对海量高速数据进行实时处理和分析的需求，实时流数据处理过程往往会涉及到复杂的数学模型，需要提供强力的底层支持，以保证这些模型在海量、高速数据环境中可以高效工作；数据的时效性很强，导致对数据处理过程的整体延迟要求非常苛刻，必须在秒级或更短的时间内得到结果，从而进一步作出反应。本专利技术的优势在于，该方法基于电网CIM模型建立电网实时类监测数据的主题实例模型，实现监测数据的统一接入、统一处理、统一存储、统一服务，并实现电网调度域、计量自动化域、变电监测域、气象域、电压监测、电能质量等专业域的跨越数据融合。同时保证海量实时类数据的采集、传输、处理、存储的高效性、完整性、实时性。
技术实现思路
本专利技术的目的正是为了克服上述现有技术存在的缺陷而提供一种基于海量电力监测数据的统一模型化存储接入方法。本专利技术是通过如下技术方案来实现的：一种基于海量电力监测数据的统一模型化存储接入方法，(实时数据的统一建模、流式处理技术、海量分布式存储技术，保证海量实时类数据的及时采集、传输、处理、存储的方法，)包括下列步骤：a.基于电网的CIM模型中的量测模型，建立涵盖监测终端、传感器、监测属性、电网设备与监测终端绑定的主题实例模型；b.基于ftp建立监测数据文件的传输总线通道，实现监测数据的实时传输；c、构建监测数据文件的解析引擎，实现调度域、计量自动化域、变电监测域、气象域、电压监测、电能质量不同的数据文件格式的归一化处理；并将归一化处理后的数据推送到分布式的MQ集群；d.基于MQ消息服务实现原生监测数据接入、处理消费的确认机制，保证监测数据处理的完整性；e.基于Jstorm流式处理引擎，实现MQ消息服务中的监测数据的流程化处理，实现监测数据的终端-实例的关联转换，监测项到主题属性的映射，将监测数据源源不断写入Hbase数据库；f.基于Hbase分布式海量存储技术，实现电网调度域、计量自动化域、变电监测域、气象域、电压监测、电能质量等实时海量数据的可靠存储，同时支撑高效的数据查询；其中：步骤a所述建立跨电网调度域、计量自动化域、变电监测域、气象域、电压监测、电能质量等专业域的海量实时类数据的统一存储模型，从而实现实时类数据的统一接入、统一处理、统一存储、统一服务；步骤b所述采用Linux的shell脚本定时执行，从数据总线传输通道实时获取监测数据源文件(包括调度、配网、计量、气象)；步骤c所述构建数据文件的解析引擎，实现不同规范、不同格式的数据文件，到属性-值的初步映射转换，对上层的数据处理框架，提供统一的处理接口。步骤d所述基于MQ消息服务的分布式优势、消息持久化、消息的生产消费确认机制，保证海量的监测数据的完成不丢失；步骤e所述基于Jstorm的流式处理框架，实现海量监测数据的流水线式处理，实现监测终端-电网设备的映射转换，监测项-属性的转换，最终将数据源源不断的写入Hbase；步骤f所述基于Hbase分布式海量存储技术，借助于底层的HadoopHDFS分布式技术、心跳监测机制、Zookeeper协调技术，实现实时海量数据的可靠存储，同时支撑高效的数据查询。本专利技术的有益效果是，针数据源文件进行操作，对今后数据问题有据可查，对数据纠错有根本依据，当数据质量发生问题可以重新对文件进行解析操作，同时能校对入库数据的准确性，并且还可以保证数据的实时性，文件从ftp下载保存在本地硬盘中还可方便未来业务扩展涉及到相关方便的重新使用，由源文件数据根据oracle中数据模型解析后发送RabbitMq可将存储hbase之前的数据结构和状态展现出来让数据存储过程透明化,此外监测数据更新频率高，云南全省数据量多的特点，结合大数据平台hbase分布式、批量存储，读写快而性能消耗小的特点，应当说两者相辅相成，能融洽的结合。相对于oracle的关系型数据库存储监测数据，hbase不论从成本和资源消耗上都相对优越。附图说明图1为本专利技术方法的流程图。具体实施方式见图1，一种基于海量电力监测数据的统一模型化存储接入方法，(实时数据的统一建模、流式处理技术、海量分布式存储技术，保证海量实时类数据的及时采集、传输、处理、存储的方法，)包括下列步骤：a.基于电网的CIM模型中的量测模型，建立涵盖监测终端、传感器、监测属性、电网设备与监测终端绑定的主题实例模型；b.基于ftp建立监测数据文件的传输总线通道，实现监测数据的实时传输；c、构建监测数据文件的解析引擎，实现调度域、计量自动化域、变电监测域、气象域、电压监测、电能质量不同的数据文件格式的归一化处理；并将归一化处理后的数据推送到分布式的MQ集群；d.基于MQ消息服务实现原生监测数据接入、处理消费的确认机制，保证监测数据处理的完整性；e.基于Jstorm流式处理引擎，实现MQ消息服务中的监测数据的流程化处理，实现监测数据的终端-实例的关联转换，监测项到主题属性的映射，将监测数据源源不断写入Hbase数据库；f.基于Hbase分布式海量存储技术，实现电网调度域、计量自动化域、变电监测域、气象域、电压监测、电能质量等实时海量数据的可靠存储，同时支撑高效的数据查询；其中：步骤a所述建立跨电网调度域、计量自动化域、变电监测域、气象域、电压监测、电能质量等专业域的海量实时类数据的统一存储模型，从而实现实时类数据的统一接入、统一处理、统一存储、统一服务；步骤b所述采用Linux的shell脚本定时执行，从数据总线传输通道实时获取监测数据源文件(包括调度、配网、计量、气象)；步骤c所述构建数据文件的解析引擎，实现不同规范、不同格式的数据文件，到属性-值的初步映射转换，对上层的数据处理框架，提供统一的处理接口。步骤d所述基于MQ消息服务的分布式优势、消息持久化、消息的生产消费确认机制，保证海量的监测数据的完成不丢失；步骤e所述基于Jstorm的流式处理框架，实现海量监测数据的流水线式处理，实现监测终端-电网设备的映射转换，监测项-属性的转换，最终将数据源源不断的写入Hbase；步骤f所述基于Hbase分布式海量存储技术，借助于底层的HadoopHDFS分布式技术、心跳监测机制、Zookeeper协调技术，实现实时海量数据的可靠存储，同时支撑高效的数据查询。本文档来自技高网...

【技术保护点】
一种基于海量电力监测数据的统一模型化存储接入方法，其特征在于，包括下列步骤：a.基于电网的CIM模型中的量测模型，建立涵盖监测终端、传感器、监测属性、电网设备与监测终端绑定的主题实例模型；b.基于ftp建立监测数据文件的传输总线通道，实现监测数据的实时传输；c.构建监测数据文件的解析引擎，实现调度域、计量自动化域、变电监测域、气象域、电压监测、电能质量不同的数据文件格式的归一化处理；并将归一化处理后的数据推送到分布式的MQ集群；d.基于MQ消息服务实现原生监测数据接入、处理消费的确认机制，保证监测数据处理的完整性；e.基于Jstorm流式处理引擎，实现MQ消息服务中的监测数据的流程化处理，实现监测数据的终端‑实例的关联转换，监测项到主题属性的映射，将监测数据源源不断写入Hbase数据库；f.基于Hbase分布式海量存储技术，实现电网调度域、计量自动化域、变电监测域、气象域、电压监测、电能质量等实时海量数据的可靠存储，同时支撑高效的数据查询；其中：步骤a所述建立跨电网调度域、计量自动化域、变电监测域、气象域、电压监测、电能质量等专业域的海量实时类数据的统一存储模型，从而实现实时类数据的统一接入、统一处理、统一存储、统一服务；步骤b所述采用Linux的shell脚本定时执行，从数据总线传输通道实时获取监测数据源文件；步骤c所述构建数据文件的解析引擎，实现不同规范、不同格式的数据文件，到属性‑值的初步映射转换，对上层的数据处理框架，提供统一的处理接口。步骤d所述基于MQ消息服务的分布式优势、消息持久化、消息的生产消费确认机制，保证海量的监测数据的完成不丢失；步骤e所述基于Jstorm的流式处理框架，实现海量监测数据的流水线式处理，实现监测终端‑电网设备的映射转换，监测项‑属性的转换，最终将数据源源不断的写入Hbase；步骤f所述基于Hbase分布式海量存储技术，借助于底层的Hadoop HDFS分布式技术、心跳监测机制、Zookeeper协调技术，实现实时海量数据的可靠存储，同时支撑高效的数据查询。...

【技术特征摘要】
1.一种基于海量电力监测数据的统一模型化存储接入方法，其特征在于，包括下列步骤：a.基于电网的CIM模型中的量测模型，建立涵盖监测终端、传感器、监测属性、电网设备与监测终端绑定的主题实例模型；b.基于ftp建立监测数据文件的传输总线通道，实现监测数据的实时传输；c.构建监测数据文件的解析引擎，实现调度域、计量自动化域、变电监测域、气象域、电压监测、电能质量不同的数据文件格式的归一化处理；并将归一化处理后的数据推送到分布式的MQ集群；d.基于MQ消息服务实现原生监测数据接入、处理消费的确认机制，保证监测数据处理的完整性；e.基于Jstorm流式处理引擎，实现MQ消息服务中的监测数据的流程化处理，实现监测数据的终端-实例的关联转换，监测项到主题属性的映射，将监测数据源源不断写入Hbase数据库；f.基于Hbase分布式海量存储技术，实现电网调度域、计量自动化域、变电监测域、气象域、电压监测、电能质量等实时海量数据的可靠存储，同时支撑高效的数据查询；其中：...

【专利技术属性】
技术研发人员：马文，赵志宇，张莉娜，段琳，杨铮宇，陶宇，胡勇，
申请(专利权)人：云南电网有限责任公司信息中心，昆明能讯科技有限责任公司，
类型：发明
国别省市：云南;53