一种基于主题实例的电力海量数据存储和查询方法技术

一种基于主题实例的电力海量数据存储与查询方法，将电力海量数据分成静态数据和电网运行数据，将电网设备台账、设备技术参数、监测终端信息以及终端监测属性等静态数据以结构化的方式建立主题实例模型；将电网运行数据基于列式存储方案存储在HBase列式数据库中；本发明专利技术的有益效果是：提供统一的模型对电网设备状态监测进行高效、可靠地存储，并快速访问和分析，降低开发成本，提高开发效率。

A method of power massive data storage and query based on topic instance

A power of massive data storage and query topic instance method based on the power of massive data into static data and the grid data, the grid equipment ledger, equipment technical parameters, monitoring terminal and terminal information monitoring attributes such as static data in a structured way to establish the theme model; grid operation data columns based on memory storage scheme in the HBase column in the database; the beneficial effect of the invention is to provide a unified model of power grid equipment monitoring for efficient and reliable storage, and fast access and analysis, reduce development costs and improve development efficiency.

【技术实现步骤摘要】
一种基于主题实例的电力海量数据存储和查询方法
本专利技术涉及电力海量数据存储查询领域，具体为一种基于主题实例的电力海量数据存储和查询方法。
技术介绍
目前大部分电网企业用企业级关系数据库进行数据的集中存储。关系型数据库以及所采用的按行存储模式，能够进行多条件的查询，但支持的数据量规模较小，不能满足电网状态监测数据的海量存储需求；当存储的数据量较大时，查询性能下降明显，不能很好的适应状态监测大数据的准实时处理应用需求。Hadoop提供了一个分布式的数据库系统HBase，HBase的目标是存储并处理海量数据，是建立在HDFS之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统，能够对海量数据提供随机、实时的读写访问。但是HBase介于nosql和RDBMS之间，仅能通过主键(RowKey)和主键的range来检索数据，仅支持单行事务。用户在使用电网设备状态监测系统时，通常需要利用多个条件对监测数据进行综合查询。因此如何采用统一的模型对电网海量数据进行高效、可靠地存储，并快速访问和分析，需要对HBase逻辑存储模式和查询方法进行有效的设计。
技术实现思路
本专利技术针对电力海量监测本文档来自技高网...

【技术保护点】
一种基于主题实例的电力海量数据存储与查询方法，其特征在于，将电力海量数据分成静态数据和电网运行数据，将电网设备台账、设备技术参数、监测终端信息以及终端监测属性等静态数据以结构化的方式建立主题实例模型；将电网运行数据基于列式存储方案存储在HBase列式数据库中；存储方法包括以下步骤：步骤S200：先根据设备类型及其监测终端需要监测的属性建立属性基础标准库，主题类型库，主题类型与监测属性关联表，主题属性与终端项关联表，并固化到Oracle中；步骤S201：接收监测终端传感器数据，数据包中包含了设备ID，监测终端ID，主题类型ID，监测属性ID和监测值；步骤S202：实例化一个主题实例，将主题实例与...

【技术特征摘要】
1.一种基于主题实例的电力海量数据存储与查询方法，其特征在于，将电力海量数据分成静态数据和电网运行数据，将电网设备台账、设备技术参数、监测终端信息以及终端监测属性等静态数据以结构化的方式建立主题实例模型；将电网运行数据基于列式存储方案存储在HBase列式数据库中；存储方法包括以下步骤：步骤S200：先根据设备类型及其监测终端需要监测的属性建立属性基础标准库，主题类型库，主题类型与监测属性关联表，主题属性与终端项关联表，并固化到Oracle中；步骤S201：接收监测终端传感器数据，数据包中包含了设备ID，监测终端ID，主题类型ID，监测属性ID和监测值；步骤S202：实例化一个主题实例，将主题实例与电网设备台账关系维护到主题实例模型中，同时将主题实例与监测终端关系也维护到主题实例模型中；步骤S203：通过MD5加密设备ID取前两位+主题实例ID+(Long.Max_Value-timestamp)作为HBase存储数据的行健RowKey；步骤S204：建立一个列族f,以电网运行时的监测属性作为列，将电网运行时的监测数据存储在HBase列式数据表中；查询方法的数据查询中包括过滤查询字段，过滤器生成规则，并根据所述过滤查询字段以及所述过滤器生成规则生成对应的过滤器；从所述行键查询范围中获得预设返回条数的行键对应的数据；利用所述过滤器从所述行键查询范围内的行键中过滤出与所述行键过滤字段匹配的行键；包括利用所述过滤器对所述行键查询范围内的数据进行过滤，得到过滤数据；从所述过滤数据中提取预设返回条数的数据；查询方法包括以下步骤：步骤S300：提取查询参数，根据所述主题实例ID，监测属性ID以及HBase行健生成规则生成行健查询范围，以及列族，版本号和列信息；步骤S301：根据所述过滤查询字段及其所述过滤器生成规则生成对应的过滤器...

【专利技术属性】
技术研发人员：张新阳，赵志宇，马文，张莉娜，徐敏，牛斌，王艳涛，
申请(专利权)人：云南电网有限责任公司信息中心，昆明能讯科技有限责任公司，
类型：发明
国别省市：云南,53