一种电网自然灾害数据仓库模型实现方法技术

本申请涉及数据管理技术领域，具体涉及一种电网自然灾害数据仓库模型实现方法。电网自然灾害装置运维体系不健全，数据存储方式单一，传统的数据窗口让应有的自然灾害数据变成信息孤岛。本申请提供一种电网自然灾害数据仓库模型实现方法，根据自然灾害监控装置，构建自然灾害大分类体系；构建监测装置台账实体模型；将监测装置实体模型转化生成一个或者多个主题实例模型；根据主题实例，将自然灾害大分类体系，细分主题类型标准；根据自然灾害监测具体项，建立主题属性基础标准库；构建关系模型；应用大数据技术，构建非关系型的数据库自然灾害数据存储模型。方便信息调取使用，同时为以后自然灾害信息数据挖掘和分析提供了可靠的统一的数据仓库。

A method of data warehouse model for natural disaster in power grid

This application relates to the field of data management technology, and specifically relates to a method for realizing the data warehouse model of natural disasters in power grid. Grid natural disaster equipment operation and maintenance system is not perfect, the data storage mode is single, the traditional data window to make natural disaster data into information silos. This application provides a network of natural disaster data warehouse model realization method based on natural disaster monitoring device, the construction of natural disaster classification system; construction monitoring device accounting entity model; the monitoring device model into one or more theme model; according to the theme of an example, the natural disaster classification system, sub topic types according to the specific standard; natural disaster monitoring, the establishment of subject attribute of basic standard library; construction model; application of big data technology, natural disaster database data storage model of non relational. It also provides a reliable and unified data warehouse for future natural disaster information data mining and analysis.

【技术实现步骤摘要】
一种电网自然灾害数据仓库模型实现方法
本申请涉及数据管理
，具体涉及一种电网自然灾害数据仓库模型实现方法。
技术介绍
数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。大数据时代的降临数据仓库慢慢转成分布式架构，存储方式也有单一关系型存储变成混合型存储，关系型数据库加非关系型数据库的方式，以满足爆发式增长的分析、查询以及存储的要求。自然灾害数据作为电网企业的重要资产，能准确有效提取各类灾害信息对电网影响，对于降低和防止自然灾害对电网系统的灾变影响，以及保证其安全、稳定运行有重要的意义。大量在线电网自然灾害监测数据接入，数据量暴增导致系统性能较差，无法满足应用要求；电网自然灾害装置运维体系不健全，数据存储方式单一，传统的数据窗口不能高效地对其存储和处理；同时目前电网自然灾害数据与电网台账信息有效关联性差，无法形成统一的溯源脉络，相关性查询很困难，让应有的自然灾害数据变成信息孤岛。
技术实现思路
本专利技术的目的是为了解决大量在线电网自然灾害监测数据接入，数据量暴增导致系统性能较差，无法满足应用要求；电网自然灾害装置运维体系不健全，数据存储方式单一，传统的数据窗口不能高效地对其存储和处理；同时目前电网自然灾害数据与电网台账信息有效关联性差，无法形成统一的溯源脉络，相关性查询很困难，让应有的自然灾害数据变成信息孤岛的问题。为此，本专利技术实施例提供了如下技术方案：一种电网自然灾害数据仓库模型实现方法，所述方法包括以下步骤：根据自然灾害监控装置，构建自然灾害大分类体系；构建监测装置台账实体模型；将监测装置实体模型转化生成一个或者多个主题实例模型；根据主题实例，将自然灾害大分类体系，细分主题类型标准；根据自然灾害监测具体项，建立主题属性基础标准库；构建关系模型；应用分布式文件存储系统，海量数据分布式存储分布式系统基础架构，在此系统架构之上，构建非关系型的数据库自然灾害数据存储模型。可选地，所述方法包括以下步骤：根据自然灾害监控装置，构建覆冰、山火、雷电、污秽和鸟害五大分类体系；构建包括唯一编码、描述、组织机构、所属分类、经度、纬度、装置原编码、在线状态、生产厂家和接入方式的监测装置台账实体模型；将监测装置实体模型转化生成主题编码和主题名称；根据主题实例，将覆冰、山火、雷电、污秽、鸟害五大分类体系细分为覆冰监测、山火监测、雷电监测、污秽监测和鸟害监测；根据自然灾害监测具体项，建立包括唯一编码、属性描述、单位和数值类型的主题属性基础标准库；构建自然灾害装置实体与主题实例关系模型、主题类型与主题属性关系模型、自然灾害监测项与主题属性关系模型和电网设备与主题实例关系模型；应用非关系型的数据库按照行主键的字典序排序存储，构建包括行主键、列族和时间戳的非关系型的数据库自然灾害数据存储模型。可选地，所述自然灾害装置实体与主题实例关系模型包括：自然灾害装置ID、主题实例ID、终端来源表、主题类型ID、更新时间和装置传感器分组标识；所述主题类型与主题属性关系模型包括：主题类型ID、主题属性ID、主题属性描述和主题类型描述；所述自然灾害监测项与主题属性关系模型包括：装置传感器标识ID、主题属性ID和主题类型描述；所述电网设备与主题实例关系模型包括：主题实例ID、电网设备台账ID、电网台账所属表名和电网台账对象主键字段。可选地，所述自然灾害装置实体与主题实例关系模型包括装置编码、主题实例编码和主题类型；所述主题类型与主题属性关系模型包括主题类型编码、主题类型描述、主题标准属性编码和主题属性描述；所述自然灾害监测项与主题属性关系模型包括装置监测项标识、主题标准属性编码、主题属性描述和主题分类；所述电网设备与主题实例关系模型包括电网设备编码、主题实例编码和电网设备所属表名。可选地，所述行主键依次序包括主题实例ID、主题标准属性ID和覆冰、山火、雷电、污秽、鸟害监测装置数据上传时间；所述列族组包括覆冰、山火、雷电、污秽、鸟害监测装置上传某一时某一监测项数值。本专利技术实施例提供的技术方案包括以下有益效果：本申请通过将自然灾害大分类体系、监测装置实体模型与大数据技术相结合，将电网自然灾害监测数据构建成HBase自然灾害数据存储模型。解决了自然灾害信息孤立、标准不统一、查询效率低、海量数据存储困难、自然灾害装置与电网台账信息缺失等问题，同时为以后自然灾害信息数据挖掘和分析提供了可靠的统一的数据仓库。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例中自然灾害数据HBase存储结构示意图；图2为本专利技术实施例中自然灾害数据数据仓库模型概示意图；图1-2中的符号表示为：1-基础标准关系型数据模型，2-非关系型模型。具体实施方式此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。下面通过实施例，并结合附图，对本申请的技术方案作进一步具体的说明。实施例一参见图1～2，为本专利技术实施例提供的一种电网自然灾害数据仓库模型实现方法，所述方法包括以下步骤：根据自然灾害监控装置，构建自然灾害大分类体系；构建监测装置台账实体模型；将监测装置实体模型转化生成一个或者多个主题实例模型；根据主题实例，将自然灾害大分类体系，细分主题类型标准；根据自然灾害监测具体项，建立主题属性基础标准库；构建关系模型；应用大数据技术HDFS文件存储系统，海量数据分布式存储Hadoop架构，在此系统架构之上，构建HBaseNoSQL自然灾害数据存储模型。可选地，所述方法包括以下步骤：根据自然灾害监控装置，构建覆冰、山火、雷电、污秽和鸟害五大分类体系；构建包括唯一编码、描述、组织机构、所属分类、经度、纬度、装置原编码、在线状态、生产厂家和接入方式的监测装置台账实体模型；将监测装置实体模型转化生成主题编码和主题名称；根据主题实例，将覆冰、山火、雷电、污秽、鸟害五大分类体系细分为覆冰监测、山火监测、雷电监测、污秽监测和鸟害监测；根据自然灾害监测具体项，建立包括唯一编码、属性描述、单位和数值类型的主题属性基础标准库；构建自然灾害装置实体与主题实例关系模型、主题类型与主题属性关系模型、自然灾害监测项与主题属性关系模型和电网设备与主题实例关系模型；应用NoSQL列式数据库HBase存储，数据按照RowKey的字典序(byteorder)排序存储，构建包括行主键(Rowkey)、列族(ColumnFamily)和时间戳(Timestamp)的HBase自然灾害数据存储模型。可选地，所述自然灾害装置实体与主题实例关系模型包括：自然灾害装置ID、主题实例I本文档来自技高网...

【技术保护点】
一种电网自然灾害数据仓库模型实现方法，其特征在于，所述方法包括以下步骤：根据自然灾害监控装置，构建自然灾害大分类体系；构建监测装置台账实体模型；将监测装置实体模型转化生成一个或者多个主题实例模型；根据主题实例，将自然灾害大分类体系，细分主题类型标准；根据自然灾害监测具体项，建立主题属性基础标准库；构建关系模型；应用分布式文件存储系统，海量数据分布式存储分布式系统基础架构，在此系统架构之上，构建非关系型的数据库自然灾害数据存储模型。

【技术特征摘要】
1.一种电网自然灾害数据仓库模型实现方法，其特征在于，所述方法包括以下步骤：根据自然灾害监控装置，构建自然灾害大分类体系；构建监测装置台账实体模型；将监测装置实体模型转化生成一个或者多个主题实例模型；根据主题实例，将自然灾害大分类体系，细分主题类型标准；根据自然灾害监测具体项，建立主题属性基础标准库；构建关系模型；应用分布式文件存储系统，海量数据分布式存储分布式系统基础架构，在此系统架构之上，构建非关系型的数据库自然灾害数据存储模型。2.如权利要求1所述的方法，其特征在于，所述方法包括以下步骤：根据自然灾害监控装置，构建覆冰、山火、雷电、污秽和鸟害五大分类体系；构建包括唯一编码、描述、组织机构、所属分类、经度、纬度、装置原编码、在线状态、生产厂家和接入方式的监测装置台账实体模型；将监测装置实体模型转化生成主题编码和主题名称；根据主题实例，将覆冰、山火、雷电、污秽、鸟害五大分类体系细分为覆冰监测、山火监测、雷电监测、污秽监测和鸟害监测；根据自然灾害监测具体项，建立包括唯一编码、属性描述、单位和数值类型的主题属性基础标准库；构建自然灾害装置实体与主题实例关系模型、主题类型与主题属性关系模型、自然灾害监测项与主题属性关系模型和电网设备与主题实例关系模型；应用非关系型的数据库按照行主键的字典序排序存储，构建包括行主...

【专利技术属性】
技术研发人员：丁薇，马仪，黄绪勇，谭向宇，彭晶，聂鼎，刘海斌，
申请(专利权)人：云南电网有限责任公司电力科学研究院，
类型：发明
国别省市：云南,53