一种融合多源异构电网数据的获取和分布式存储方法技术

本发明专利技术公开了一种融合多源异构电网数据的获取和分布式存储方法，包括以下步骤：依据各个业务系统数据特点建立接口协议并建立电网运行环境及设备数据模型规范；配置各业务系统的数据接入策略、配置数据校验规则；监控实时接入应用运行过程中产生的信息，对于监控到的故障信息，对故障期间丢失的数据进行数据补录；建立实时消息队列、数据广播和缓存电网运行数据的格式规范，把解析的在线监测数据、运行数据、雷电数据和气象数据进行广播到并存储到缓存消息队列上，按周期写入Hadoop分布式存储文件；将接入的数据和监控数据进行可视化展示。本发明专利技术创建了电网运行环境及设备数据模型规范，为统一电网系统数据建模奠定了基础。

Data acquisition and distributed storage method integrating multi-source heterogeneous network

The invention discloses a fusion of multi-source heterogeneous grid data acquisition and distributed storage method, which comprises the following steps: establishing interface protocol according to the data characteristics of each business system and establish a standard operation environment of network equipment and data model and configuration; each business system data access strategy, configuration data validation rules; generate real-time monitoring access application process the information for fault information monitoring, loss of data makeup during fault; the establishment of standardized format real-time message queue, data broadcast and cache grid operation data, the online monitoring data, analysis of the operation data, lightning data and meteorological data are broadcast to and stored in the cache queue, write Hadoop distributed storage file according to the cycle; will access the data and monitoring data visualization. The invention creates the grid operating environment and the equipment data model specification, and lays the foundation for the data modeling of the unified power grid system.

【技术实现步骤摘要】
一种融合多源异构电网数据的获取和分布式存储方法
本专利技术涉及电力系统的运行环境及设备信息的接入存储领域，具体涉及融合电网运行环境及设备信息的跨平台数据获取和分布式存储方法。
技术介绍
输变电设备状态相关信息是评价设备状态、诊断设备故障、动态调整设备负载、评估电网风险对设备影响的重要依据，实时准确获取输变电设备、运行、环境等状态相关信息是深入分析设备状态和精确掌控设备能力水平的核心基础。目前，输变电设备状态相关信息所涉及的设备、运行、环境等数据主要来源于能量管理系统(EMS)、气象系统、生产管理系统(PMS)、输变电设备在线监测系统、电网空间信息服务平台(GIS)、雷电定位系统、变电站智能巡检机器人系统等不同业务系统。由于各个业务系统基于不同平台、不同应用目标、不同协议、不同数据结构构建，呈现高度离散性、时空分布性的特点，跨平台数据之间存在数据接口规范不一致、结构化和非结构化数据存储方式不相同、弱相关等问题；其次，各个业务系统的数据基本都按照关系数据库或文件方式存储，不便于应用Hadoop等分布式技术开展数据分析和处理；再次，对于EMS、气象、在线监测等实时数据流，其接入方式的实时性和准确性，是快速判断设备状态的重要环节，需要建立一个实时数据广播和数据共享机制。
技术实现思路
为解决现有技术存在的不足，本专利技术公开了融合电网运行环境及设备信息的跨平台数据获取和分布式存储方法，本专利技术的目的在与实现自动从业务系统中获取数据，实现跨平台信息的统一数据接入、实时监控计算、分布式存储和可视化展示。为实现上述目的，本专利技术的具体方案如下：一种融合多源异构电网数据的获取和分布式存储方法，包括以下步骤：依据各个业务系统数据特点建立接口协议并建立电网运行环境及设备数据模型规范；配置各业务系统的数据接入策略、配置数据校验规则，从而实现实时接入应用和历史接入应用；监控实时接入应用在运行过程中产生的日志信息、故障信息及告警信息并通过，对于监控到的故障信息，对故障期间丢失的数据进行数据补录；建立数据广播和缓存电网运行数据的格式规范，把解析的在线监测数据、运行数据、雷电数据和气象数据进行广播到并存储到缓存消息队列中，按周期写入Hadoop分布式存储文件或HBase；将接入的数据和监控数据进行可视化展示。进一步的，上述建立的数据模型规范即为各个业务系统的数据属性，包括能量管理系统模型规范、雷电定位系统模型规范及气象系统模型规范；雷电定位系统模型规范：制定接口协议获取雷击发生时间、位置、回击次数；建立雷电系统模型规范包括：雷电发生时间、精度坐标、纬度坐标、电流强度及回击次数；气象系统模型规范：制定接口协议获取气象监测数据、雷达图数据、云图数据及天气预报数据；建立气象系统监测信息模型、雷达信息模型、云图信息模型及天气预报信息模型；能量管理系统模型规范：制定接口协议获取电流、电压、有功功率、无功功率数据；建立EMS系统模型规范包括量测id、量测时间、量测类型和量测值。进一步的，配置各业务系统的数据接入策略，包括与各个业务系统交互数据的规则协议、数据源地址、接口形式，其中，所述业务系统交互数据的规则协议主要包括实时数据交互协议、历史数据交互协议；实时交互协议主要描述系统数据向系统数据提供方发送请求参数的解释和系统数据提供方相应返回的数据内容属性的解释，描述触发机制即使用实时数据交互协议的频率；历史数据交互协议与实时数据交互协议请求和返回相同，但非定期触发；数据源地址主要描述系统数据提供方发布服务的ip地址及端口；接口形式主要描述系统数据提供方的发布数据的方式。进一步的，配置的数据校验规则用于描述对于从系统数据提供方获取的数据的预清洗规则，包括基于时间序列的清洗、基于聚类算法的清洗、基于SVM的清洗、台账清洗规则；其中，实时接入应用和历史接入应用综合数据接入策略及数据校验规则，依据数据模型规范实现各个业务系统的数据接入和解析。进一步的，所述实时接入应用运行过程中产生的日志信息为实时接入应用的过程信息，记录WebService开始访问、WebService访问完成或完成一次数据读取动作信息；故障信息为实时接入应用的故障状态，包括网络故障、服务停止故障及存储故障；告警信息描述为实时接入应用的告警状态，包括访问延迟或存储延迟。进一步的，所述数据补录描述的是在实时接入应用的故障恢复之后，运行历史接入应用接入故障期间丢失的数据。进一步的，所述建立数据广播和缓存电网运行数据的格式规范，格式规范旨在根据数据模型规范制定的符合缓存消息队列存储格式、区分业务系统和方便搜索查询的数据结构的业务表及解析分解出各系统运行数据消息的方法。进一步的，所述数据广播是将接入的实时数据写入缓存消息队列，作为实时分析处理和应用功能的数据源；所述Hadoop分布式存储文件存储从缓存消息队列中定期持久化的数据，作为分布式分析处理的数据源。进一步的，所述可视化展示中通过界面展示实时接入应用接入的数据和监控数据，应用接入数据中量测值随着时间变化的曲线图展示；监控数据中直观展示Web服务状态和存储状态的界面展示。进一步的，所述监控实时接入应用还包括：监控识别接入应用在运行过程中存在的网络故障、服务故障或存储故障，具体为：当总体请求服务出现错误，如果错误未达到N次就消失，则判断为间断停止服务；等待总体请求N-1次未出现错误则解除故障；当总体请求服务出现错误，如果总体请求达到N次及以上连续出现错误，此时判断web服务ip是否为通讯，如果通讯则判断为服务停止；不通讯则判断为外部网络不通；等待服务有返回后解除故障；配置服务监控请求及应答时长限制，如果超过设置的时长，则判断为请求超时，如果N-1次低于设置的时长则解除请求超时状态；存储报错时，则判断为无法写入；等待成功写入后解除故障；设置写入时长限制，如果写入超过设置的时长，则判断为写入延迟；等待N-1次写入低于时长限制则解除延迟状态；对故障记录表中缺漏的数据，通过历史接入应用恢复故障期间丢失的数据。进一步的，实现各个业务系统的数据解析时，对获取的数据按照模型规范解析，包括：根据能量管理系统模型规范，获取运行数据对象解析属性名称并与缓存的规范进行匹配，匹配后包装成运行数据结构化集合对象；根据雷电系统模型规范，使用XML组件转换雷电系统数据为XML文档对象，根据规范匹配包装雷电数据结构化集合对象；根据气象系统模型规范，对于图片文件数据，转换为BASE64编码的流字符串并实例化为图片对象。本专利技术的有益效果：1、本专利技术创建了电网运行环境及设备信息数据模型，为统一电网系统数据建模奠定了基础，为电力专业化应用、电力行业与其他部门间的数据交互奠定了基础。2、本专利技术描述了建立数据接入应用的过程，为其他电力系统的跨平台数据获取提供了技术依据，数据接入监控手段的应用，可为今后保障接入数据的完整性提供借鉴。3、利用分布式消息队列Kafka将实时数据进行缓存，当消息数量达到设定值后数据被写入分布式文件系统，为电网大数据分布式分析处理提供了基础条件。附图说明图1本专利技术的融合电网运行环境及设备信息的跨平台数据获取和分布式存储方法流程图。具体实施方式：下面结合附图对本专利技术进行详细说明：如图1所示，融合电网运行环境及设备信息的跨平台数据获取和分布式存储方法，包括以下步骤：步本文档来自技高网...

【技术保护点】
一种融合多源异构电网数据的获取和分布式存储方法，其特征是，包括以下步骤：依据各个业务系统数据特点建立接口协议并建立电网运行环境及设备数据模型规范；配置各业务系统的数据接入策略、配置数据校验规则，从而实现实时接入应用和历史接入应用；监控实时接入应用运行过程中产生的日志信息、故障信息及告警信息，对于监控到的故障信息，对故障期间丢失的数据进行数据补录；建立数据广播和缓存电网运行数据的格式规范，把解析的在线监测数据、运行数据、雷电数据和气象数据进行广播到并存储到缓存消息队列上，按周期写入Hadoop分布式存储文件或HBase；将接入的数据和监控数据进行可视化展示。

【技术特征摘要】
1.一种融合多源异构电网数据的获取和分布式存储方法，其特征是，包括以下步骤：依据各个业务系统数据特点建立接口协议并建立电网运行环境及设备数据模型规范；配置各业务系统的数据接入策略、配置数据校验规则，从而实现实时接入应用和历史接入应用；监控实时接入应用运行过程中产生的日志信息、故障信息及告警信息，对于监控到的故障信息，对故障期间丢失的数据进行数据补录；建立数据广播和缓存电网运行数据的格式规范，把解析的在线监测数据、运行数据、雷电数据和气象数据进行广播到并存储到缓存消息队列上，按周期写入Hadoop分布式存储文件或HBase；将接入的数据和监控数据进行可视化展示。2.如权利要求1所述的一种融合多源异构电网数据的获取和分布式存储方法，其特征是，建立的数据模型规范即为各个业务系统的数据属性，包括能量管理系统模型规范、雷电定位系统模型规范及气象系统模型规范；雷电定位系统模型规范：制定接口协议获取雷击发生时间、位置、回击次数；建立雷电系统模型规范包括：雷电发生时间、精度坐标、纬度坐标、电流强度及回击次数；气象系统模型规范：制定接口协议获取气象监测数据、雷达图数据、云图数据及天气预报数据；建立气象系统监测信息模型、雷达信息模型、云图信息模型及天气预报信息模型；能量管理系统模型规范：制定接口协议获取电流、电压、有功功率、无功功率数据；建立EMS系统模型规范包括量测id、量测时间、量测类型和量测值。3.如权利要求1所述的一种融合多源异构电网数据的获取和分布式存储方法，其特征是，配置各业务系统的数据接入策略，包括与各个业务系统交互数据的规则协议、数据源地址、接口形式，其中，所述业务系统交互数据的规则协议主要包括实时数据交互协议、历史数据交互协议；实时交互协议主要描述系统数据向系统数据提供方发送请求参数的解释和系统数据提供方相应返回的数据内容属性的解释，描述触发机制即使用实时数据交互协议的频率；历史数据交互协议与实时数据交互协议请求和返回相同，但非定期触发；数据源地址主要描述系统数据提供方发布服务的ip地址及端口；接口形式主要描述系统数据提供方的发布数据的方式。4.如权利要求1所述的一种融合多源异构电网数据的获取和分布式存储方法，其特征是，配置的数据校验规则用于描述对于从系统数据提供方获取的数据的预清洗规则，包括基于时间序列的清洗、基于聚类算法的清洗、基于SVM的清洗、台账清洗规则；其中，实时接入应用和历史接入应用综合数据接入策略及数据校验规则，依据数据模型规范实现各个业务系统的数据接入和解析。5.如权利要求1所述的一种融合多源异构电网数据的获取和分布式存储方法，其特征是，所述实时接入应用运行过程中产生的日志信息为实时接入应用的过程信息，记录We...

【专利技术属性】
技术研发人员：杨祎，苏建军，陈玉峰，郭志红，孟瑜，杜修明，王辉，马强，马艳，李程启，耿玉杰，林颖，白德盟，
申请(专利权)人：国网山东省电力公司电力科学研究院，国网山东省电力公司，山东鲁能软件技术有限公司，国家电网公司，
类型：发明
国别省市：山东,37