一种状态监测数据的分布式存储与并行挖掘方法，它通过Web服务描述语言定义变电站状态监测远程单元与状态监测通信前置机的功能服务模型，通过简单对象访问协议进行电力广域网环境下电力设备状态监测数据交换；它将大规模状态监测数据冗余存储在分布式文件系统中，对状态监测数据文件创建索引表，并插入到大规模结构化数据表中，根据查询请求完成状态监测数据查询；通过提取、转换与加载生成基础数据与多维度的分析性数据建立数据仓库，并通过MapReduce任务分解与结果汇总，实现关联规则、分类和聚类数据挖掘算法的并行执行。本发明专利技术能有效地对智能电网环境下海量电力设备状态监测信息进行分布式数据交换、冗余存储与快速并行处理。
【技术实现步骤摘要】
本专利技术涉及一种智能电网海量状态监测数据的分布式存储与并行挖掘方法，属数据处理
技术介绍
随着大规模波动式能源发电与高渗透率分布式电源的大量接入、负荷特性的日趋复杂，电网规模越来越大，电网安全、稳定运行所面临的压力也越来越大。从智能电网的发展策略和建设进展可以看出，尽管各国智能电网的功能特性、关键技术和建设重点不尽相同，但是实现电网信息化，即全面整合电网稳态、动态、暂态运行信息，建设基于全景数据的分析与计算平台，为智能电网各类业务应用提供支持和服务，使电力企业的管理模式从分散化到集中化进行转变，则是各国智能电网的基本特征之一。伴随着特高压电网的建设、可再生能源和分布式能源的不断接入，电网规模将急剧增大。随着传感测量、物联网以及通信等技术的不断发展，电网数据的采样频率将明显提高、采集范围将极大扩展、电网运行数据规模将急速增长。电力设备状态监测装置所采集的实时数据将积累出海量的时间序列历史数据。智能电网的状态监测数据具有广域、全景、海量、实时、准确可靠的特征，远远超出了传统电网状态监测的范畴，它不仅涵盖一次系统设备，还囊括了二次系统设备；不仅包括实时在线状态数据，还应包括设备基本信息、试验数据、运行数据、缺陷数据、巡检记录、带电测试数据等离线信息，面对这些海量的、分布式的、异构的、复杂的状态数据，常规的数据存储与管理方法会遇到极大的困难，现有的数据分析与处理能力不足以支撑智能电网状态信息的分析优化与辅助决策。仅以绝缘子泄漏电流监测为例，假设IOms采集一次数据，一个杆塔在一个月内就达到了 2. 5亿条，对于关系数据库来说，在一张2. 5亿条记录的表里面进行SQL查询，效率是极其低下乃至不可忍受的。目前，一般以Oracle、Sybase等标准商用数据库与数据仓库存储历史数据，这种体系结构仍然保持了传统的数据库管理系统的特点，存储的是相对静止的数据，而对于存储变化快、连续、海量的时序数据的管理能力是非常有限的。虽然可以采用实时库和历史库相结合的方式，在标准商用数据库平台上外挂实时数据库，用来管理内存实时数据，历史数据文件是以存档文件的形式存在。由于实时数据库大多由厂商自行开发，并且采用各自的专用接口、互不兼容，给系统的二次开发、异构系统的集成、数据共享与管理造成了极大困难。研究人员采用数据流、并行计算、分布式计算以及网格计算等技术对电网运行数据的高效查询、高性能的分析与挖掘进行了大量研究工作。目前，数据流的处理算法与降载策略还没有解决，应用理论体系尚不成熟完善，数据流管理系统仍停留在原型系统的研发阶段，例如Stanford大学的STREAM项目、UC Berkeley大学的Telegraph CQ项目以及Aurora项目等。网格计算曾一度被认为是提升电力系统分析与计算能力的有效技术，但是网格计算主要侧重于聚合分布的松散耦合资源、强调资源共享，适用于计算密集型的应用、难以自动扩展，网格的构建大多为完成某一个特定的任务需要，或者支持挑战性的应用，通、常被用来解决计算敏感型的科研、数学、学术问题，对企业应用的支持不够，限制了其在电网企业的大规模应用。云计算是一种新兴的计算模型，具备可靠性高、数据处理量巨大、灵活可扩展以及设备利用率高等优势，正成为信息领域研究的热点，给上述问题的解决带来了机遇。
技术实现思路
本专利技术的目的在于克服现有技术的不足、提供，实现智能电网环境下海量电力设备状态监测信息的分布式数据交换、冗余存储管理、快速查询与处理。本专利技术所称问题是以下述技术方案实现的 ，它通过Web服务描述语言定义变电站状态监测远程单元与状态监测通信前置机的功能服务模型，通过简单对象访问协议进行电力广域网环境下电力设备状态监测数据交换；它将大规模状态监测数据冗余存储在分布式文件系统中，对状态监测数据文件创建索引表，并插入到大规模结构化数据表中，根据查询请求完成状态监测数据查询；通过提取、转换与加载生成基础数据与多维度的分析性数据建立数据仓库，并通过映射与化简并行编程模型进行任务分解与结果汇总，实现关联规贝U、分类和聚类数据挖掘算法的并行执行。上述状态监测数据的分布式存储与并行挖掘方法，状态监测数据交换的具体方法为 a.状态监测服务接口的定义采用Web服务描述语言(WSDL)，为变电站状态监测远程单元(CRU)定义抽象服务接口 CRUServiceInterface以及控制命令操作，为状态监测通信前置机(CFC)定义抽象服务接口 CFCServiceInterface以及上传心跳信息、配置信息、状态监测数据操作； b.状态监测服务消息与参数的描述为上述操作定义请求消息与响应消息，并约束输入与返回参数的数据类型，其中心跳信息请求消息输入参数包括标识符、工作状态与网络状态，配置信息请求消息输入参数包括标识符、数据上传周期与配置参数，状态监测数据请求消息输入参数包括监测数据代码、监测数据值与告警状态； c.状态监测信息传输方式与消息格式的定义将CRUServiceInterface与CFCServiceInterface服务接口绑定为简单对象访问协议(SOAP),传输方式采用超文本传送协议(HTTP)，并采用document/literal作为状态监测信息的编码方式； d.访问端点的部署绑定为CRUServiceInterface与CFCServiceInterface指定特定网络地址来定义访问端点，通过该地址访问所提供的状态监测服务； e.状态监测数据的交换过程如下 ①CRU处于堵塞状态，周期性主动唤醒后，发起调用远程对象CFC的状态监测数据服务的远程过程调用(RPC)请求； ②状态监测数据服务的RPC请求被封装成一个采用结构化描述语言(XML)编码的SOAP请求消息，发送到CFC的SOAP服务器上； ③CFC的SOAP服务器解码收到的SOAP请求消息，对变压器、断路器与容性设备的状态监测数据进行业务逻辑处理，判断是否存在缓存的尚未发出的配置与控制命令，再将处理结果封装成SOAP响应消息； ④CRU获得状态监测数据服务的响应消息后，判断是否执行配置与控制命令。上述状态监测数据的分布式存储与并行挖掘方法，状态监测数据的存储与查询的具体步骤如下 a.从CFC收集的状态监测数据以文件形式组织，直接将数据以二进制的形式存放到文件里，不包含任何的冗余数据，将数据转化为便于查询的结构化形式，读取状态监测数据文件，逐行扫描每个状态监测数据记录； b.将文件扫描检测和索引创建分布在不同节点上，设置主节点服务器对状态文件检测和索引创建，检测是否产生新的状态监测文件，将新的状态监测文件名整合成索引创建请求，并分发给子节点处理，如果子节点失效，转移到其他子节点上，子节点部分检测请求是否到来以及是否为合理，每当子节点接收到一个状态监测数据文件索引创建任务，将从 Hadoop分布式文件系统(HDFS)中读取的状态监测文件数据读入内存中，并记录该文件的名称； c.对文件中的每个状态监测数据记录逐行扫描，提取出对查询有效字段，添加到列表中，根据这些常用字段建立索引表； d.将状态监测数据文件产生的索引表插入到分布式列存储的Hadoop结构化数据表(HBase)中，接受并处理用户的状态数据查询请求，并检测该请求本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种状态监测数据的分布式存储与并行挖掘方法，其特征是，它通过Web服务描述语言定义变电站状态监测远程单元与状态监测通信前置机的功能服务模型，通过简单对象访问协议进行电力广域网环境下电力设备状态监测数据交换；它将大规模状态监测数据冗余存储在分布式文件系统中，对状态监测数据文件创建索引表，并插入到大规模结构化数据表中，根据查询请求完成状态监测数据查询；通过提取、转换与加载生成基础数据与多维度的分析性数据建立数据仓库，并通过映射与化简并行编程模型进行任务分解与结果汇总，实现关联规则、分类和聚类数据挖掘算法的并行执行。2.根据权利要求I所述状态监测数据的分布式存储与并行挖掘方法，其特征是，状态监测数据交换的具体方法为 a.状态监测服务接口的定义采用Web服务描述语言(WSDL)，为变电站状态监测远程单元(CRU)定义抽象服务接口 CRUServiceInterface以及控制命令操作，为状态监测通信前置机(CFC)定义抽象服务接口 CFCServiceInterface以及上传心跳信息、配置信息、状态监测数据操作； b.状态监测服务消息与参数的描述为上述操作定义请求消息与响应消息，并约束输入与返回参数的数据类型，其中心跳信息请求消息输入参数包括标识符、工作状态与网络状态，配置信息请求消息输入参数包括标识符、数据上传周期与配置参数，状态监测数据请求消息输入参数包括监测数据代码、监测数据值与告警状态； c.状态监测信息传输方式与消息格式的定义将CRUServiceInterface与CFCServiceInterface服务接口绑定为简单对象访问协议(SOAP),传输方式采用超文本传送协议(HTTP)，并采用document/literal作为状态监测信息的编码方式； d.访问端点的部署绑定为CRUServiceInterface与CFCServiceInterface指定特定网络地址来定义访问端点，通过该地址访问所提供的状态监测服务； e.状态监测数据的交换过程如下 ①CRU处于堵塞状态，周期性主动唤醒后，发起调用远程对象CFC的状态监测数据服务的远程过程调用(RPC)请求； ②状态监测数据服务的RPC请求被封装成一个采用结构化描述语言(XML)编码的SOAP请求消息，发送到CFC的SOAP服务器上； ③CFC的SOAP服务器解码收到的SOAP请求消息，对变压器、断路器与容性设备的状态监测数据进行业务逻辑处理，判断是否存在缓存的尚未发出的配置与控制命令，再将处理结果封装成SOAP响应消息； ④CRU获得状态监测数据服务的响应消息后，判断是否执行配置与控制命令。3.根据权利要求2所述状态监测数据的分布式存储与并行挖掘方法，其特征是，状态监测数据的存储与查询的具体步骤如下 a.从CFC收集的状态监测数据以文件形式组织，直接将数据以二进制的形式存放到文件里，不包含任何的冗余数据，将数据转化为便于查询的结构化形式，读...
【专利技术属性】
技术研发人员：王德文，宋亚奇，肖磊，肖凯，
申请(专利权)人：华北电力大学保定，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。