一种变电站历史数据统一存储方法和系统技术方案

本发明专利技术提供了一种变电站历史数据统一存储方法和系统，包括：采用代理服务器提取变电站涉及的相关系统中的存储对象；对存储对象进行结构化处理；将结构化处理后的数据存储至存储服务器集群。本发明专利技术实现对历史数据和文件的永久性存储，避免缓存库存储容量的限制，满足一个地区所有变电站所有厂家装置或设备缺陷数据统计分析对海量数据存储的要求。

A unified storage method and system for historical data in substations

The invention provides a unified substation historical data storage method and system, including: the proxy server storage object extraction system for substation involved in related to the storage object; structured processing; structured data is stored to the storage server cluster. The invention realizes the permanent storage of historical data and files, avoids the limitation of buffer storage capacity, and satisfies the requirements of mass data storage and analysis of all devices and devices in a substation.

【技术实现步骤摘要】
一种变电站历史数据统一存储方法和系统
本专利技术属于变电站自动化
，具体讲涉及一种变电站历史数据统一存储方法和系统。
技术介绍
随着智能电网的建设，电网规模越来愈大，数字化电网、数字化变电站等研究应用不断深入，系统面对的采集点越来越多。一个中等规模地区的采集量可以达到2万至10万，而一个大型地调未来可能面临50万至100万的数据采集规模，一年的数据初步估计将从目前的吉字节级转向太字节级；此外，随着调度自动化水平的不断提高，提出了实时运行数据不采用周期性采样存储而是按照实际时间序列连续存储的更高要求，以满足更多的应用需求，这也将导致变电站作为数据采集源头，对于数据存储规模数十倍的增长，与此同时，历史数据的存储组织策略以及查询检索策略也在变得相当复杂。另一方面，向量测量子站PMU采集装置的普及以及广域状态监测系统WAMS的发展，带来了更加突出的海量电力信息数据存储问题。相对稳态数据采集而言，PMU采集一个突出特点就是采集频率非常高，达到每秒25、50帧甚至100帧，而对所有数据必须完整保存，因此在相同采集点的情况下，其数据存储规模将是稳态数据的数百到上千倍。根据理论测算，对于25帧/秒采集频率的PMU装置，存储1000个相量一年所需的存储容量大约为9.3TB。因此，不论从写入速度还是查询效率上来说，采用常规的关系数据库来存储这些非结构化、大量的历史信息都很难满足海量数据存储和高效访问需求，因而需要突破关系型数据库对地区级变电站海量历史数据存储和访问的限制，寻找一种基于大数据平台的可用于网络化分布式存储的非关系型数据库解决方案。目前，变电站存在多套信息系统，如数据采集与监控系统SCADA、保护信息子站、PMU、设备在线监测系统和行波测距系统等，这些系统之间具有相对的独立性，存在重复采集、利用率不高、数据难以共享的问题，造成了严重的资源浪费；另一方面由于不同厂家同类型历史数据结构差异较大，不利于统一存储、查询及综合分析，无法满足对一个地区所有变电站所有厂家装置或设备的缺陷数据统计分析需求，而目前主站端缺乏针对一个地区所有变电站历史数据统一存储方法及对应的管理系统，迫切需要在主站端部署一套面向地区级变电站历史数据统一存储管理系统。由于一个地区所管辖的变电站有几百个的规模，而一个变电站运行三年所存储的历史数据达到几百G的容量，常规的关系型数据库显然无法满足上述海量数据存储的要求。
技术实现思路
为克服上述现有技术的不足，本专利技术提出一种变电站历史数据统一存储方法和系统。实现上述目的所采用的解决方案为：一种变电站历史数据统一存储方法，其改进之处在于：采用代理服务器提取变电站涉及的相关系统中的存储对象；对所述存储对象进行结构化处理；将所述结构化处理后的数据存储至存储服务器集群。本专利技术提供的第一优选技术方案，其改进之处在于,所述存储对象包括：SCADA历史数据和非结构化历史数据。本专利技术提供的第二优选技术方案，其改进之处在于，在所述提取变电站涉及的所有系统中的存储对象之后，在对所述存储对象按分类进行结构化处理之前，还包括：删除所述存储对象中的重复数据；按照变电站名称及数据类型分级存放所述存储对象。本专利技术提供的第三优选技术方案，其改进之处在于，所述按照变电站名称及数据类型分级存放所述存储对象包括：设定变电站名称为第一级数据；设定变电站数据类型为第二级数据；设定所述存储对象的具体文件为第三级数据。本专利技术提供的第四优选技术方案，其改进之处在于，所述对存储对象按分类进行结构化处理包括：当所述存储对象为SCADA历史数据时：逐个读取分级存放的SCADA历史数据的文件；将所述SCADA历史数据中的第三级数据转化字节流并存入value中；将所述SCADA历史数据中的第一和第二级数据转化字节流并结合value中记录发生时间和对应的别名存入key中；将所述key和value写入大数据平台的缓存库中。本专利技术提供的第五优选技术方案，其改进之处在于，所述对所述存储对象按分类进行结构化处理包括：当所述存储对象为非结构化历史数据时：逐个读取分级存放的非结构化历史数据的文件；将非结构化历史数据中的第三级数据的内容数据块存入value中；将非结构化历史数据中的第一和第二级数据结合第三级的名称字符串存入key中；将所述key和value写入大数据平台的缓存库中。本专利技术提供的第六优选技术方案，其改进之处在于，所述将所述结构化处理后的数据进行存储包括：通过代理服务程序将所述结构化处理后的数据采用分布式方式存入存储服务集群。一种变电站历史数据统一存储系统，其改进之处在于，包括数据提取模块、结构化处理模块和永久存储模块；所述数据提取模块用于采用代理服务器提取变电站涉及的相关系统中的存储对象；所述结构化处理模块用于对所述存储对象进行结构化处理；所述永久存储模块用于将所述结构化处理后的数据存储至存储服务器集群。本专利技术提供的第七优选技术方案，其改进之处在于，所述数据提取模块还包括重复数据处理模块和分级存储模块；所述重复数据处理模块用于删除所述存储对象中的重复数据；所述分级存储模块用于按照变电站名称及数据类型分级存放所述存储对象。本专利技术提供的第八优选技术方案，其改进之处在于，所述分级存储模块包括第一级数据子单元、第二级数据子单元和第三级数据子单元；所述第一级数据子单元用于设定变电站名称为第一级数据；所述第二级数据子单元用于设定变电站数据类型为第二级数据；所述第三级数据子单元用于设定所述存储对象的具体文件为第三级数据。本专利技术提供的第九优选技术方案，其改进之处在于，所述结构化处理模块包括：SCADA历史数据结构化处理子单元和非结构化历史数据结构化处理子单元；所述SCADA历史数据结构化处理子单元用于逐个读取分级存放的SCADA历史数据的文件；将所述SCADA历史数据中的第三级数据转化字节流并存入value中；将所述SCADA历史数据中的第一和第二级数据转化字节流并结合value中记录发生时间和对应的别名存入key中；将所述key和value写入大数据平台的缓存库中；所述非结构化历史数据结构化处理子单元用于逐个读取分级存放的非结构化历史数据的文件；将非结构化历史数据中的第三级数据的内容数据块存入value中；将非结构化历史数据中的第一和第二级数据结合第三级的名称字符串存入key中；将所述key和value写入大数据平台的缓存库中。与最接近的现有技术相比，本专利技术具有的优异效果如下：1.本专利技术提出一种变电站历史数据统一存储方法和系统，数据源来自地区级变电站一体化监控系统的历史数据，包括SCADA历史数据和非结构化文件数据，进行结构化处理后存储至存储服务器集群中，避免缓存库存储容量的限制，满足一个地区所有变电站所有厂家装置或设备缺陷数据统计分析对海量数据存储的要求。2.本专利技术使用的大数据平台包括代理服务器和存储服务器集群，在代理服务器中将多厂家多业务历史数据删除重复数据后统一写入缓存库中，并通过代理服务程序的分片存储算法分布式转存至存储集群中，再通过每个存储服务器的存储引擎将缓存数据存入磁盘文件中，实现对历史数据和文件的永久性存储。附图说明图1为本专利技术提供的一种变电站历史数据统一存储方法的流程示意图；图2为本专利技术提供的一种变电站历史数据统一存储方法的总体设计意图；图3为本本文档来自技高网...

【技术保护点】
一种变电站历史数据统一存储方法，其特征在于：采用代理服务器提取变电站涉及的相关系统中的存储对象；对所述存储对象进行结构化处理；将所述结构化处理后的数据存储至存储服务器集群。

【技术特征摘要】
1.一种变电站历史数据统一存储方法，其特征在于：采用代理服务器提取变电站涉及的相关系统中的存储对象；对所述存储对象进行结构化处理；将所述结构化处理后的数据存储至存储服务器集群。2.如权利要求1所述的方法，其特征在于,所述存储对象包括：SCADA历史数据和非结构化历史数据。3.如权利要求1所述的方法，其特征在于,在所述提取变电站涉及的所有系统中的存储对象之后，在对所述存储对象按分类进行结构化处理之前，还包括：删除所述存储对象中的重复数据；按照变电站名称及数据类型分级存放所述存储对象。4.如权利要求3所述的方法，其特征在于,所述按照变电站名称及数据类型分级存放所述存储对象包括：设定变电站名称为第一级数据；设定变电站数据类型为第二级数据；设定所述存储对象的具体文件为第三级数据。5.如权利要求1-4任一条所述的方法，其特征在于,所述对存储对象按分类进行结构化处理包括：当所述存储对象为SCADA历史数据时：逐个读取分级存放的SCADA历史数据的文件；将所述SCADA历史数据中的第三级数据转化字节流并存入value中；将所述SCADA历史数据中的第一和第二级数据转化字节流并结合value中记录发生时间和对应的别名存入key中；将所述key和value写入大数据平台的缓存库中。6.如权利要求1-4任一条所述的方法，其特征在于,所述对所述存储对象按分类进行结构化处理包括：当所述存储对象为非结构化历史数据时：逐个读取分级存放的非结构化历史数据的文件；将非结构化历史数据中的第三级数据的内容数据块存入value中；将非结构化历史数据中的第一和第二级数据结合第三级的名称字符串存入key中；将所述key和value写入大数据平台的缓存库中。7.如权利要求1所述的方法，其特征在于，所述将所述结构化处理后的数据进行存储包括：通过代理服务程序将所述结构化处理后...

【专利技术属性】
技术研发人员：任浩，王强，郭凌旭，陈建，张磐，窦仁晖，耿明志，
申请(专利权)人：中国电力科学研究院，国网天津市电力公司，国家电网公司，
类型：发明
国别省市：江苏,32