一种基于Hadoop的海量录波数据存储和解析方法及系统技术方案

本发明专利技术公开了一种基于Hadoop的海量录波数据存储和解析方法，包括预处理步骤、解压缩故障录波数据步骤、配置文件解析与存储步骤以及数据文件解析与存储步骤，可以解决海量故障录波数据存储、快速解析及查询的问题，所有计算步骤易于实现，解析和查询速度显著提高，为进一步利用海量故障录波数据进行故障分析提供了技术支持。本发明专利技术还公开了一种基于Hadoop的海量录波数据存储和解析系统，包括预处理模块、数据解压缩模块、录波数据解析模块、数据输出模块、节点分配调度模块以及数据存储和查询模块。

A method and system for storage and analysis of mass recorded data based on Hadoop

The invention discloses a method for recording data storage and analysis method of Hadoop based on the mass, including steps, fault recorder data pretreatment decompression procedure, configuration file parsing and storage procedures and data file storage and analysis steps can solve massive fault recorder data storage, fast analysis and query, all the calculation steps easy to implement, parsing and query speed significantly improved, for the further use of the massive fault recorder data provides technical support for fault analysis. The invention also discloses a mass wave data storage and analysis system based on Hadoop, including preprocessing module, data decompression module, recording data analysis module, data output module, node allocation scheduling module, and data storage and query module.

【技术实现步骤摘要】
一种基于Hadoop的海量录波数据存储和解析方法及系统
本专利技术涉及一种基于Hadoop的海量录波数据存储和解析方法及系统，属于电力系统故障诊断领域。
技术介绍
故障录波系统已经成为智能电网必不可少的组成部分。故障录波装置监视电网运行状况，其记录的数据能够提供故障状态下的暂态数据，为电力系统故障分析及对各种保护动作行为的分析和评价提供了主要依据。现行标准下的不同厂商所生产的故障录波装置都提供COMTRADE格式的录波数据生成接口用于保存和传输，因此本专利技术主要针对COMTRADE格式的故障录波数据进行分析。COMTRADE格式文件主要包括头文件(*.HDR)、配置文件(*.CFG)、数据文件(*.DAT)、信息文件(*.INF)。其中，主要对配置文件和数据文件进行解析。随着电网的互联规模和运行复杂性不断增大，电网间的联系也越来越紧密，故障录波记录的数据呈现海量化趋势：(1)记录的设备增多，较低电压等级的厂站亦开始投入故障录波装置进行录波；(2)随着设备的更新换代和现代通信技术的发展，为了能够更好的监视和分析电网的运行状况，要求记录的数据逐渐更加详实，可记录长时记录故障前稳定运行数本文档来自技高网...

【技术保护点】
一种基于Hadoop的海量录波数据存储和解析方法，其特征在于，包括以下步骤：S1，预处理步骤：在HBase中创建录波文件信息表并在表中创建文件信息列族；创建故障录波数据表并在表中创建CFG数据列族和DAT数据列族；创建配置文件字段涵义表，并在表中创建字段列族，以字段对应的行数作为行键，字段所在列数作为列名，对应的字段名作为列值存入表中；S2，解压缩故障录波数据步骤，包括以下工序：S21，利用Hadoop提供的SequenceFile将压缩的故障录波文件中的小文件合并成一个文件，以文件名作为键，文件内容作为值进行分块输入；S22，采用Hadoop提供的CompressionCodec接口实现故障...

【技术特征摘要】
1.一种基于Hadoop的海量录波数据存储和解析方法，其特征在于，包括以下步骤：S1，预处理步骤：在HBase中创建录波文件信息表并在表中创建文件信息列族；创建故障录波数据表并在表中创建CFG数据列族和DAT数据列族；创建配置文件字段涵义表，并在表中创建字段列族，以字段对应的行数作为行键，字段所在列数作为列名，对应的字段名作为列值存入表中；S2，解压缩故障录波数据步骤，包括以下工序：S21，利用Hadoop提供的SequenceFile将压缩的故障录波文件中的小文件合并成一个文件，以文件名作为键，文件内容作为值进行分块输入；S22，采用Hadoop提供的CompressionCodec接口实现故障录波数据的并行解压缩，解压缩后的故障录波文件存放于HDFS分布式文件系统中；S23，以压缩文件名作为行键，“存储位置”、“CFG文件大小”和“DAT文件大小”作为列名，对应的信息作为列值存入录波文件信息表中的文件信息列族中；S3，配置文件解析与存储步骤，包括以下工序：S31，首先通过查询录波文件信息表获取需要解析的配置文件的位置信息，在解析之前，从配置文件字段涵义表中读入字段涵义，以“行键值：列名”作为键，字段列值作为值形成键值对映射表Z方便查询；若只有一个文件则直接解析；若有多个文件则采用Hadoop提供的文件合并输入格式接口将其合并成一个文件，进而先利用MapReduce的map函数以键值对解析文件，然后封装新Key并通过Reduce合并输出HBase中；S32，在HBase的故障录波数据表中，以变电站名称加上解析配置文件获取的录波触发时刻作为行键，对于变电站录波配置信息以及其他采样相关信息直接将字段名作为列名，通道信息则以“通道编号：通道对应字段名”作为列名，对应的字段值作为列值存入；S33，在故障录波数据表CFG数据列族中以“文件存储位置”为列名，文件位置为列值存入CFG文件位置信息；S4，数据文件解析与存储步骤，包括以下工序：S41，将较小的DAT文件先利用Hadoop提供的合并文件输入格式接口合并成一个文件首先进行解析，利用MapReduce进行解析时，需先封装新Key，新Key包含通道编号和采样编号两个变量，排序方式以先对通道编号，后对采样编号排序进行；S42，ACSII格式DAT文件解析，首先以行数为键，每行数据为值形成键值对<k5,v5>，进而解析每行数据获取采样编号k61，并按序生成通道编号k62，形成以新Key为键，对应的采样值乘以CFG文件中的转换因子为值的键值对<(k62,k...

【专利技术属性】
技术研发人员：卢圣财，戴人杰，廖旻，沈良，金明雨，吴旭鹏，王俊豪，周平，陈俊，
申请(专利权)人：国网上海市电力公司，
类型：发明
国别省市：上海,31