一种基于Hadoop的区域电网谐波监测系统技术方案

本实用新型专利技术公开一种基于Hadoop的区域电网谐波监测系统，包括谐波监测数据采集子系统、Hadoop集群子系统、逻辑接口层子系统、用户端，其中，谐波监测数据采集子系统采集电网数据并进行初步处理，与Hadoop集群子系统相连，Hadoop集群子系统能计算各次谐波参数并对输出结果进行整理排序存储，与逻辑接口层子系统相连，用户端与逻辑接口层子系统相连，能通过逻辑接口层子系统进行基础数据的并行化计算分析与对分析结果进行查询。本发明专利技术充分利用Hadoop分布式文件系统和并行化编程模型所提供的强大的数据存储能力和计算能力对区域电网谐波监测的基础采样数据进行存储和并行化，计算满足智能电网发展下，对于采样数据分析的快速性、及时性的需求。

【技术实现步骤摘要】
一种基于Hadoop的区域电网谐波监测系统
本技术涉及区域电网谐波监测领域，更具体地，涉及一种基于Hadoop的区域电网谐波监测系统。
技术介绍
智能电网的发展，给区域电网带来了大量电能质量监测终端的投入。同时，采样频率和监测时间的增加加速了电能质量监测平台中采样数据的爆炸性增长。在传统的电能质量监测平台中，监控终端数据采用集中式方式进行上传和处理。随着智能电网建设的不断推进，对电能质量监测指标的计算速度和精度提出了更高的要求。传统电能质量监控平台中服务器的存储容量和计算能力很难满足日益增长的业务需求，虽然购买更高配置的服务器可以暂时满足计算需求，但在没有运行任务的情况下，会导致资源的大量浪费。
技术实现思路
本技术为克服上述现有技术所述的至少一种缺陷，提供一种基于Hadoop的区域电网谐波监测系统。本技术旨在至少在一定程度上解决上述技术问题。本技术的首要目的是在低硬件成本和较小资源浪费的情况下实现电力系统采样数据的高效计算。为解决上述技术问题，本技术的技术方案如下：一种基于Hadoop的区域电网谐波监测系统，包括谐波监测数据采集子系统、Hadoop集群子系统、逻辑接口层子系统、用户端，其中:谐波监测数据采集子系统采集电网数据并进行初步处理，与Hadoop集群子系统相连；Hadoop集群子系统能计算各次谐波参数并对输出结果进行整理排序存储，与逻辑接口层子系统相连；用户端与逻辑接口层子系统相连，能通过逻辑接口层子系统进行基础数据的并行化计算分析与对分析结果进行查询；上述方案中，Hadoop集群子系统对电力系统的采样数据提供了强大的分布式存储和计算能力，其有廉价的普通硬件构成，且可以后续扩充存储和计算能力，大大推进电力系统的智能化进程，一定程度上提高了硬件资源的利用率。优选地，谐波监测数据采集子系统包括监测终端，监测终端包括处理器，将采样信号进行信号加窗、快速傅里叶变换并将特定的谱线上传至所述Hadoop集群子系统；为了能够在降低基础数据网络传输开销的前提下，实现对谐波参数分析方法的可定制过程，可以将采样信号经过快速傅里叶变换后的频谱中的特定谱线打包上传，这种做法从实际上实现了数据压缩的过程，以双谱线插值算法为例，每次谐波参数的计算仅需要频谱范围内的最大谱线和次大谱线，假设进行一次谐波参数分析所需的采样序列长度为2048个点，需要检测的谐波次数最高为21次，在采用双谱线插值算法的情况下，经过快速傅里叶变换后，需要上传42根谱线的幅值和相位信息，较大程度上减小了数据网络传输开销。优选地，Hadoop集群子系统包括若干个名称节点计算器、若干个数据节点计算器、存储器和中继器，若干个名称节点计算器通过中继器与若干个数据节点计算器、存储器相连，Hadoop集群子系统以Hadoop平台中分布式文件系统强大的数据存储能力和MapReduce并行化编程模型来对谐波监测数据进行分析和处理；若干个数据节点计算器中，一部分数据节点计算器运行Map程序，计算谐波的谐波参数，另一部分数据节点计算器运行Reduce程序，对计算的谐波参数进行排序整理；通过对采样数据的并行化处理可以通过定制不同的Map和Reduce函数来实现对采样数据基于不同算法的处理过程。优选地，逻辑接口层子系统包括MapReduce作业接口，所述MapReduce作业接口提供不同的窗函数供所述用户端选择。与现有技术相比，本技术技术方案的有益效果是：分布式文件系统和并行编程模型下计算电能质量监测平台的基本采样数据，通过对Hadoop平台核心技术——Hadoop分布式文件系统和MapReduce并行化编程模型的研究，设计了一种基于Hadoop集群的区域电网谐波监测系统，在这各系统下，可以充分利用Hadoop分布式文件系统和并行化编程模型所提供的强大的数据存储能力和计算能力对区域电网谐波监测的基础采样数据进行存储和并行化计算，平台的业务逻辑接口层中提供的MapReduce作业接口可以实现对基础采样数据处理算法的按需定制，在该系统中，可以通过增加Hadoop集群的节点来扩充存储和计算能力，能够及时的满足智能电网发展下，对于采样数据分析的快速性、及时性的需求。附图说明图1为本专利技术提供的基于Hadoop的区域电网谐波监测系统示意图。具体实施方式附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本技术的技术方案做进一步的说明。实施例1本实施例提供的基于Hadoop的区域电网谐波监测系统，如图1，包括包括谐波监测数据采集子系统、Hadoop集群子系统、逻辑接口层子系统、用户端，其中:谐波监测数据采集子系统采集电网数据并进行初步处理，与Hadoop集群子系统相连；Hadoop集群子系统能计算各次谐波参数并对输出结果进行整理排序存储，与逻辑接口层子系统相连；用户端与逻辑接口层子系统相连，能通过逻辑接口层子系统进行基础数据的并行化计算分析与对分析结果进行查询；谐波监测数据采集子系统包括监测终端，监测终端包括处理器，将采样信号进行信号加窗、快速傅里叶变换并将特定的谱线上传至Hadoop集群子系统；Hadoop集群子系统包括若干个名称节点计算器、若干个数据节点计算器，若干个名称节点计算器通过与若干个数据节点计算器相连，Hadoop集群子系统以Hadoop平台中分布式文件系统强大的数据存储能力和MapReduce并行化编程模型来对谐波监测数据进行分析和处理；若干个数据节点计算器中，一部分数据节点计算器运行Map程序，计算谐波的谐波参数，另一部分数据节点计算器运行Reduce程序，对计算的谐波参数进行排序整理；逻辑接口层子系统包括MapReduce作业接口，MapReduce作业接口提供不同的窗函数供所述用户端选择。在具体实施过程中，电能质量监测数据的采集仍然可以通过电力系统中现有的监测终端来提供，由于平台相同，且执行不同处理作业需求的硬件设备和软件代码具有良好的可扩展性和可移植性，在Hadoop平台下，将不同应用研究的作业进行合理化调度，可以大大推进电力系统的智能化进程，相对于执行单一作业任务而言，也可以在一定程度上提高硬件资源的利用效率，Hadoop平台本身所提供的强大的分布式存储能力和并行化计算能力是实现这一点有力保证；,在图1提出的基于Hadoop的区域电网谐波监测体系中，由于Hadoop计算机集群可以提供强大的数据存储和计算能力，因而可以降低对监测终端计算能力的要求，提高区域电网中监测终端的数量，监测终端在完成固定长度采样数据的采集后，可以将采样数据上传到集群中进行计算分析，为了能够在降低基础数据网络传输开销的前提下，实现对谐波本文档来自技高网...

【技术保护点】
1.一种基于Hadoop的区域电网谐波监测系统，其特征在于，包括谐波监测数据采集子系统、Hadoop集群子系统、逻辑接口层子系统、用户端，其中:/n所述谐波监测数据采集子系统采集电网数据并进行初步处理，与所述Hadoop集群子系统相连；/n所述Hadoop集群子系统能计算各次谐波参数并对输出结果进行整理排序存储，与所述逻辑接口层子系统相连；/n所述用户端与所述逻辑接口层子系统相连，能通过所述逻辑接口层子系统进行基础数据的并行化计算分析与对分析结果进行查询。/n

【技术特征摘要】
1.一种基于Hadoop的区域电网谐波监测系统，其特征在于，包括谐波监测数据采集子系统、Hadoop集群子系统、逻辑接口层子系统、用户端，其中:
所述谐波监测数据采集子系统采集电网数据并进行初步处理，与所述Hadoop集群子系统相连；
所述Hadoop集群子系统能计算各次谐波参数并对输出结果进行整理排序存储，与所述逻辑接口层子系统相连；
所述用户端与所述逻辑接口层子系统相连，能通过所述逻辑接口层子系统进行基础数据的并行化计算分析与对分析结果进行查询。


2.根据权利要求1所述的基于Hadoop的区域电网谐波监测系统，其特征在于，所述谐波监测数据采集子系统包括监测终端，所述的监测终端包括处理器，将采样信号进行信号加窗、快速傅里叶变换并将特定的谱线上传至所述Hadoop集群子系统。


3.根据权利要求1所述的基于Hadoop的区域电网谐波监...

【专利技术属性】
技术研发人员：陈文娟，
申请(专利权)人：广东电网有限责任公司，广东电网有限责任公司佛山供电局，
类型：新型
国别省市：广东;44