一种基于大数据分析技术的电能质量分析方法技术

本发明专利技术公开了一种基于大数据分析技术的电能质量分析方法，包括：1）通过负控终端实时采集电能质量数据；2）将采集的电能质量数据上传到物理机架上进行储存；3）利用Hadoop大数据平台对物理机架上的电能质量数据进行处理；4）通过Hadoop的云平台端进行数据计算结果的在线展示。本发明专利技术对传统的电能质量分析方法进行改进，并搭建大数据处理平台Hadoop对电能质量数据的读写和分析进行优化，通过数据挖掘算法对负控终端采集的电能质量数据进行分析与探索，实现电能质量大数据分析从而满足用户的用电需求，且电能质量分析结果的准确性高。且电能质量分析结果的准确性高。且电能质量分析结果的准确性高。

【技术实现步骤摘要】
一种基于大数据分析技术的电能质量分析方法


[0001]本专利技术涉及电能质量分析
，具体涉及一种基于大数据分析技术的电能质量分析方法。

技术介绍

[0002]电能作为一种二次能源，是我国社会发展的基础，也是衡量我国综合国力的重要指标。电能质量对电力系统有着重要意义，良好的电能质量是电网安全经济运行的保证。随着智能电网的发展，许多非线性元件的投入对电网的电能质量造成较大影响，再加上近年来我国经济发展呈稳中求进趋势，用户对电能质量的需求也逐渐攀升。面对日益增长的电能质量监测数据，传统的电能质量分析方法已经无法较好地满足电能质量分析，如何对电能质量大数据进行分析研究从而满足用户的用电需求，已经成为当下电力企业的当务之急。实际上，随着电能质量监测设备的大范围应用，电网监测大数据逐渐累积，如果继续将数据挖掘算法运用到传统平台上，则无法良好地对激增的电网信号参数进行分析，再加上这些电力数据的属性与储存方式不同，传统平台无法胜任对于这类数据的储存、分析与运算，这就要求随时代发展的电力企业针对不同数据特点，利用大数据平台来对电能质量数据问题进行有效研究处理。

技术实现思路

[0003]本专利技术主要是为了解决随着电网监测大数据的累积，传统的电能质量分析方法和平台已经无法较好地满足电能质量分析的问题，提供了一种基于大数据分析技术的电能质量分析方法，包括：1)通过负控终端实时采集电能质量数据；2)将采集的电能质量数据上传到物理机架上进行储存；3)利用Hadoop大数据平台对物理机架上的电能质量数据进行处理；4)通过Hadoop的云平台端进行数据计算结果的在线展示。本专利技术对传统的电能质量分析方法进行改进，并搭建大数据处理平台Hadoop对电能质量数据的读写和分析进行优化，通过数据挖掘算法对负控终端采集的电能质量数据进行分析与探索，实现电能质量大数据分析从而满足用户的用电需求，且电能质量分析结果的准确性高。
[0004]为了实现上述目的，本专利技术采用以下技术方案：
[0005]一种基于大数据分析技术的电能质量分析方法，包括以下步骤：步骤S1：通过负控终端实时采集电能质量数据；通过DTU、FTU、TTU等负控终端对电压、电流、功率等电能质量数据进行实时采集，构建电能质量大数据基础，与上述原始结构化数据一起被采集的还有监测地点、所属台区和GIS地理信息等半结构化、非结构化数据；步骤S2：将采集的电能质量数据上传到物理机架上进行储存；通过光纤通信网、无线通信网等通信手段将采集到的电能质量数据上传到物理机架上进行储存，完成物理层面的数据保留；步骤S3：利用Hadoop大数据平台对物理机架上的电能质量数据进行处理；步骤S4：通过Hadoop的云平台端进行数据计算结果的在线展示；本专利技术对传统的电能质量分析方法进行改进，并搭建大数据处理平台Hadoop对电
能质量数据的读写和分析进行优化，通过数据挖掘算法对负控终端采集的电能质量数据进行分析与探索，实现电能质量大数据分析从而满足用户的用电需求，适用于日益增长的电能质量监测数据分析，且电能质量分析结果的准确性高。
[0006]作为优选，所述步骤S3的具体过程，包括以下步骤：步骤S31：运用程序对电能质量数据进行预处理以剔除由于设备采集不全、信号传输故障等原因造成的无效数据，同时配置Hadoop大数据平台的各项参数并搭建好平台生态环境，方便后续分析处理电能质量数据；步骤S32：通过Hadoop大数据平台中的HDFS分布式文件系统对电能质量数据进行分布式存储；步骤S33：在YARN资源管理框架上通过MapReduce并行计算方式利用数据挖掘算法对电能质量数据进行分析计算；在大数据分析并行计算过程中将k
‑
medoids算法和k
‑
GMM算法应用在MapReduce框架上进行算法实现；本专利技术基于Hadoop平台的MapReduce框架和YARN框架构建出电能质量分析所要用到的伪分布式平台架构，实现利用大数据平台对电能质量数据问题进行有效研究处理。
[0007]作为优选，所述步骤S33的具体过程，包括以下步骤：步骤S331：运用k
‑
medoids算法通过迭代完成数据聚类，在聚类过程中确定聚类的距离度量函数，然后利用PAM算法和CLARA算法从数据集中找到中心点，最终获得不同的数据簇，每个簇里的数据都离各簇的中心点最近，每个簇中的单个数据相互之间距离最近，并且簇内数据的相似度最高；步骤S332：利用步骤S331获得的不同的数据簇，在不同的簇中使用融合了k
‑
medoids算法的高斯混合模型，再结合EM最大期望算法对高斯密度函数进行处理，得到最终的参数与数据属于分簇的概率，最后通过计算得到各个分簇的数据概率和；本专利技术运用k
‑
medoids算法对数据进行分簇分析，能更准确地分类定位电能质量问题；考虑到电能质量数据基本呈正态分布，运用高斯混合模型能较好地解决电能质量数据的分布概率问题，同时将聚类算法中的k
‑
medoids算法与高斯混合模型结合进行相应的电能质量分析。
[0008]作为优选，步骤S331中，所述距离度量函数采用欧式距离：其中，r
ij
表示随机变量x
i
和x
j
的相似系数；为选取的参数，使0≤r
ij
≤1。
[0009]作为优选，步骤S331中，所述利用PAM算法和CLARA算法从数据集中找到中心点的具体过程为：从数据集中抽取多个样本集，对多个样本集使用PAM算法找到最中心的点，然后以最好的聚类为输出。本专利技术使用了改进k
‑
means算法，即k
‑
medoids算法，k
‑
medoids算法结合了PAM算法和CLARA算法。PAM算法的基本原理是找出簇中正中心的那个对象作为样本点，并根据距离准则对输入数集给出k个划分。该算法中选出的那个对象称为中心点，除中心点外的对象则被称为非中心点，开始时随机选择k个对象并把这k个对象当做中心点，PAM算法不停地用非中心点数据来代替中心点数据，利用代价函数计算非中心点替代中心点的总代价，该代价函数计算的结果为所有可能的数据与中心点的距离，若总代价小于0，
则可以完成替代，并形成新的样本集合并重新化簇，该算法利用这种不停分簇再选择中心点的迭代方式来找到最中心的点，从而改善聚类效果。CLARA算法的基本思想是暂时不处理总数据集，而是从数据集的部分数据出发,从总集中抽取一些作为样本，并对多个样本集使用PAM算法，然后以最好的聚类作为输出。
[0010]作为优选，步骤S332中，所述结合EM最大期望算法对高斯密度函数进行处理的具体过程，包括以下步骤：步骤A1：初始化参数θ，获得对应的均值、协方差、高斯密度权重；步骤A2：根据参数估计单一高斯模型发生的概率；步骤A3：用最大似然估计得到新的参数值；步骤A4：重复步骤A2
‑
A3直至结果收敛则输出对应参数θ；采用EM算法解决了高斯混合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据分析技术的电能质量分析方法，其特征在于，包括以下步骤：步骤S1：通过负控终端实时采集电能质量数据；步骤S2：将采集的电能质量数据上传到物理机架上进行储存；步骤S3：利用Hadoop大数据平台对物理机架上的电能质量数据进行处理；步骤S4：通过Hadoop的云平台端进行数据计算结果的在线展示。2.根据权利要求1所述的一种基于大数据分析技术的电能质量分析方法，其特征在于，所述步骤S3的具体过程，包括以下步骤：步骤S31：运用程序对电能质量数据进行预处理以剔除无效数据，同时配置Hadoop大数据平台的各项参数并搭建好平台生态环境；步骤S32：通过Hadoop大数据平台中的HDFS分布式文件系统对电能质量数据进行分布式存储；步骤S33：在YARN资源管理框架上通过MapReduce并行计算方式利用数据挖掘算法对电能质量数据进行分析计算。3.根据权利要求2所述的一种基于大数据分析技术的电能质量分析方法，其特征在于，所述步骤S33的具体过程，包括以下步骤：步骤S331：运用k
‑
medoids算法通过迭代完成数据聚类，在聚类过程中确定聚类的距离度量函数，然后利用PAM算法和CLARA算法从数据集中找到中心点，最终获得不同的数据簇，每个簇里的数据都离各簇的中心点最近，每个簇中的单个数据相互之间距离最近，并且簇内数据的相似度最高；步骤S332：利用步骤S331获得的不同的数据簇，在不同的簇中使用融合了k
‑
m...

【专利技术属性】
技术研发人员：李颖，徐钰强，韩长志，周青睐，王海帆，陈龙，李天鲍，王哲萍，周嘉诚，吴华波，姚利忠，何嵩琦，陈云飞，祁建勋，何玎傲，张超，
申请(专利权)人：国网浙江省电力有限公司桐乡市供电公司，
类型：发明
国别省市：