基于大数据技术的电网量测数据智能处理系统技术方案

本发明专利技术提供了基于大数据技术的电网量测数据智能处理系统，包括依次连接的数据接入模块、预处理模块、分析模块，其中数据接入模块用于接收多个数据采集模块发送的智能电网量测数据，其中数据采集模块用于采集所在监测节点上的智能电网量测数据；所述预处理模块用于对数据接入模块接收的智能电网量测数据进行预处理，预处理模块包括聚类处理单元、异常检测单元，聚类处理单元用于对智能电网量测数据进行聚类处理，异常检测单元用于对聚类处理后的智能电网量测数据进行异常检测，对检测出的异常智能电网量测数据进行标记，并将所有的智能电网量测数据发送至分析模块；所述的分析模块用于对预处理后的智能电网量测数据进行建模分析处理。

Intelligent processing system for power grid measurement data based on big data technology

The invention provides an intelligent data processing system for power grid measurement based on large data technology, which comprises a data access module, a pretreatment module and an analysis module connected sequentially. The data access module is used to receive the measurement data of a smart grid sent by multiple data acquisition modules, in which the data acquisition module is used for the acquisition of the supervisory office. The pre-processing module is used to pre-process the smart grid measurement data received by the data access module. The pre-processing module includes the clustering processing unit and the anomaly detection unit. The clustering processing unit is used to cluster the smart grid measurement data and the anomaly detection unit is used to detect the anomaly. The anomaly detection of the smart grid measurement data after clustering is carried out, and the anomalous smart grid measurement data are marked, and all the smart grid measurement data are sent to the analysis module.

【技术实现步骤摘要】
基于大数据技术的电网量测数据智能处理系统
本专利技术涉及电网量测数据处理
，具体涉及基于大数据技术的电网量测数据智能处理系统。
技术介绍
随着智能电网信息化不断发展，调度自动化和采集监测类系统积累了海量的电网量测数据，量测数据作为电网领域四大数据类型之一，是设备状态监测、辅助决策分析、大数据挖掘的重要基础。目前，采用电网量测数据进行设备状态分析时，直接采用采集的电网量测数据进行建模，而电网量测数据本身存在的缺陷将会大大降低建模分析的精度。
技术实现思路
针对上述问题，本专利技术提供基于大数据技术的电网量测数据智能处理系统。本专利技术的目的采用以下技术方案来实现：提供了基于大数据技术的电网量测数据智能处理系统，包括依次连接的数据接入模块、预处理模块、分析模块，其中数据接入模块用于接收多个数据采集模块发送的智能电网量测数据，其中数据采集模块用于采集所在监测节点上的智能电网量测数据；所述预处理模块用于对数据接入模块接收的智能电网量测数据进行预处理，预处理模块包括聚类处理单元、异常检测单元，聚类处理单元用于对智能电网量测数据进行聚类处理，异常检测单元用于对聚类处理后的智能电网量测数据进行异常检测，对检测出的异常智能电网量测数据进行标记，并将所有的智能电网量测数据发送至分析模块；所述的分析模块用于对预处理后的智能电网量测数据进行建模分析处理。优选地，聚类处理单元对智能电网量测数据进行聚类处理，具体包括：(1)对存在0值或负值的智能电网量测数据进行预处理，将0值或负值替换为预先设定的替代值，提取设定时间段的智能电网量测数据作为一个智能电网量测数据集，设为X；(2)在第一次迭代时，选择智能电网量测数据集X中的第一个未标记的智能电网量测数据作为第一个簇中心点O1，计算其余智能电网量测数据与该簇中心点O1之间的相似度，若智能电网量测数据xi与簇中心点O1之间的相似度大于设定的相似度阈值，则将智能电网量测数据xi分配到该簇中心点O1，并进行标记；(3)令迭代次数λ加1，选择智能电网量测数据集X中的第一个未标记的智能电网量测数据作为另一个簇中心点Oλ+1，计算其余智能电网量测数据与该簇中心点Oλ+1之间的相似度；智能电网量测数据xj未标记时，若智能电网量测数据xj与Oλ+1之间的相似度大于设定的相似度阈值，则将智能电网量测数据xj分配到该簇中心点Oλ+1，并进行标记；智能电网量测数据xj已标记时，当智能电网量测数据xj与Oλ+1之间的相似度大于设定的相似度阈值并且满足再分配条件时，将智能电网量测数据xj分配到该簇中心点Oλ+1，其余情况不对已标记的智能电网量测数据xj作任何操作；(4)重复(3)直至迭代次数λ达到设定的阈值或者所有的智能电网量测数据皆已被标记，执行(5)；(5)更新每个簇的簇中心点为该簇中所有智能电网量测数据的均值，分配每个非簇中心点到与它相似度最高的簇中心点所在的簇，当所有的簇中心点都不再更新时，算法停止。优选地，设定所述再分配条件为：式中，S(xk,Oλ+1)表示智能电网量测数据xk与簇中心点Oλ+1之间的相似度，S(xk,Ok0)为智能电网量测数据xk与其所分配的簇中心点之间的相似度；为智能电网量测数据xk所在簇已有的智能电网量测数据个数，ζ为设定的调节系数，ζ的设定取值范围为[0.80,1.0)，NT为设定的个数阈值，用以限制簇规模，为设定的比较取值函数，当时，当时，优选地，异常检测单元对聚类处理后的智能电网量测数据进行异常检测，具体包括：若聚类后存在一个簇的智能电网量测数据个数低于设定的个数阈值，则将该簇视为异常簇，将异常簇中的所有智能电网量测数据视为异常智能电网量测数据。优选地，设智能电网量测数据集X＝)x1,x2,…,xn}，每个智能电网量测数据xi的维数为β，求取智能电网量测数据集X的第α维属性值的均值σα和标准差δα：式中，xiα为智能电网量测数据集X的智能电网量测数据xi的第α维属性值，α＝1,…,β；设定智能电网量测数据xk与簇中心点Ol之间的相似度的计算公式为：式中，S(xk,Ol)表示智能电网量测数据xk与簇中心点Ol之间的相似度，xkα表示智能电网量测数据xk的第α维属性值，Olα表示簇中心点Ol的第α维属性值，min表示取最小值，max表示取最大值，当xk1＝Ol1时，表示第α维属性值的变差系数权值，σγ为智能电网量测数据集X的第γ维属性值的均值，δγ为智能电网量测数据集X的第γ维属性值的标准差，γ＝1,…,β，β为智能电网量测数据的维数。本专利技术的有益效果为：通过设置预处理模块，对数据采集模块采集的智能电网量测数据进行聚类和异常检测处理，提高了智能电网量测数据的质量，将预处理后的智能电网量测数据用于建模分析，大大提高了建模分析的精度和效率。附图说明利用附图对本专利技术作进一步说明，但附图中的实施例不构成对本专利技术的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。图1是本专利技术一个示例性实施例的电网量测数据智能处理系统的结构示意框图；图2是本专利技术一个示例性实施例的预处理模块的结构示意框图。附图标记：数据接入模块1、预处理模块2、分析模块3、聚类处理单元10、异常检测单元20。具体实施方式结合以下实施例对本专利技术作进一步描述。参见图1，本实施例提供的基于大数据技术的电网量测数据智能处理系统，包括依次连接的数据接入模块1、预处理模块2、分析模块3。其中，数据接入模块1用于对接收多个数据采集模块发送的智能电网量测数据，其中数据采集模块用于采集所在监测节点上的智能电网量测数据。其中，预处理模块2用于对数据接入模块1接收的智能电网量测数据进行预处理。其中，分析模块3用于对预处理后的智能电网量测数据进行建模分析处理。在一个实施例中，如图2所示，预处理模块2包括聚类处理单元10、异常检测单元20，聚类处理单元10用于对智能电网量测数据进行聚类处理，异常检测单元20用于对聚类处理后的智能电网量测数据进行异常检测，对检测出的异常智能电网量测数据进行标记，并将所有的智能电网量测数据发送至分析模块3。本专利技术上述实施例通过设置预处理模块，对数据采集模块采集的智能电网量测数据进行聚类和异常检测处理，提高了智能电网量测数据的质量，将预处理后的智能电网量测数据用于建模分析，大大提高了建模分析的精度和效率。在一个实施例中，聚类处理单元10用于对智能电网量测数据进行聚类处理，具体包括：(1)对存在0值或负值的智能电网量测数据进行预处理，将0值或负值替换为预先设定的替代值，提取设定时间段的智能电网量测数据作为一个智能电网量测数据集，设为X；(2)在第一次迭代时，选择智能电网量测数据集X中的第一个未标记的智能电网量测数据作为第一个簇中心点O1，计算其余智能电网量测数据与该簇中心点O1之间的相似度，若智能电网量测数据xi与簇中心点O1之间的相似度大于设定的相似度阈值，则将智能电网量测数据xi分配到该簇中心点O1，并进行标记；(3)令迭代次数λ加1，选择智能电网量测数据集X中的第一个未标记的智能电网量测数据作为另一个簇中心点Oλ+1，计算其余智能电网量测数据与该簇中心点Oλ+1之间的相似度；智能电网量测数据xj未标记时，若智能电网量测数据xj与Oλ+1之间的相似度大于设定的相似本文档来自技高网...

【技术保护点】
1.基于大数据技术的电网量测数据智能处理系统，其特征是，包括依次连接的数据接入模块、预处理模块、分析模块，其中数据接入模块用于接收多个数据采集模块发送的智能电网量测数据，其中数据采集模块用于采集所在监测节点上的智能电网量测数据；所述预处理模块用于对数据接入模块接收的智能电网量测数据进行预处理，预处理模块包括聚类处理单元、异常检测单元，聚类处理单元用于对智能电网量测数据进行聚类处理，异常检测单元用于对聚类处理后的智能电网量测数据进行异常检测，对检测出的异常智能电网量测数据进行标记，并将所有的智能电网量测数据发送至分析模块；所述的分析模块用于对预处理后的智能电网量测数据进行建模分析处理。

【技术特征摘要】
1.基于大数据技术的电网量测数据智能处理系统，其特征是，包括依次连接的数据接入模块、预处理模块、分析模块，其中数据接入模块用于接收多个数据采集模块发送的智能电网量测数据，其中数据采集模块用于采集所在监测节点上的智能电网量测数据；所述预处理模块用于对数据接入模块接收的智能电网量测数据进行预处理，预处理模块包括聚类处理单元、异常检测单元，聚类处理单元用于对智能电网量测数据进行聚类处理，异常检测单元用于对聚类处理后的智能电网量测数据进行异常检测，对检测出的异常智能电网量测数据进行标记，并将所有的智能电网量测数据发送至分析模块；所述的分析模块用于对预处理后的智能电网量测数据进行建模分析处理。2.根据权利要求1所述的基于大数据技术的电网量测数据智能处理系统，其特征是，聚类处理单元对智能电网量测数据进行聚类处理，具体包括：(1)对存在0值或负值的智能电网量测数据进行预处理，将0值或负值替换为预先设定的替代值，提取设定时间段的智能电网量测数据作为一个智能电网量测数据集，设为X；(2)在第一次迭代时，选择智能电网量测数据集X中的第一个未标记的智能电网量测数据作为第一个簇中心点O1，计算其余智能电网量测数据与该簇中心点O1之间的相似度，若智能电网量测数据xi与簇中心点O1之间的相似度大于设定的相似度阈值，则将智能电网量测数据xi分配到该簇中心点O1，并进行标记；(3)令迭代次数λ加1，选择智能电网量测数据集X中的第一个未标记的智能电网量测数据作为另一个簇中心点Oλ+1，计算其余智能电网量测数据与该簇中心点Oλ+1之间的相似度；智能电网量测数据xj未标记时，若智能电网量测数据xj与Oλ+1之间的相似度大于设定的相似度阈值，则将智能电网量测数据xj分配到该簇中心点Oλ+1，并进行标记；智能电网量测数据xj已标记时，当智能电网量测数据xj与Oλ+1之间的相似度大于设定的相似度阈值并且满足再分配条件时，将智能电网量测数据xj分配到该簇中心点Oλ+1，其余情况不对已标记的智能电网量测数据xj作任何操作；(4)重复(3)直至迭代次数...

【专利技术属性】
技术研发人员：李健斌，
申请(专利权)人：深圳众厉电力科技有限公司，
类型：发明
国别省市：广东,44