一种基于关联规则的电网设备数据流清洗方法技术

本发明专利技术公开了一种基于关联规则的电网设备数据流清洗方法，包括以下步骤：通过利用Apriorri算法对数据流中各个数据序列的历史数据，进行关联强度的计算，并输出不同数据序列间的关联关系；利用基于滑动时间窗口的异常数据筛选算法对关联强度较弱的数据序列，进行逐一检测；对于关联程度较高的数据序列在同一时刻做异常数据辨识处理；将多种小波基函数的神经网络应用到数据清洗中，完成组合预测。本发明专利技术的数据流清洗方法对电网设备风险的评估准确，数据稳定可靠。

A Data Flow Cleaning Method for Power Network Equipment Based on Association Rules

【技术实现步骤摘要】
一种基于关联规则的电网设备数据流清洗方法
本专利技术涉及电网设备的数据处理，具体涉及一种基于关联规则的电网设备数据流清洗方法。
技术介绍
目前，电力系统中针对电网设备的在线数据流清洗一直是电力系统状态估计的重要功能之一，并且数据中不良数据的存在导致无法对电网设备实现准确有效的监测。然而在对电网设备进行在线数据监测时有可能出现数据采集设备异常，操作失误或者数据传输通道阻塞等原因，导致误差较大的不良数据出现。因为，由上述原因形成的不良数据的出现，使得对电网设备风险的评估发生较大的偏差，进而增加了电网维护、检修与调度工作的复杂度与经济成本，因此影响了整个电力系统安全稳定的运行。
技术实现思路
本专利技术的主要目的在于提供一种基于关联规则的电网设备数据流清洗方法。本专利技术采用的技术方案是：一种基于关联规则的电网设备数据流清洗方法，包括以下步骤：S1，通过利用Apriorri算法对数据流中各个数据序列的历史数据，进行关联强度的计算，并输出不同数据序列间的关联关系；S2，利用基于滑动时间窗口的异常数据筛选算法对关联强度较弱的数据序列，进行逐一检测，若发现数据序列中的存在异常点，则利用小波神经网络进行数据清洗；S3，对于关联程度较高的数据序列在同一时刻做异常数据辨识处理；S4，将多种小波基函数的神经网络应用到数据清洗中，完成组合预测。进一步地，所述步骤S1中具体包括：将数据序列符号化，划分成若干个子序列；通过Apriorri算法发现项集中置信度小于阈值的规则；设数据序列A与数据序列B，其中存在n条关联规则符合最小支持度，则数据序列间的关联度为：（3-3）置信度为：（3-4）进而得出不同数据序列间的关联关系，以找出关联强度较高的数据序列。更进一步地，所述步骤S2中对数据序列中异常点的判断步骤如下：S21，选则一段时间的数据序列，在开始点设置窗口大小为的滑动窗口；S22，弱数据点的值大于电气参数中规定的极限值，则将此数据点加入异常数据集D；S23，计算滑动窗口内各个数据点到空间中心的平均距离为：（3-5）式中时刻的数据点到数据点空间中心的距离；S24，计算，由公式（3-6）：（3-6）从而计算出预测的位于均值附近的值为：（3-7）；S25，将阈值利用来表示，当时，使滑动时间窗口继续向后运行一个数据点；当时，则将时刻的数据点加入到异常数据集D，并通过来替换时刻的数据到空间中心的；S26，重复执行步骤S22至S25，直至所有时间序列遍历结束，并输出含有时刻标记的异常集D；其中时间序列为根据时间和其记录值组成的元素，并对此元素在集合中进行有序排列，其表示为;表示数据序列中间隔为w的滑动时间窗口，其中t与w的量纲一致，并且；表示滑动时间窗口内的各个数据点，取待识别的数据点为t时刻的。更进一步地，所述步骤S3具体为：对于关联程度较高的数据序列在同一时刻做异常数据辨识处理，如果两个或者多个关联性较强的数据序列在相近时刻出现了异常数据，将此按由设备异常所引起的异常数据来进行处理；如果关联性较强的多个序列中仅仅单个数据序列出现了个别的异常，将通过小波神经网络对其关联的数据序列进行数据预测，得出其实际值与预测之间的差异；如果差异过大，则认为设备异常，否则认为采集设备波动。更进一步地，所述步骤S4中的小波基函数包括：小波基函数、小波基函数、小波基函数。更进一步地，所述小波基函数为：（3-17）所述小波基函数为：（3-18）所述小波基函数为：（3-19）预测偏差为：（3-10）式中—期望的输出；—神经网络预测的输出；当输入信号序列为时，隐藏层输出公式为：（3-8）式中—隐藏层第j个节点输出值；—输入层与隐藏层的连接权值；—小波基函数的平移因子；—小波基函数的缩进因子；—小波基函数；小波神经网络输出层计算公式为：（3-9）式中—输入层与隐藏层的连接权值；—隐藏层第j个节点输出值；—隐藏层节点；利用分别含有3种小波基函数神经网络的分析结果、与，其组合预测公式如下：（3-20）设存在异常点，则第异常数据的实际测量值为，小波神经网络对此时刻的预测值为，那么预测偏差为，总体误差为，则：（3-21）（3-22）。本专利技术的优点：本专利技术的一种基于关联规则和改进后小波神经网络的大数据流清洗方法，通过对数据序列间关联强度的分析，结合基于滑动窗口的异常数据筛选原理，来对异常数据的形成原因进行甄别。并通过优化小波神经网络参数的方式改进小波神经网络，并采用优化后的小波神经网络对由采集装置波动而形成的不良数据进行清洗，进而完成对电网设备数据流的实时清洗。对电网设备风险的评估准确，数据稳定可靠。除了上面所描述的目的、特征和优点之外，本专利技术还有其它的目的、特征和优点。下面将参照图，对本专利技术作进一步详细的说明。附图说明构成本申请的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。图1是本专利技术的数据流清洗方法流程图；图2是本专利技术的算法流程图；图3是本专利技术的小波神经网络拓扑结构图；图4是本专利技术的三种神经网络分析结果图；图5是本专利技术的原始序列和3种小波基神经网络组合分析后序列图图6是本专利技术的乙烯产气率和油温原始数据图；图7是本专利技术的第2组待测数据关联序列异常点图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。由各个电网设备在线监测数据序列集合而形成的数据流，其中的异常数据产生原因可以划分为两个类别：由采集设备异常产生的不良数据，或者由电网设备故障而形成的异常数据。本专利技术主要对由采集设备异常形成的不良数据进行甄别与清洗，并对设备异常数据进行保留。参考图1，如图1所示，一种基于关联规则的电网设备数据流清洗方法，包括以下步骤：S1，通过利用Apriorri算法对数据流中各个数据序列的历史数据，进行关联强度的计算，并输出不同数据序列间的关联关系；S2，利用基于滑动时间窗口的异常数据筛选算法对关联强度较弱的数据序列，进行逐一检测，若发现数据序列中的存在异常点，则利用小波神经网络进行数据清洗；S3，对于关联程度较高的数据序列在同一时刻做异常数据辨识处理；S4，将多种小波基函数的神经网络应用到数据清洗中，完成组合预测。所述步骤S1中具体包括：将数据序列符号化，划分成若干个子序列；通过Apriorri算法发现项集中置信度小于阈值的规则；设数据序列A与数据序列B，其中存在n条关联规则符合最小支持度，则数据序列间的关联度为：（3-3）置信度为：（3-4）进而得出不同数据序列间的关联关系，以找出关联强度较高的数据序列。数据序列间的关联强度的作用是为表示不同数据序列间的关联关系，同时，置信度的作用是为表示这一关联关系的可信度。不同数据序列间的关联性越强，则说明其关系十分紧密。不同数据序列间的置信度越高，则其关联强度就愈加可信。在分析电网设备在线监测数据流中不同数据序列时，若干两个数据序列间的最小支持度与置信度大于设定的最小值，则我们在后续的数据清洗过程中，需要考虑它们之间的关联关系，反之则认为两个数据序列间不具有关联性。参考一般关联规则，本专利技术将最小支关联度与置信度的阈值均设为。所述步骤S2中对数据序列中异本文档来自技高网...

【技术保护点】
1.一种基于关联规则的电网设备数据流清洗方法，其特征在于，包括以下步骤：S1，通过利用Apriorri算法对数据流中各个数据序列的历史数据，进行关联强度的计算，并输出不同数据序列间的关联关系；S2，利用基于滑动时间窗口的异常数据筛选算法对关联强度较弱的数据序列，进行逐一检测，若发现数据序列中的存在异常点，则利用小波神经网络进行数据清洗；S3，对于关联程度较高的数据序列在同一时刻做异常数据辨识处理；S4，将多种小波基函数的神经网络应用到数据清洗中，完成组合预测。

【技术特征摘要】
1.一种基于关联规则的电网设备数据流清洗方法，其特征在于，包括以下步骤：S1，通过利用Apriorri算法对数据流中各个数据序列的历史数据，进行关联强度的计算，并输出不同数据序列间的关联关系；S2，利用基于滑动时间窗口的异常数据筛选算法对关联强度较弱的数据序列，进行逐一检测，若发现数据序列中的存在异常点，则利用小波神经网络进行数据清洗；S3，对于关联程度较高的数据序列在同一时刻做异常数据辨识处理；S4，将多种小波基函数的神经网络应用到数据清洗中，完成组合预测。2.根据权利要求1所述的基于关联规则的电网设备数据流清洗方法，其特征在于，所述步骤S1中具体包括：将数据序列符号化，划分成若干个子序列；通过Apriorri算法发现项集中置信度小于阈值的规则；设数据序列A与数据序列B，其中存在n条关联规则符合最小支持度，则数据序列间的关联度为：（3-3）置信度为：（3-4）进而得出不同数据序列间的关联关系，以找出关联强度较高的数据序列。3.根据权利要求1所述的基于关联规则的电网设备数据流清洗方法，其特征在于，所述步骤S2中对数据序列中异常点的判断步骤如下：S21，选则一段时间的数据序列，在开始点设置窗口大小为的滑动窗口；S22，弱数据点的值大于电气参数中规定的极限值，则将此数据点加入异常数据集D；S23，计算滑动窗口内各个数据点到空间中心的平均距离为：（3-5）式中时刻的数据点到数据点空间中心的距离；S24，计算，由公式（3-6）：（3-6）从而计算出预测的位于均值附近的值为：（3-7）；S25，将阈值利用来表示，当时，使滑动时间窗口继续向后运行一个数据点；当时，则将时刻的数据点加入到异常数据集D，并通过来替换时刻的数据到空间中心的；S26，重复执行步骤S22至S25，直至所有时间序列遍历结束，并输出含有时刻标记的异...

【专利技术属性】
技术研发人员：娄建楼，王磊，时丹丹，曲朝阳，张鹏，梁丰，
申请(专利权)人：东北电力大学，
类型：发明
国别省市：吉林,22