一种快速筛选大规模过程数据中的稳态工况数据的方法技术

本发明专利技术公开了一种快速筛选大规模过程数据中的稳态工况数据的方法，包括：A、稳态数据筛选的初始化处理；B、滑动窗口由数据起点向终点移动，每移动一次，会有一个新数据点进入滑动窗口，同时将原滑动窗口内数据的起始点舍弃，计算新的滑动窗口内数据的均值和标准差；C、将所述新的滑动窗口内所含n个数据的标准差与标准差阈值δy进行比较，根据比较结果进行对应的筛选操作；D、对所选稳态数据段两端的数据进行剔除，提高数据稳态值的计算准确度。本发明专利技术能够改进现有技术的不足，提高了大规模过程数据的筛选速度。

A method for rapidly screening steady state data in large-scale process data

The invention discloses a method for rapid screening of the steady state mass data in process data include: initialization processing A, steady-state data screening; B, from the starting point to the end point of sliding window data of mobile, mobile per time, there will be a new data point into the sliding window, and the starting point of the original sliding data in the window to give up, calculating the mean and standard data within the new sliding window; C, the new sliding window is contained within the N data standard deviation and standard deviation threshold delta y, according to the comparison results of the screening operation; D, data on the selected static data segment both ends are removed, improve the calculation accuracy of the steady-state value of data. The invention can improve the deficiency of the prior art and improve the screening speed of large-scale process data.

【技术实现步骤摘要】
一种快速筛选大规模过程数据中的稳态工况数据的方法
本专利技术涉及过程数据挖掘
，尤其是一种快速筛选大规模过程数据中的稳态工况数据的方法。
技术介绍
在过程数据模型辨识、系统稳定工况的参数判定等过程中，都需要应用过程数据中的稳态工况数据，对于大量的过程数据而言，人工筛选耗时费力。滑动窗口是一种通用性的数据统计处理方法，即通过一个固定长度的窗口对数据进行遍历处理。例如中国专利技术专利CN103679218B公开的一种手写体关键词检测方法，通过使用滑动窗口对待检测文本图像的特征点进行提取，进而与关键词特征库对比。但是现有技术中所使用的滑动窗口方法由于处理方法复杂，无法适应大数据量的快速处理。
技术实现思路
本专利技术要解决的技术问题是提供一种快速筛选大规模过程数据中的稳态工况数据的方法，能够解决现有技术的不足，提高了大规模过程数据的筛选速度。为解决上述技术问题，本专利技术所采取的技术方案如下。一种快速筛选大规模过程数据中的稳态工况数据的方法，包括以下步骤：A、稳态数据筛选的初始化处理，对需要进行稳态工况数据筛选的数据段进行数据滤波，选取长度为n的存储空间作为滑动窗口，所述存储空间为判断所述过程数据段稳定的最小单元，其中n表示所述滑动窗口中包含数据的个数，根据包含n个数据的滑动窗口中的单个数据允许偏差值α，计算所述滑动窗口中n个数据的标准偏差的阈值δy；计算数据段起始位置的n个数据的均值，作为滑动窗口均值的初值计算数据段起始位置的n个数据的标准差，作为滑动窗口标准差的初值σ1B、滑动窗口由数据起点向终点移动，每移动一次，会有一个新数据点进入滑动窗口，同时将原滑动窗口内数据的起始点舍弃，计算新的滑动窗口内数据的均值和标准差；C、将所述新的滑动窗口内所含n个数据的标准差与标准差阈值δy进行比较，若其小于所述标准差阈值δy，则将新加入的数据计入稳态数据；若其大于所述标准差阈值δy，对于新的滑动窗口，则新的滑动窗口内所含第n个数据赋0；若对于初始的滑动窗口其标准差大于所述标准差阈值δy，则初始的滑动窗口内所含n个数据全部赋0；设需要进行筛选的原始数据长度为N，则直至所述滑动窗口的起点移动至N-n+1后，筛选过程结束；D、对所选稳态数据段两端的数据进行剔除，提高数据稳态值的计算准确度。作为优选，步骤A中，标准差的阈值δy的计算方法为，作为优选，步骤A中，滑动窗口均值的初值的计算方法为，作为优选，：步骤A中，滑动窗口标准差的初值σ1的计算方法为，其中，diff1为初始时刻的方差。作为优选，步骤B中，新的滑动窗口内数据均值的计算方法为，设此时滑动窗口起点所处位置为k，此时窗口内数据的均值为则有当滑动窗口移动至k+1时刻时，新的滑动窗口内n个数据的均值为，作为优选，步骤B中，新的滑动窗口内数据标准差的计算方法为，k时刻的方差diff值为，则有对公式(6)进行展开可得如下公式，同理，当滑动窗口移动至k+1时刻时，有如下公式，比较公式(7)与公式(8)可得，将公式(3)所得方差diff1的值带入公式(9)，得到方差diffk+1，从而得到k+1时刻的滑动窗口内的数据标准差σk+1，作为优选，步骤C中，稳态数据具体遵循以下原则进行数据存储：当滑动窗口由k＝1开始，逐步移动到k＝N-n+1，需要进行筛选的原始数据长度为N；1)当k＝1时，对应滑动窗口的数据为y(1)到y(n)，对n个数据按如下方法进行处理：当σ1＜δy时，当σ1＞δy时，其中，ste表示用于稳态数据存储的稳态数据段，ste(n)表示稳态数据段ste中的第n个；2)当k＞1时，对应滑动窗口数据为y(k)到y(k+n-1)，对n个数据按如下方法进行处理：当σk＜δy且ste(k-1)＝0时，当σk＜δv且ste(k-1)≠0时，ste(k+n-1)＝y(k+n-1)(14)当σk＞δy时，ste(k+n-1)＝0(15)；所述滑动窗口每次移动经过以上两步判断后，最终将所有满足要求的稳态数据存储到稳态数据段ste中。作为优选，步骤D中，设稳态数据段的起始位置为p，结束位置为q，采用滑动窗口移动的方法，具体剔除过程为，1)计算起点在p点和q-n+1点处滑动窗口内n个数据的均值为：其中，表示稳态数据段中起点在p点处滑动窗口内n个数据的均值；表示稳态数据段中起点在q-n+1点处滑动窗口内n个数据的均值；2)设滑动窗口移动过程中，相邻滑动窗口间允许的滑动窗口内数据均值的最大变化量为滑动窗口由p点开始移动，计算滑动窗口内的数据均值的方法为，对公式(21)计算得到的数据均值进行比较判断：当时，ste(p+k-1)＝0(18)当时，则结束，滑动窗口不再移动；3)滑动窗口由q点反向移动，计算滑动窗口内的数据均值的方法为，对公式(19)计算得到的数据均值进行比较判断：当时，ste(q-k)＝0(20)当时，则结束，滑动窗口不再移动。采用上述技术方案所带来的有益效果在于：本方法针对数据处理量很大时，由于计算量很大，筛选过程会变慢的问题进行设计，改进了大量数据串行处理过程的计算方法，降低了数据处理的计算量，从而使得该筛选方法在处理大量过程数据时同样具有很快的筛选速度。附图说明图1为稳态数据筛选过程示意图。图2为稳态数据筛选结果。图3为剔除稳态数据段两端部分数据后的筛选结果。其中，矩形框表示滑动窗口。具体实施方式实施例1一种快速筛选大规模过程数据中的稳态工况数据的方法，包括以下步骤：A、稳态数据筛选的初始化处理，对需要进行稳态工况数据筛选的数据段进行数据滤波，根据选取数据的用途选取长度为n的存储空间作为滑动窗口，所述存储空间为判断所述过程数据段稳定的最小单元，其中n表示所述滑动窗口中包含数据的个数，根据包含n个数据的滑动窗口中的单个数据允许偏差值α，计算所述滑动窗口中n个数据的标准偏差的阈值δy；计算数据段起始位置的n个数据的均值，作为滑动窗口均值的初值计算数据段起始位置的n个数据的标准差，作为滑动窗口标准差的初值σ1B、滑动窗口由数据起点向终点移动，每移动一次，会有一个新数据点进入滑动窗口，同时将原滑动窗口内数据的起始点舍弃，计算新的滑动窗口内数据的均值和标准差；C、将所述新的滑动窗口内所含n个数据的标准差与标准差阈值δy进行比较，若其小于所述标准差阈值δy，则将新加入的数据计入稳态数据；若其大于所述标准差阈值δy，对于新的滑动窗口，则新的滑动窗口内所含第n个数据赋0；若对于初始的滑动窗口其标准差大于所述标准差阈值δv，则初始的滑动窗口内所含n个数据全部赋0；设需要进行筛选的原始数据长度为N，则直至所述滑动窗口的起点移动至N-n+1后，筛选过程结束；D、对所选稳态数据段两端的数据进行剔除，提高数据稳态值的计算准确度。步骤A中，标准差的阈值δy的计算方法为，步骤A中，滑动窗口均值的初值y1的计算方法为，步骤A中，滑动窗口标准差的初值σ1的计算方法为，其中，diff1为初始时刻的方差。步骤B中，新的滑动窗口内数据均值的计算方法为，设此时滑动窗口起点所处位置为k，此时窗口内数据的均值为则有当滑动窗口移动至k+1时刻时，新的滑动窗口内n个数据的均值为，步骤B中，新的滑动窗口内数据标准差的计算方法为，k时刻的方差diff值为，则有对公式(6)进行展开可得如下公式，同理，当滑动窗口移动至k+1时刻时，有如本文档来自技高网...

【技术保护点】
一种快速筛选大规模过程数据中的稳态工况数据的方法，其特征在于包括以下步骤：A、稳态数据筛选的初始化处理，对需要进行稳态工况数据筛选的数据段进行数据滤波，选取长度为n的存储空间作为滑动窗口，所述存储空间为判断所述过程数据段稳定的最小单元，其中n表示所述滑动窗口中包含数据的个数，根据包含n个数据的滑动窗口中的单个数据允许偏差值α，计算所述滑动窗口中n个数据的标准偏差的阈值δy；计算数据段起始位置的n个数据的均值，作为滑动窗口均值的初值

【技术特征摘要】
1.一种快速筛选大规模过程数据中的稳态工况数据的方法，其特征在于包括以下步骤：A、稳态数据筛选的初始化处理，对需要进行稳态工况数据筛选的数据段进行数据滤波，选取长度为n的存储空间作为滑动窗口，所述存储空间为判断所述过程数据段稳定的最小单元，其中n表示所述滑动窗口中包含数据的个数，根据包含n个数据的滑动窗口中的单个数据允许偏差值α，计算所述滑动窗口中n个数据的标准偏差的阈值δy；计算数据段起始位置的n个数据的均值，作为滑动窗口均值的初值计算数据段起始位置的n个数据的标准差，作为滑动窗口标准差的初值σ1B、滑动窗口由数据起点向终点移动，每移动一次，会有一个新数据点进入滑动窗口，同时将原滑动窗口内数据的起始点舍弃，计算新的滑动窗口内数据的均值和标准差；C、将所述新的滑动窗口内所含n个数据的标准差与标准差阈值δy进行比较，若其小于所述标准差阈值δy，则将新加入的数据计入稳态数据；若其大于所述标准差阈值δy，对于新的滑动窗口，则新的滑动窗口内所含第n个数据赋0；若对于初始的滑动窗口其标准差大于所述标准差阈值δy，则初始的滑动窗口内所含n个数据全部赋0；设需要进行筛选的原始数据长度为N，则直至所述滑动窗口的起点移动至N-n+1后，筛选过程结束；D、对所选稳态数据段两端的数据进行剔除，提高数据稳态值的计算准确度。2.根据权利要求1所述的快速筛选大规模过程数据中的稳态工况数据的方法，其特征在于：步骤A中，标准差的阈值δy的计算方法为，3.根据权利要求2所述的快速筛选大规模过程数据中的稳态工况数据的方法，其特征在于：步骤A中，滑动窗口均值的初值的计算方法为，4.根据权利要求3所述的快速筛选大规模过程数据中的稳态工况数据的方法，其特征在于：步骤A中，滑动窗口标准差的初值σ1的计算方法为，其中，diff1为初始时刻的方差。5.根据权利要求4所述的快速筛选大规模过程数据中的稳态工况数据的方法，其特征在于：步骤B中，新的滑动窗口内数据均值的计算方法为，设此时滑动窗口起点所处位置为k，此时窗口内数据的均值为则有当滑动窗口移动至k+1时刻时，新的滑动窗口内n个数据的均值为，6.根据权利要求5所述的快速筛选大规模过程数据中的稳态工况数据的方法，其特征在于：步骤B中，新的滑动窗口内数据标准差的计算方法为，k时刻的方差diff值为，则有对公式(6)进行展开可得如下公式，

【专利技术属性】
技术研发人员：董泽，尹二新，
申请(专利权)人：华北电力大学保定，
类型：发明
国别省市：河北,13