【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种基于自适应滤波的数据高效处理方法。
技术介绍
1、在数据处理领域，特别是涉及时序数据的处理中，噪声滤波是一项关键任务，当需要对时序数据进行异常数据检测时，噪声可以模糊异常数据的特征，使时序数据中的噪声和异常数据更难以区分。当噪声水平较高时，可能会导致异常检测算法错误地将噪声误认为异常数据，从而增加了误报率，降低了异常检测的准确性，因此，在对时序数据进行异常数据检测之前，需要进行自适应滤波去噪处理。
2、现有技术中，通常使用传统滤波去噪对于时序数据进行自适应滤波去噪处理，在传统滤波去噪时，常采用固定的滤波核进行去噪处理，例如传统去噪采用滑动平均法进行去噪处理，选择固定大小的滑动窗口求平均，得到平滑后的值。但由于噪声和异常数据混杂在一起，传统的滑动平均法可能会将异常数据视为噪声而进行平滑处理，导致异常数据丢失或者在去噪过程中被平滑成与周围数据相似的值，从而失去了异常的特征；其次，为了去除噪声，滑动平均法会对整个时序数据进行平滑处理，这可能导致对异常数据的过度平滑，使得异常数据与正常数据之间的差异被模糊化，从而导致异常数据的特征丧失，使得异常数据的检测和识别变得困难。
3、因此，如何提高对时序数据进行自适应滤波的去噪效果，从而提高异常数据的识别精度成为亟需解决的问题。
技术实现思路
1、有鉴于此，本专利技术实施例提供了一种基于自适应滤波的数据高效处理方法，以解决如何提高对时序数据进行自适应滤波的去噪效果，从而提高异常数据的识别精
2、本专利技术实施例中提供了一种基于自适应滤波的数据高效处理方法，该数据高效处理方法包括以下步骤：
3、获取任一设备的任一传感器时序数据；
4、利用孤立森林模型对所述传感器时序数据进行异常检测，得到所述传感器时序数据中的每个数据点的异常分数值，根据所述每个数据点的异常分数值，获取所述传感器时序数据中的至少一个标记数据点；
5、针对任一标记数据点，根据所述标记数据点的异常分数值，获取所述标记数据点的初始滑动平均去噪窗口大小，在所述传感器时序数据中获取所述标记数据点的关联数据子序列，根据所述关联数据子序列中的数据变化，获取所述标记数据点的噪声程度；
6、根据所述关联数据子序列中的各个数据之间的差异以及所述标记数据点的初始滑动平均去噪窗口大小，获取所述标记数据点的窗口变化系数，根据所述标记数据点的噪声程度和窗口变化系数，获取所述标记数据点的最终滑动平均去噪窗口大小；
7、根据所述传感器时序数据中的每个标记数据点的最终滑动平均去噪窗口大小，对所述传感器时序数据进行滑动平均去噪，得到去噪后的传感器时序数据，对所述去噪后的传感器时序数据进行异常数据检测。
8、优选的，所述根据所述标记数据点的异常分数值，获取所述标记数据点的初始滑动平均去噪窗口大小，包括：
9、根据所述传感器时序数据的采样频率，获取相同采样频率下的滑动平均去噪窗口大小的历史最大值和历史最小值，计算所述历史最大值与所述历史最小值的差值；
10、获取所述标记数据点的异常分数值与所述差值的乘积，将所述乘积的向下取整结果与所述历史最小值的和作为所述标记数据点的初始滑动平均去噪窗口大小。
11、优选的，所述根据所述每个数据点的异常分数值，获取所述传感器时序数据中的至少一个标记数据点，包括：
12、获取预设的异常分数阈值，若所述传感器时序数据中的任一数据点的异常分数值大于所述异常分数阈值，则确定所述数据点为标记数据点。
13、优选的，所述在所述传感器时序数据中获取所述标记数据点的关联数据子序列，包括：
14、在所述传感器时序数据中以所述标记数据点为关联窗口中心点，将预设尺寸的关联窗口中的所有数据点组成标记数据点的关联数据子序列。
15、优选的，所述根据所述关联数据子序列中的数据变化，获取所述标记数据点的噪声程度，包括：
16、获取所述关联数据子序列中除去所述标记数据点之外的所有数据点的第一方差，获取所述关联数据子序列中所有数据点的第二方差，计算所述第一方差和所述第二方差之间的差值绝对值；
17、将所述第一方差的相反数代入以自然常数e为底数的指数函数中，得到对应的指数函数结果，将所述指数函数结果与所述差值绝对值之间的乘积作为所述标记数据点的噪声程度。
18、优选的，所述根据所述关联数据子序列中的各个数据之间的差异以及所述标记数据点的初始滑动平均去噪窗口大小，获取所述标记数据点的窗口变化系数，包括：
19、获取所述关联数据子序列中的所有数据点的数据均值，将所述标记数据点与所述数据均值之间的差值绝对值记为所述标记数据点的振幅值；
20、对所述关联数据子序列进行一阶差分处理，得到对应的差值序列，将所述差值序列中的所有差值的方差值记为所述标记数据点的目标方差，获取所述标记数据点的振幅值和目标方差之间的第一相乘结果；
21、在所述传感器时序数据中的每个标记数据点的振幅值和目标方差中，获取最大振幅值和最大目标方差，获取所述最大振幅值和所述最大目标方差之间的第二相乘结果；
22、计算所述第一相乘结果和所述第二相乘结果之间的比值，获取所述标记数据点的初始滑动平均去噪窗口大小与所述历史最小值之间的相减结果，将所述比值与所述相减结果之间的乘积作为所述标记数据点的窗口变化系数。
23、优选的，所述根据所述标记数据点的噪声程度和窗口变化系数，获取所述标记数据点的最终滑动平均去噪窗口大小，包括：
24、对所述标记数据点的噪声程度的相反数代入以自然常数e为底数的指数函数中，得到对应的指数函数值，获取所述指数函数值与所述窗口变化系数之间的第一乘积，将所述历史最小值与所述第一乘积的和作为所述标记数据点的最终滑动平均去噪窗口大小。
25、优选的，所述对所述去噪后的传感器时序数据进行异常数据检测，包括：
26、将所述去噪后的传感器时序数据输入所述孤立森林模型中，得到所述去噪后的传感器时序数据中的异常数据。
27、本专利技术实施例与现有技术相比存在的有益效果是：
28、本专利技术获取任一设备的任一传感器时序数据；利用孤立森林模型对所述传感器时序数据进行异常检测，得到所述传感器时序数据中的每个数据点的异常分数值，根据所述每个数据点的异常分数值，获取所述传感器时序数据中的至少一个标记数据点；针对任一标记数据点，根据所述标记数据点的异常分数值，获取所述标记数据点的初始滑动平均去噪窗口大小，在所述传感器时序数据中获取所述标记数据点的关联数据子序列，根据所述关联数据子序列中的数据变化，获取所述标记数据点的噪声程度；根据所述关联数据子序列中的各个数据之间的差异以及所述标记数据点的初始滑动平均去噪窗口大小，获取所述标记数据点的窗口变化系数，根据所述标记数据点的噪声程度和窗口变化系数，获取所述标记数据点的最终滑动平均去噪窗口大小；根据所本文档来自技高网...
【技术保护点】
1.一种基于自适应滤波的数据高效处理方法，其特征在于，所述数据高效处理方法包括：
2.根据权利要求1所述的数据高效处理方法，其特征在于，所述根据所述标记数据点的异常分数值，获取所述标记数据点的初始滑动平均去噪窗口大小，包括：
3.根据权利要求1所述的数据高效处理方法，其特征在于，所述根据所述每个数据点的异常分数值，获取所述传感器时序数据中的至少一个标记数据点，包括：
4.根据权利要求1所述的数据高效处理方法，其特征在于，所述在所述传感器时序数据中获取所述标记数据点的关联数据子序列，包括：
5.根据权利要求1所述的数据高效处理方法，其特征在于，所述根据所述关联数据子序列中的数据变化，获取所述标记数据点的噪声程度，包括：
6.根据权利要求2所述的数据高效处理方法，其特征在于，所述根据所述关联数据子序列中的各个数据之间的差异以及所述标记数据点的初始滑动平均去噪窗口大小，获取所述标记数据点的窗口变化系数，包括：
7.根据权利要求2所述的数据高效处理方法，其特征在于，所述根据所述标记数据点的噪声程度和窗口变化系数，获取
8.根据权利要求1所述的数据高效处理方法，其特征在于，所述对所述去噪后的传感器时序数据进行异常数据检测，包括：
...【技术特征摘要】
1.一种基于自适应滤波的数据高效处理方法，其特征在于，所述数据高效处理方法包括：
2.根据权利要求1所述的数据高效处理方法，其特征在于，所述根据所述标记数据点的异常分数值，获取所述标记数据点的初始滑动平均去噪窗口大小，包括：
3.根据权利要求1所述的数据高效处理方法，其特征在于，所述根据所述每个数据点的异常分数值，获取所述传感器时序数据中的至少一个标记数据点，包括：
4.根据权利要求1所述的数据高效处理方法，其特征在于，所述在所述传感器时序数据中获取所述标记数据点的关联数据子序列，包括：
5.根据权利要求1所述的数据高效处理方法，...
【专利技术属性】
技术研发人员：马永财，贾斌，魏雪，纪军，
申请(专利权)人：山东泰霖信息工程有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。