一种改善时序数据质量和预警的方法及装置制造方法及图纸

技术编号:22330033 阅读:52 留言:0更新日期:2019-10-19 12:15
本发明专利技术公开了一种改善时序数据质量和预警的方法及装置,包括:对原始的时间序列数据进行数据清洗;对数据清洗后的时间序列数据进行小波变换;对小波变换后的时间序列数据进行数据滤波,得到滤波时间序列;当检测所述滤波时间序列中的数据超过第一阈值且数据保持超过第一阈值的时长超过第一时间阈值时,则记录为一次预警预兆信号;在第二时间阈值内,记录了超过N次预警预兆信号时,发出预警信号。本发明专利技术对时间序列数据进行去噪,同时降低去噪过程中失真情况,提高时间序列数据的质量,通过设置阈值判断预警预兆信号,根据检测情况发出预警信号。

A method and device for improving time series data quality and early warning

【技术实现步骤摘要】
一种改善时序数据质量和预警的方法及装置
本专利技术涉及数据处理
,更具体地说涉及一种改善时序数据质量和预警的方法及装置。
技术介绍
近几年随着科技的发展,出现了越来越多的以时间和空间为维度的数据。例如在生物医学方面,基因数据就是以空间为维度的数据,针对基因数据的异常检测可以发现疾病;在金融方面,持卡人的消费记录就是以时间为维度的数据,通过检测持卡人的消费记录所对应的时间序列数据,可以找到异常持卡人;在工业方面,温度传感器、压力传感器等的数据都是以时间和空间为维度的数据。这些时间序列数据中蕴含了大量的信息,但时间序列数据中存在许多噪声,对时间序列数据进行数据挖掘之前需要对时间序列数据进行预处理,提高时间序列数据的质量,不然时间序列数据中的噪音严重影响了进一步地分析和处理,同时对数据进行判断是不准确的。但现有技术中时间序列数据预处理方法通常是不彻底的,这会影响后续的数据挖掘效果。
技术实现思路
本专利技术提供一种改善时序数据质量和预警的方法及装置,提高时间序列数据的质量和发出预警。本专利技术解决其技术问题的解决方案是:一种改善时序数据质量和预警的方法,其特征在于,包括:对原始的时间序列数据进行数据清洗;对数据清洗后的时间序列数据进行小波变换;对小波变换后的时间序列数据进行数据滤波,得到滤波时间序列;当检测到所述滤波时间序列中的数据超过第一阈值且数据保持超过第一阈值的时长超过第一时间阈值时,则记录为一次预警预兆信号;在第二时间阈值内,记录了超过N次预警预兆信号时,发出预警信号。作为上述技术方案的进一步改进,所述对原始的时间序列数据进行数据清洗的过程包括:对原始的时间序列数据中的脏数据进行去除,所述脏数据包括缺失值和异常值。作为上述技术方案的进一步改进,所述对原始的时间序列数据中的脏数据进行去除的过程包括:对所述缺失值进行均值填补;利用单变量的散点图对所述异常值进行初步判断,再利用统计学3σ法原则进行述异常值的排查,先采用零值替换法剔除异常值,然后利用均值填补。作为上述技术方案的进一步改进,对小波变换后的时间序列数据进行数据滤波的过程包括:对小波变换后的时间序列数据进行卡尔曼滤波。一种改善时序数据质量和预警的装置,包括:数据采集模块,用于监测和采集时间序列数据,并将采集得到的时间序列数据发送到处理模块;处理模块,用于对数据采集模块采集得到的时间序列数据进行处理,检测预警预兆信号,控制预警模块发出预警信号;预警模块,当数据处理模块检测在第二时间阈值内记录了超过N次预警预兆信号时,控制预警模块发出预警信号;所述处理模块分别与数据采集模块和预警模块相连接。本专利技术的有益效果是:本专利技术对时间序列数据进行去噪,同时降低去噪过程中失真情况,提高时间序列数据的质量,通过设置阈值判断预警预兆信号,根据检测情况发出预警信号。附图说明为了更清楚地说明本专利技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单说明。显然,所描述的附图只是本专利技术的一部分实施例,而不是全部实施例,本领域的技术人员在不付出创造性劳动的前提下,还可以根据这些附图获得其他设计方案和附图。图1是本专利技术方法的流程示意图。具体实施方式以下将结合实施例和附图对本专利技术的构思、具体结构及产生的技术效果进行清楚、完整的描述,以充分地理解本专利技术的目的、特征和效果。显然,所描述的实施例只是本专利技术的一部分实施例,而不是全部实施例,基于本专利技术的实施例,本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例,均属于本专利技术保护的范围。另外,文中所提到的所有连接关系,并非单指构件直接相接,而是指可根据具体实施情况,通过添加或减少连接辅件,来组成更优的连接结构。本专利技术创造中的各个技术特征,在不互相矛盾冲突的前提下可以交互组合。实施例1,参照图1,一种改善时序数据质量和预警的方法,包括:对原始的时间序列数据进行数据清洗;对数据清洗后的时间序列数据进行小波变换;对小波变换后的时间序列数据进行数据滤波,得到滤波时间序列;当检测到所述滤波时间序列中的数据超过第一阈值且数据保持超过第一阈值的时长超过第一时间阈值时,则记录为一次预警预兆信号;在第二时间阈值内,记录了超过N次预警预兆信号时,发出预警信号。本实施例使用Mallat算法进行小波变换,当尺度参数较大时,频率分辨率较高,适合分析低频信号,当尺度参数较小时,时间分辨率较高,适合分析高频信号。将数据清洗后的时间序列数据定义为f(x),小波变换的函数表达式为:其中,a为尺度参数,b为时间中心参数,ψ为小波母函数。现有技术中通过傅里叶变换对数据进行处理,去掉数据中的高频信息,但是通过利用傅立叶变换对数据进行处理,得到的结果却不尽人意,因为存在比较严重的失真情况,而本实施例利用小波变换中的多分辨特点来对数据进行分解,通过多分辨信号算法来实现对数据的逐层分解,最后得到数据清洗后的时间序列数据的低频信息,起到了消除噪音的作用,不会出现严重的失真情况,保持数据的准确性。进一步作为优选的实施方式,所述对原始的时间序列数据进行数据清洗的过程包括:对原始的时间序列数据中的脏数据进行去除,所述脏数据包括缺失值和异常值。进一步作为优选的实施方式,所述对原始的时间序列数据中的脏数据进行去除的过程包括:对所述缺失值进行均值填补;利用单变量的散点图对所述异常值进行初步判断,再利用统计学3σ法原则进行所述异常值的排查,得到异常值;对于所述异常值,先采用零值替换法剔除异常值,然后利用均值填补。当时间序列数据中出现特殊字符的数据时,先采用零值替换法剔除异常值,然后利用均值填补。所述均值为所述原始的时间序列数据的均值。进一步作为优选的实施方式,对小波变换后的时间序列数据进行数据滤波的过程包括:对小波变换后的时间序列数据进行卡尔曼滤波。所述一种改善时序数据质量的方法可应用在所述一种改善时序数据质量和预警的装置,所述装置包括:数据采集模块,用于监测和采集时间序列数据,并将采集得到的时间序列数据发送到处理模块;处理模块,用于对数据采集模块采集得到的时间序列数据进行处理,检测预警预兆信号,控制预警模块发出预警信号;预警模块,当数据处理模块检测在第二时间阈值内记录了超过N次预警预兆信号时,控制预警模块发出预警信号;所述处理模块分别与数据采集模块和预警模块相连接。本实施例的工作过程:在工业方面,温度传感器、压力传感器等的数据都是以时间和空间为维度的数据。本实施例以检测工业上检测温度为例,所述数据采集模块为温度传感器。所述数据采集模块实时采集锅炉的温度值,并将采集得到的时间序列数据发送到所述处理模块,所述处理模块对所述时间序列数据进行数据清洗,对数据清洗后的时间序列数据进行小波变换,得到低频数据,消除噪音。对小波变换后的时间序列数据进行卡尔曼滤波,得到滤波时间序列。当处理模块检测到到所述滤波时间序列中数据超过第一阈值,且保持超过第一阈值的时长超过第一时间阈值时,则记录为一次预警预兆信号。本实施例的数据采集模块用于检测低压锅炉的蒸汽温度,低压锅炉的蒸汽温度需要在400℃以下,所述第一阈值为380℃,所述第一时间阈值为15s,所述第二时间阈值为12h。低压锅炉的蒸汽温度超过380℃,且超过380℃的时长超过15s,则记录为一次预警预兆信号。本实施例中N为5,在12小时内,处理模块记本文档来自技高网...

【技术保护点】
1.一种改善时序数据质量和预警的方法,其特征在于,包括:对原始的时间序列数据进行数据清洗;对数据清洗后的时间序列数据进行小波变换;对小波变换后的时间序列数据进行数据滤波,得到滤波时间序列;当检测到所述滤波时间序列中的数据超过第一阈值且数据保持超过第一阈值的时长超过第一时间阈值时,则记录为一次预警预兆信号;在第二时间阈值内,记录了超过N次预警预兆信号时,发出预警信号。

【技术特征摘要】
1.一种改善时序数据质量和预警的方法,其特征在于,包括:对原始的时间序列数据进行数据清洗;对数据清洗后的时间序列数据进行小波变换;对小波变换后的时间序列数据进行数据滤波,得到滤波时间序列;当检测到所述滤波时间序列中的数据超过第一阈值且数据保持超过第一阈值的时长超过第一时间阈值时,则记录为一次预警预兆信号;在第二时间阈值内,记录了超过N次预警预兆信号时,发出预警信号。2.根据权利要求1所述的一种改善时序数据质量和预警的方法,其特征在于,所述对原始的时间序列数据进行数据清洗的过程包括:对原始的时间序列数据中的脏数据进行去除,所述脏数据包括缺失值和异常值。3.根据权利要求2所述的一种改善时序数据质量和预警的方法,其特征在于,所述对原始的时间序列数据中的脏数据进行去除的过程包括:对所述缺失值进行...

【专利技术属性】
技术研发人员:张彩霞王向东曾平
申请(专利权)人:佛山科学技术学院
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1