System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于自动标注的实时数据异常检测方法及系统技术方案_技高网

一种基于自动标注的实时数据异常检测方法及系统技术方案

技术编号:40380848 阅读:3 留言:0更新日期:2024-02-20 22:18
本发明专利技术提供了一种基于自动标注的实时数据异常检测方法及系统,属于设备监控技术领域,该实时数据异常检测方法包括如下步骤:获取目标设备的历史时序数据;分别利用多个异常数据识别模型对历史时序数据进行识别并对异常数据进行自动标注,以此获得多个训练集;选择多个深度学习模型以对应不同的异常数据识别模型,然后分别使用各个训练集对其对应的深度学习模型进行训练;将实时数据输入各个训练后的深度学习模型中,以对实时数据进行异常检测和标注。本发明专利技术能够实现设备运行状态的全自动实时监控,同时本发明专利技术使用多个异常数据识别模型训练多个深度学习模型,能够有效解决单一模型识别误差大的问题,有效提高异常检测精度。

【技术实现步骤摘要】

本专利技术属于设备监控,更具体地,涉及一种基于自动标注的实时数据异常检测方法及系统


技术介绍

1、随着物联网技术、大数据技术的飞速发展,通过多个传感器记录发电机组工作状态的各项指标,然后在服务器集群上实时处理这些海量状态数据已经成为了可能。对海量实时数据的进行挖掘和分析,从数据中探索设备运行状态的规律,能够一定程度上帮助实现对设备运行状态的监控。

2、在数据挖掘领域中,异常值检测作为最重要的研究课题之一,对数据分析及模式识别来说非常重要。在设备的运行过程中产生的数据序列,可以基于shapelet函数来定义产生的三种异常类型:1)异常的局部子序列;2)异常周期性的的局部子序列;3)异常趋势的局部子序列。

3、当前对时序数据的异常检测主要有以下缺点:1)当前的异常值识别模型主要是单一模型对所有时间序列数据进行异常检测,而不同模型对不同类型的异常识别效果有较大差异,这就造成了对异常值的识别误差。2)不能对实时数据进行异常检测,目前的识别模型多为对历史数据的异常检测,不能将实时数据加入历史数据库进行扩充。


技术实现思路

1、针对现有技术的缺陷,本专利技术的目的在于提供一种基于自动标注的实时数据异常检测方法及系统,旨在解决现有的异常检测方法存在识别误差、无法对实时数据进行异常检测的问题。

2、为实现上述目的,按照本专利技术的一方面,提供了一种基于自动标注的实时数据异常检测方法,该实时数据异常检测方法包括如下步骤:

3、s1获取目标设备的历史时序数据;

4、s2分别利用多个异常数据识别模型对所述历史时序数据进行识别并对异常数据进行自动标注,以此获得多个训练集;

5、s3选择多个深度学习模型以对应不同的异常数据识别模型,然后分别使用各个训练集对其对应的深度学习模型进行训练;

6、s4将实时数据输入各个训练后的深度学习模型中,以对所述实时数据进行异常检测和标注。

7、作为进一步优选地,步骤s1还包括,对所述历史时序数据进行清理,具体包括:剔除停机点的数据、剔除离群点的数据、修正错误数据。

8、作为进一步优选地,步骤s2中,异常数据标注的种类包括异常的局部子序列、异常周期性的局部子序列和异常趋势的局部子序列。

9、作为进一步优选地,所述实时数据异常检测方法还包括步骤s5,具体为:将实时数据补充到步骤s1的历史时序数据中,然后重复步骤s1~s4。

10、作为进一步优选地,步骤s4还包括确定各个深度学习模型的权重,并根据所述权重对异常数据进行加权平均计算以获得该异常数据的概率值,然后判断所述概率值是否达到预警阈值,若是,则发出预警,若否,则不发出预警。

11、按照本专利技术的另一方面,提供了一种基于自动标注的实时数据异常检测系统,该系统包括数据接收单元、数据识别标注单元和深度学习单元,其中:

12、所述数据接收单元用于获取目标设备的历史时序数据和实时数据;

13、所述数据识别标注单元用于利用多个异常数据识别模型对所述历史时序数据进行识别并自动标注,以此获得多个训练集;

14、所述深度学习单元用于利用各个训练集对其对应的深度学习模型进行训练,并使用训练后的深度学习模型对所述实时数据进行异常检测和标注。

15、作为进一步优选地,所述实时数据异常检测系统还包括存储单元,用于对实时数据的检测结果按照时间顺序保存。

16、作为进一步优选地,所述数据接收单元还用于将实时数据补充到历史时序数据中,所述数据识别标注单元和深度学习单元根据更新后的历史时序数据进行重新识别和训练。

17、作为进一步优选地,所述数据接收单元还用于对所述历史时序数据进行清理,具体包括:剔除停机点的数据、剔除离群点的数据、修正错误数据。

18、作为进一步优选地,所述深度学习单元还用于确定各个深度学习模型的权重,并根据所述权重对异常数据进行加权平均计算以获得该异常数据的概率值,然后判断所述概率值是否达到预警阈值,若是,则发出预警,若否,则不发出预警。

19、总体而言,通过本专利技术所构思的以上技术方案与现有技术相比,具有以下有益效果:

20、1.本专利技术能够基于历史时序数据和异常数据识别模型获得训练集,并使用其对深度学习模型进行训练,进而利用训练后的深度学习模型实现实时数据的异常检测和自动标注,从而实现设备运行状态的全自动实时监控,同时本专利技术使用多个异常数据识别模型训练多个深度学习模型,能够有效解决单一模型识别误差大的问题,有效提高异常检测精度;

21、2.同时,本专利技术通过不断将实时数据补充到历史时序数据中,能够对深度学习模型进行迭代训练,进一步提高深度学习模型的训练强度与异常值检测精度;

22、3.此外,本专利技术还对深度学习模型的异常结果检测流程进行优化,能够根据深度学习模型的权重对异常数据进行加权平均计算以获得概率值,并根据概率值判断是否发出预警,从而进一步提高异常数据检测的准确性。

本文档来自技高网...

【技术保护点】

1.一种基于自动标注的实时数据异常检测方法,其特征在于,该实时数据异常检测方法包括如下步骤:

2.如权利要求1所述的基于自动标注的实时数据异常检测方法,其特征在于,步骤S1还包括,对所述历史时序数据进行清理,具体包括:剔除停机点的数据、剔除离群点的数据、修正错误数据。

3.如权利要求1所述的基于自动标注的实时数据异常检测方法,其特征在于,步骤S2中,异常数据标注的种类包括异常的局部子序列、异常周期性的局部子序列和异常趋势的局部子序列。

4.如权利要求1所述的基于自动标注的实时数据异常检测方法,其特征在于,所述实时数据异常检测方法还包括步骤S5,具体为:将实时数据补充到步骤S1的历史时序数据中,然后重复步骤S1~S4。

5.如权利要求1~4任一项所述的基于自动标注的实时数据异常检测方法,其特征在于,步骤S4还包括确定各个深度学习模型的权重,并根据所述权重对异常数据进行加权平均计算以获得该异常数据的概率值,然后判断所述概率值是否达到预警阈值,若是,则发出预警,若否,则不发出预警。

6.一种基于自动标注的实时数据异常检测系统,其特征在于,该实时数据异常检测系统包括数据接收单元、数据识别标注单元和深度学习单元,其中:

7.如权利要求6所述的基于自动标注的实时数据异常检测系统,其特征在于,所述实时数据异常检测系统还包括存储单元,用于对实时数据的检测结果按照时间顺序保存。

8.如权利要求6所述的基于自动标注的实时数据异常检测系统,其特征在于,所述数据接收单元还用于将实时数据补充到历史时序数据中,所述数据识别标注单元和深度学习单元根据更新后的历史时序数据进行重新识别和训练。

9.如权利要求6所述的基于自动标注的实时数据异常检测系统,其特征在于,所述数据接收单元还用于对所述历史时序数据进行清理,具体包括:剔除停机点的数据、剔除离群点的数据、修正错误数据。

10.如权利要求6~9任一项所述的基于自动标注的实时数据异常检测系统,其特征在于,所述深度学习单元还用于确定各个深度学习模型的权重,并根据所述权重对异常数据进行加权平均计算以获得该异常数据的概率值,然后判断所述概率值是否达到预警阈值,若是,则发出预警,若否,则不发出预警。

...

【技术特征摘要】

1.一种基于自动标注的实时数据异常检测方法,其特征在于,该实时数据异常检测方法包括如下步骤:

2.如权利要求1所述的基于自动标注的实时数据异常检测方法,其特征在于,步骤s1还包括,对所述历史时序数据进行清理,具体包括:剔除停机点的数据、剔除离群点的数据、修正错误数据。

3.如权利要求1所述的基于自动标注的实时数据异常检测方法,其特征在于,步骤s2中,异常数据标注的种类包括异常的局部子序列、异常周期性的局部子序列和异常趋势的局部子序列。

4.如权利要求1所述的基于自动标注的实时数据异常检测方法,其特征在于,所述实时数据异常检测方法还包括步骤s5,具体为:将实时数据补充到步骤s1的历史时序数据中,然后重复步骤s1~s4。

5.如权利要求1~4任一项所述的基于自动标注的实时数据异常检测方法,其特征在于,步骤s4还包括确定各个深度学习模型的权重,并根据所述权重对异常数据进行加权平均计算以获得该异常数据的概率值,然后判断所述概率值是否达到预警阈值,若是,则发出预警,若否,则不发出预警。

6.一种基于自动标注的实...

【专利技术属性】
技术研发人员:邵林涛王清睿王阳雪杨晴
申请(专利权)人:华中科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1