System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种异常数据的检测方法、装置以及存储介质制造方法及图纸_技高网

一种异常数据的检测方法、装置以及存储介质制造方法及图纸

技术编号:40328620 阅读:7 留言:0更新日期:2024-02-09 14:21
本申请公开了一种异常数据的检测方法、装置以及存储介质。通过基于业务数据流中的当前数据点获取时段数据;然后将历史数据与时段数据拼接得到时间序列数据;并提取时间序列数据的序列特征以及对应的数据波动类型;进而配置匹配于数据波动类型的检测算法确定异常检测信息。从而实现基于时序数据的异常数据检测,由于采用相邻以及具有参考性的历史数据作为时间序列数据进行异常识别,并根据时间序列数据的类型进行针对性的检测算法配置,减小了异常检测时对于规则的依赖,避免了由于规则缺失造成的检测遗漏,提高了异常数据检测的准确性。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种异常数据的检测方法、装置以及存储介质


技术介绍

1、随着互联网技术的迅速发展,业务数据的复杂度以及数据量越来越大,为了保证业务的正常运行,如何进行异常数据的检测成为难题。

2、一般,对于业务上需要检测的指标,可以会根据业务经验和曲线变化情况,配置固定的静态告警,包括阈值告警(例如,磁盘利用率大于80%、上报数小于10000等)、波动率告警(例如,流量上升50%)。

3、但是,固定的静态告警过程依赖于大量的人工规则配置,对于海量且实时更新业务数据流可能书此案规则的不适配,影响异常数据检测的准确性。


技术实现思路

1、有鉴于此,本申请提供一种异常数据的检测方法,可以有效避免提高异常数据检测的准确性。

2、本申请第一方面提供一种异常数据的检测方法,可以应用于终端设备中包含异常数据的检测功能的系统或程序中,具体包括:

3、基于业务数据流中的当前数据点获取时段数据;

4、根据所述当前数据点对应的时序特征进行历史数据的提取,以将所述历史数据与所述时段数据拼接得到时间序列数据;

5、基于预设维度对所述时间序列数据的进行特征提取,以得到序列特征;

6、根据所述序列特征确定所述时间序列数据对应的数据波动类型;

7、配置匹配于所述数据波动类型的检测算法,以根据所述检测算法确定所述当前数据点对应的异常检测信息。

8、可选的,在本申请一些可能的实现方式中,所述根据所述当前数据点对应的时序特征进行历史数据的提取,以将所述历史数据与所述时段数据拼接得到时间序列数据,包括:

9、根据所述当前数据点对应的时序特征确定数据参考点;

10、基于所述数据参考点在所述业务数据流中进行数据调用,以得到所述历史数据;

11、将所述历史数据与所述时段数据拼接得到候选序列数据;

12、将所述候选序列数据映射到目标区间,以得到所述时间序列数据。

13、可选的,在本申请一些可能的实现方式中,所述将所述候选序列数据映射到目标区间,以得到所述时间序列数据,包括:

14、将所述候选序列数据映射到所述目标区间,以得到标准序列数据;

15、调用所述业务数据流标记的预设噪声数据类型;

16、基于所述预设噪声数据类型对所述标准序列数据进行噪声过滤,以得到所述时间序列数据。

17、可选的,在本申请一些可能的实现方式中,所述根据所述序列特征确定所述时间序列数据对应的数据波动类型,包括:

18、确定所述序列特征中的波动规律类特征和波动幅度类特征;

19、调用所述业务数据流对应的阈值信息;

20、基于所述阈值信息对所述波动规律类特征和所述波动幅度类特征进行阈值比较,以确定所述时间序列数据对应的数据波动类型。

21、可选的,在本申请一些可能的实现方式中,所述数据波动类型为第一毛刺类型数据,所述配置匹配于所述数据波动类型的检测算法,以根据所述检测算法确定所述当前数据点对应的异常检测信息,包括:

22、配置匹配于所述第一毛刺类型数据的第一无监督模型和第二无监督模型;

23、对所述时间序列数据执行差分操作,以得到平稳序列数据;

24、将所述平稳序列数据输入所述第一监督模型,以得到四分位距信息;

25、将所述平稳序列数据输入所述第二监督模型,以得到差分阈值信息;

26、根据所述四分位距信息对应的检测结果和所述差分阈值信息对应的检测结果确定所述当前数据点对应的异常检测信息。

27、可选的,在本申请一些可能的实现方式中,所述数据波动类型为第二毛刺类型数据,所述配置匹配于所述数据波动类型的检测算法,以根据所述检测算法确定所述当前数据点对应的异常检测信息,包括:

28、配置匹配于所述第二毛刺类型数据的统计学模型,所述第二毛刺类型数据的波动幅度小于第一毛刺类型数据的波动幅度;

29、将所述时间序列数据输入所述统计学模型进行计算,以得到数据置信区间;

30、将所述当前数据点对应的指标值与所述数据置信区间进行比对,以确定所述当前数据点对应的异常检测信息。

31、可选的,在本申请一些可能的实现方式中,所述方法还包括:

32、确定与所述当前数据点具有相同时序特征的历史数据点;

33、将所述当前数据点对应的统计周期与所述历史数据点对应的统计周期进行差异性比较,以得到差异信息;

34、若所述差异信息指示所述当前数据点对应的统计周期与所述历史数据点对应的统计周期的差异超过差异阈值,则确定所述当前数据点为异常数据。

35、本申请第二方面提供一种异常数据的检测装置,包括:

36、获取单元,用于基于业务数据流中的当前数据点获取时段数据;

37、提取单元,用于根据所述当前数据点对应的时序特征进行历史数据的提取,以将所述历史数据与所述时段数据拼接得到时间序列数据;

38、所述提取单元,还用于基于预设维度对所述时间序列数据的进行特征提取,以得到序列特征;

39、检测单元,用于根据所述序列特征确定所述时间序列数据对应的数据波动类型;

40、所述检测单元,还用于配置匹配于所述数据波动类型的检测算法,以根据所述检测算法确定所述当前数据点对应的异常检测信息。

41、可选的,在本申请一些可能的实现方式中,所述提取单元,具体用于根据所述当前数据点对应的时序特征确定数据参考点;

42、所述提取单元,具体用于基于所述数据参考点在所述业务数据流中进行数据调用,以得到所述历史数据;

43、所述提取单元,具体用于将所述历史数据与所述时段数据拼接得到候选序列数据;

44、所述提取单元,具体用于将所述候选序列数据映射到目标区间,以得到所述时间序列数据。

45、可选的,在本申请一些可能的实现方式中,所述提取单元,具体用于将所述候选序列数据映射到所述目标区间,以得到标准序列数据;

46、所述提取单元,具体用于调用所述业务数据流标记的预设噪声数据类型;

47、所述提取单元,具体用于基于所述预设噪声数据类型对所述标准序列数据进行噪声过滤,以得到所述时间序列数据。

48、可选的,在本申请一些可能的实现方式中,所述检测单元,具体用于确定所述序列特征中的波动规律类特征和波动幅度类特征;

49、所述检测单元,具体用于调用所述业务数据流对应的阈值信息;

50、所述检测单元,具体用于基于所述阈值信息对所述波动规律类特征和所述波动幅度类特征进行阈值比较,以确定所述时间序列数据对应的数据波动类型。

51、可选的,在本申请一些可能的实现方式中,所述检测单元,具体用于配置匹配于所述第一毛刺类型数据的第一无监督模型和第二无监督模型;...

【技术保护点】

1.一种异常数据的检测方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述当前数据点对应的时序特征进行历史数据的提取,以将所述历史数据与所述时段数据拼接得到时间序列数据,包括:

3.根据权利要求2所述的方法,其特征在于,所述将所述候选序列数据映射到目标区间,以得到所述时间序列数据,包括:

4.根据权利要求1所述的方法,其特征在于,所述根据所述序列特征确定所述时间序列数据对应的数据波动类型,包括:

5.根据权利要求1所述的方法,其特征在于,所述数据波动类型为第一毛刺类型数据,所述配置匹配于所述数据波动类型的检测算法,以根据所述检测算法确定所述当前数据点对应的异常检测信息,包括:

6.根据权利要求1所述的方法,其特征在于,所述数据波动类型为第二毛刺类型数据,所述配置匹配于所述数据波动类型的检测算法,以根据所述检测算法确定所述当前数据点对应的异常检测信息,包括:

7.根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:

8.一种异常数据的检测装置,其特征在于,包括

9.一种计算机设备,其特征在于,所述计算机设备包括处理器以及存储器:

10.一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述权利要求1至7所述的异常数据的检测方法。

...

【技术特征摘要】

1.一种异常数据的检测方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述当前数据点对应的时序特征进行历史数据的提取,以将所述历史数据与所述时段数据拼接得到时间序列数据,包括:

3.根据权利要求2所述的方法,其特征在于,所述将所述候选序列数据映射到目标区间,以得到所述时间序列数据,包括:

4.根据权利要求1所述的方法,其特征在于,所述根据所述序列特征确定所述时间序列数据对应的数据波动类型,包括:

5.根据权利要求1所述的方法,其特征在于,所述数据波动类型为第一毛刺类型数据,所述配置匹配于所述数据波动类型的检测算法,以根据所述检测算法确定所...

【专利技术属性】
技术研发人员:周雨豪蒙锐马靖波
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1