System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及数据检测领域,具体而言,涉及一种时序数据异常检测方法、装置及非易失性存储介质。
技术介绍
1、相关技术中在检测数据是否存在异常时,常用的方式是采用阈值判断的方式来确定待判定数据是否为异常数据。这种方式的问题在于在实际工业应用场景中,需要监控的数据指标数量过多,可能有数万甚至数百万指标,导致运维人员很难基于业务经验对各个指标设置合理的阈值。另外,部分指标从数据角度具有丰富的形态,简单的固定阈值无法判断该类数据是否异常。因此相关技术在针对指标数量过多的场景下无法有效判断异常数据。
2、针对上述的问题,目前尚未提出有效的解决方案。
技术实现思路
1、本申请实施例提供了一种时序数据异常检测方法、装置及非易失性存储介质,以至少解决由于相关技术中采用固定阈值判断的方式来确定待检测数据是否异常导致在数据类型过多的情况下无法准确判断待检测数据是否异常的技术问题。
2、根据本申请实施例的一个方面,提供了一种时序数据异常检测方法,包括:获取检测任务配置信息,并依据检测任务配置信息建立检测任务,其中,任务配置信息中包括模型配置信息;在执行检测任务时,获取与检测任务对应的时序数据,并依据时序数据确定训练数据集;依据训练数据集对目标待检测数据点进行预检测,其中,目标待检测数据点为依据待检测时间点确定的数据点;在预检测结果为异常的情况下,依据检测任务配置信息中的模型配置信息和训练数据集对异常检测模型进行训练,并依据异常检测模型对目标待检测数据点进行检测。
3、可选
4、可选地,获取与检测任务对应的时序数据,并依据时序数据确定训练数据集的步骤包括:确定数据选取时间区间;依据数据选取时间区间获取与待检测数据对应的时序数据;对时序数据进行采样,得到训练数据集。
5、可选地,对时序数据进行采样,得到训练数据集的步骤包括:对时序数据进行排序;在排序后的时序数据中依据排序结果删除预设比例的数据,得到初次采样结果;对初次采样结果进行预设次数的随机采样,得到训练数据集。
6、可选地,依据训练数据集对目标待检测数据点进行预检测的步骤包括:确定训练数据集的均值和方差;依据训练数据集的均值和方差,确定第一取值区间和第二取值区间;依据第一取值区间和第二取值区间对目标待检测数据点进行预检测,其中,在目标待检测数据点位于第一取值区间的情况下,确定预检测的检测结果为正常,在目标待检测数据点位于第二取值区间的情况下,确定检测结果为异常。
7、可选地,依据检测任务配置信息中的模型配置信息和训练数据集对异常检测模型进行训练,并依据异常检测模型对目标待检测数据点进行检测的步骤包括:依据任务配置信息构建请求体,其中,请求体中包括检测任务的任务标识,目标待检测数据点,模型配置信息和训练数据集;发送请求体至异常检测模型,并依据模型配置信息和训练数据集对异常检测模型进行训练;在训练完成后,通过异常检测模型对目标待检测数据点进行检测,并获取异常检测模型返回的响应体,其中,响应体包括检测任务的任务标识,目标待检测数据点,检测结果。
8、可选地,依据异常检测模型对目标待检测数据点进行检测的步骤之后,时序数据异常检测方法还包括:在检测结果为异常的情况下,获取待检测数据点集合,其中,待检测数据点集合中的待检测数据点为连续采集的预设数量个数据点,并且待检测数据点集合中对应的时间点最晚的待检测数据点与目标待检测数据点相邻,且待检测数据点集合中的任意待检测数据点对应的时间点均早于待检测时间点;确定待检测数据点集合中的待检测数据点的检测结果;在待检测数据点集合中的待检测数据点的检测结果均为异常的情况下,依据预设告警模板生成并发送告警信息。
9、根据本申请实施例的另一方面,还提供了一种时序数据异常检测装置,包括:第一处理模块,用于获取检测任务配置信息,并依据检测任务配置信息建立检测任务,其中,任务配置信息中包括模型配置信息;第二处理模块,用于在执行检测任务时,获取与检测任务对应的时序数据,并依据时序数据确定训练数据集;第三处理模块,用于依据训练数据集对目标待检测数据点进行预检测,其中,目标待检测数据点为依据待检测时间点确定的数据点;第四处理模块,用于在预检测结果为异常的情况下,依据检测任务配置信息中的模型配置信息和训练数据集对异常检测模型进行训练,并依据异常检测模型对目标待检测数据点进行检测。
10、根据本申请实施例的另一方面,提供了一种非易失性存储介质,非易失性存储介质中存储有程序,其中,在程序运行时控制非易失性存储介质所在设备执行时序数据异常检测方法。
11、根据本申请实施例的另一方面,还提供了一种电子设备,包括:存储器和处理器,处理器用于运行存储在存储器中的程序,其中,程序运行时执行时序数据异常检测方法。
12、在本申请实施例中,采用获取检测任务配置信息,并依据检测任务配置信息建立检测任务,其中,任务配置信息中包括模型配置信息;在执行检测任务时,获取与检测任务对应的时序数据,并依据时序数据确定训练数据集;依据训练数据集对目标待检测数据点进行预检测,其中,目标待检测数据点为依据待检测时间点确定的数据点;在预检测结果为异常的情况下,依据检测任务配置信息中的模型配置信息和训练数据集对异常检测模型进行训练,并依据异常检测模型对目标待检测数据点进行检测的方式,通过根据训练数据集和异常检测模型对目标待检测数据点进行检测,达到了无需设定阈值即可判断目标待检测数据点是否异常的目的,从而实现了在数据类型繁杂的场景下依然可以准确判断各类数据是否异常的技术效果,进而解决了由于相关技术中采用固定阈值判断的方式来确定待检测数据是否异常导致在数据类型过多的情况下无法准确判断待检测数据是否异常的技术问题。
本文档来自技高网...【技术保护点】
1.一种时序数据异常检测方法,其特征在于,包括:
2.根据权利要求1所述的时序数据异常检测方法,其特征在于,所述获取检测任务配置信息,并依据所述检测任务配置信息建立检测任务的步骤包括:
3.根据权利要求1所述的时序数据异常检测方法,其特征在于,所述获取与所述检测任务对应的时序数据,并依据所述时序数据确定训练数据集的步骤包括:
4.根据权利要求3所述的时序数据异常检测方法,其特征在于,所述对所述时序数据进行采样,得到所述训练数据集的步骤包括:
5.根据权利要求1所述的时序数据异常检测方法,其特征在于,所述依据所述训练数据集对目标待检测数据点进行预检测的步骤包括:
6.根据权利要求1所述的时序数据异常检测方法,其特征在于,所述依据所述检测任务配置信息中的所述模型配置信息和所述训练数据集对异常检测模型进行训练,并依据所述异常检测模型对所述目标待检测数据点进行检测的步骤包括:
7.根据权利要求1所述的时序数据异常检测方法,其特征在于,所述依据所述异常检测模型对所述目标待检测数据点进行检测的步骤之后,所述时序数据异常检
8.一种时序数据异常检测装置,其特征在于,包括:
9.一种非易失性存储介质,其特征在于,所述非易失性存储介质中存储有程序,其中,在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至7中任意一项所述的时序数据异常检测方法。
10.一种电子设备,其特征在于,包括:存储器和处理器,所述处理器用于运行存储在所述存储器中的程序,其中,所述程序运行时执行权利要求1至7中任意一项所述的时序数据异常检测方法。
...【技术特征摘要】
1.一种时序数据异常检测方法,其特征在于,包括:
2.根据权利要求1所述的时序数据异常检测方法,其特征在于,所述获取检测任务配置信息,并依据所述检测任务配置信息建立检测任务的步骤包括:
3.根据权利要求1所述的时序数据异常检测方法,其特征在于,所述获取与所述检测任务对应的时序数据,并依据所述时序数据确定训练数据集的步骤包括:
4.根据权利要求3所述的时序数据异常检测方法,其特征在于,所述对所述时序数据进行采样,得到所述训练数据集的步骤包括:
5.根据权利要求1所述的时序数据异常检测方法,其特征在于,所述依据所述训练数据集对目标待检测数据点进行预检测的步骤包括:
6.根据权利要求1所述的时序数据异常检测方法,其特征在于,所述依据所述检测任务配置信息中的所述模型配...
【专利技术属性】
技术研发人员:阮宜龙,张云龙,蒋自国,
申请(专利权)人:中国电信股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。