时序数据的异常检测方法、装置、设备及存储介质制造方法及图纸

技术编号:21658756 阅读:26 留言:0更新日期:2019-07-20 05:39
本申请公开了一种时序数据的异常检测方法、装置、设备及存储介质,属于互联网技术领域。方法包括:获取不同业务的时序数据;对获取到的各项时序数据的时序曲线进行分类,时序曲线描述了时序数据随时间的变化趋势;对于任意一项时序数据,确定与该时序数据的时序曲线的分类类别匹配的目标预测方式,基于目标预测方式对时序数据进行预测,得到预测数据,将时序数据与预测数据进行比对,得到时序数据中包括的异常数据值。本申请实现了针对不同的曲线形态自动地选择相应的方式进行异常点检测,由于对不同类型的时序曲线进行了分类,充分考虑了不同曲线的形态,因此适用于对任意一个业务的时序数据进行异常检测,提升了异常检测的准确性,效果较佳。

Anomaly detection methods, devices, devices and storage media for time series data

【技术实现步骤摘要】
时序数据的异常检测方法、装置、设备及存储介质
本申请涉及互联网
,特别涉及一种时序数据的异常检测方法、装置、设备及存储介质。
技术介绍
时序数据,也称时间序列数据,是针对同一业务按照时间顺序记录的数据集合。即,在时序数据中数据值与时间一一对应,时序数据可以用来描述某一业务随时间的变化趋势。目前时序数据已被应用在多个领域,比如游戏领域、工业生产领域、农业生产领域、气象领域、经济学领域等。以游戏领域为例,不同的游戏业务对应不同的时序数据,比如可以通过时序数据来记录在线活跃用户数随时间的变化趋势。在形成时序数据后,相关技术一般通过对时序数据进行检测分析,来判断某一业务是否存在异常。比如,随着游戏业务的快速发展,通过时序数据来检测某一游戏业务是否存在异常,已经成为游戏日常维护中进行异常监控的重要手段之一。
技术实现思路
本申请实施例提供了一种时序数据的异常检测方法、装置、设备及存储介质,能够精确地检测时序数据是否存在异常。所述技术方案如下:一方面,提供了一种时序数据的异常检测方法,所述方法包括:获取不同业务的时序数据;对获取到的各项时序数据的时序曲线进行分类,所述时序曲线描述了所述时序数据随时间的变化趋势;对于任意一项时序数据,确定与所述时序数据的时序曲线的分类类别匹配的目标预测方式,基于所述目标预测方式对所述时序数据进行预测,得到预测数据,将所述时序数据与所述预测数据进行比对,得到所述时序数据中包括的异常数据值。另一方面,提供了一种时序数据的异常检测装置,所述装置包括:第一获取模块,用于获取不同业务的时序数据;分类模块,用于对获取到的各项时序数据的时序曲线进行分类,所述时序曲线描述了所述时序数据随时间的变化趋势;检测模块,用于对于任意一项时序数据,确定与所述时序数据的时序曲线的分类类别匹配的目标预测方式,基于所述目标预测方式对所述时序数据进行预测,得到预测数据,将所述时序数据与所述预测数据进行比对,得到所述时序数据中包括的异常数据值。在一种可能的实现方式中,所述分类模块,还用于获取各个时序曲线的波动值,所述波动值反应所述时序曲线的波动频繁度;对所述各个时序曲线的波动值进行聚类,得到多个初始分类;在所述多个初始分类中确定数据值最大的第一分类;将所述多个初始分类中除所述第一分类之外的剩余分类进行合并,得到第二分类,所述第一分类的曲线平缓度大于所述第二分类的曲线平缓度,所述第一分类的曲线周期性大于所述第二分类的曲线周期性。在一种可能的实现方式中,所述分类模块,还用于对于任意一个时序曲线,获取相应的时序数据的差分序列;确定所述差分序列的第一四分位数和第三四分位数;根据所述第一四分位数和所述第三四分位数,分别确定所述差分序列的高点阈值和低点阈值;获取所述差分序列中大于所述高点阈值以及小于所述低点阈值的数据值个数,将所述数据值个数作为所述时序曲线的波动值。在一种可能的实现方式中,所述检测模块,还用于当所述时序曲线的分类类别为第一分类时,基于与所述第一分类匹配的第一预测算法对所述时序数据进行预测,得到所述预测数据;或,当所述时序曲线的分类类别为第二分类时,基于与所述第二分类匹配的第二预测算法对所述时序数据进行预测,得到所述预测数据。在一种可能的实现方式中,所述检测模块,还用于对于所述时序数据,获取当前时间窗口内各个数据值的平均值,得到一个预测值;按照第一预设步长滑动时间窗口,获取下一个时间窗口内各个数据值的平均值,得到另一个预测值;重复执行滑动时间窗口并获取平均值的步骤,直至最后一个时间窗口,得到所述预测数据。在一种可能的实现方式中,所述检测模块,还用于对于所述时序数据,获取当前时间窗口内各个数据值的指数加权平均值,得到一个预测值;按照第二预设步长滑动时间窗口,获取下一个时间窗口内各个数据值的指数加权平均值,得到另一个预测值;重复执行滑动时间窗口并获取指数加权平均值的步骤,直至最后一个时间窗口,得到所述预测数据。在一种可能的实现方式中,所述检测模块获取所述指数加权平均值的方式为:其中,EMA指代所述指数加权平均值,α为常数,α的取值为(0,1)之间的小数,P1至P4指代一个时间窗口内包括的数据值。在一种可能的实现方式中,所述检测模块,还用于对于所述时序数据中的任意一个数据值,将所述数据值与所述预测数据中相应时刻的预测值进行比对;当所述数据值与所述预测值之差大于目标阈值时,将所述数据值作为所述异常数据值,所述目标阈值为N倍的所述时序数据的方差,N的取值大于0。在一种可能的实现方式中,所述装置还包括:第二获取模块,用于获取所述时序数据中每个所述异常数据值的异常分值;过滤模块,用于根据每个所述异常数据值的异常分值,对所述时序数据中包括的异常数据值进行过滤,得到目标异常数据值;告警模块,用于对所述目标异常数据值进行告警处理。另一方面,提供了一种存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现上述的时序数据的异常检测方法。另一方面,提供了一种时序数据的异常检测设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现上述的时序数据的异常检测方法。本申请实施例提供的技术方案带来的有益效果是:针对多个业务的多个时序数据,本申请实施例首先对多个时序数据的时序曲线进行分类;之后,针对归属于不同分类类别的时序曲线,采用不同的方式进行异常检测,即本申请实施例实现了针对不同的曲线形态自动地选择相应的方式进行异常点判别,由于对不同类型的时序曲线进行了分类,充分考虑了不同曲线的形态,因此本申请实施例适用于对任意一个业务的时序数据进行异常检测,提升了异常检测的准确性,能够帮助运营人员及时发现问题,该种异常检测方式的效果较佳。附图说明为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1是本申请实施例提供的一种时序曲线的示意图;图2是本申请实施例提供的另一种时序曲线的示意图;图3是本申请实施例提供的另一种时序曲线的示意图;图4是本申请实施例提供的另一种时序曲线的示意图;图5是本申请实施例提供的一种时序数据的异常检测方法涉及的实施环境的示意图;图6是本申请实施例提供的一种时序数据的异常检测方法的执行流程图;图7是本申请实施例提供的一种时序数据的异常检测方法的流程图;图8是本申请实施例提供的一种时序数据的异常检测方法的流程图;图9是本申请实施例提供的一种时序数据的异常检测方法的流程图;图10是本申请实施例提供的一种指数递减形式示意图;图11是本申请实施例提供的一种时序数据的异常检测方法的流程图;图12是本申请实施例提供的另一种时序曲线的示意图;图13是本申请实施例提供的另一种时序曲线的示意图;图14是本申请实施例提供的另一种时序曲线的示意图;图15是本申请实施例提供的另一种时序曲线的示意图;图16是本申请实施例提供的另一种时序曲线的示意图;图17是本申请实施例提供的另一种时序曲线的示意图;图18是本申请实施例提供的另一种时序曲线的示意图;图19是本申请实施例提供的另一种时本文档来自技高网...

【技术保护点】
1.一种时序数据的异常检测方法,其特征在于,所述方法包括:获取不同业务的时序数据;对获取到的各项时序数据的时序曲线进行分类,所述时序曲线描述了所述时序数据随时间的变化趋势;对于任意一项时序数据,确定与所述时序数据的时序曲线的分类类别匹配的目标预测方式,基于所述目标预测方式对所述时序数据进行预测,得到预测数据,将所述时序数据与所述预测数据进行比对,得到所述时序数据中包括的异常数据值。

【技术特征摘要】
1.一种时序数据的异常检测方法,其特征在于,所述方法包括:获取不同业务的时序数据;对获取到的各项时序数据的时序曲线进行分类,所述时序曲线描述了所述时序数据随时间的变化趋势;对于任意一项时序数据,确定与所述时序数据的时序曲线的分类类别匹配的目标预测方式,基于所述目标预测方式对所述时序数据进行预测,得到预测数据,将所述时序数据与所述预测数据进行比对,得到所述时序数据中包括的异常数据值。2.根据权利要求1所述的方法,其特征在于,所述对获取到的各项时序数据的时序曲线进行分类,包括:获取各个时序曲线的波动值,所述波动值反应所述时序曲线的波动频繁度;对所述各个时序曲线的波动值进行聚类,得到多个初始分类;在所述多个初始分类中确定数据值最大的第一分类;将所述多个初始分类中除所述第一分类之外的剩余分类进行合并,得到第二分类,所述第一分类的曲线平缓度大于所述第二分类的曲线平缓度,所述第一分类的曲线周期性大于所述第二分类的曲线周期性。3.根据权利要求2所述的方法,其特征在于,所述获取各个时序曲线的波动值,包括:对于任意一个时序曲线,获取相应的时序数据的差分序列;确定所述差分序列的第一四分位数和第三四分位数;根据所述第一四分位数和所述第三四分位数,分别确定所述差分序列的高点阈值和低点阈值;获取所述差分序列中大于所述高点阈值以及小于所述低点阈值的数据值个数,将所述数据值个数作为所述时序曲线的波动值。4.根据权利要求1所述的方法,其特征在于,所述确定与所述时序数据的时序曲线的分类类别匹配的目标预测方式,基于所述目标预测方式对所述时序数据进行预测,包括:当所述时序曲线的分类类别为第一分类时,基于与所述第一分类匹配的第一预测算法对所述时序数据进行预测,得到所述预测数据;或,当所述时序曲线的分类类别为第二分类时,基于与所述第二分类匹配的第二预测算法对所述时序数据进行预测,得到所述预测数据。5.根据权利要求4所述的方法,其特征在于,所述基于与所述第一分类匹配的第一预测算法对所述时序数据进行预测,得到所述预测数据,包括:对于所述时序数据,获取当前时间窗口内各个数据值的平均值,得到一个预测值;按照第一预设步长滑动时间窗口,获取下一个时间窗口内各个数据值的平均值,得到另一个预测值;重复执行滑动时间窗口并获取平均值的步骤,直至最后一个时间窗口,得到所述预测数据。6.根据权利要求...

【专利技术属性】
技术研发人员:王月瑶刘伟洪楷雷航陈乃华
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1