异常检测方法及装置、系统、电子设备及存储介质制造方法及图纸

技术编号:37408155 阅读:18 留言:0更新日期:2023-04-30 09:34
本公开关于一种异常检测方法、异常检测装置、电子设备及存储介质,涉及数据处理技术领域。所述方法包括:确定用于异常检测的指标;实时获取所述指标的数据,并依据获取所述指标的当前数据及历史数据的时刻确定延迟参数的参数值,其中,所述当前数据为所述指标在当前时刻的实时数据,所述历史数据为在所述当前数据之前一次获取到的所述指标的数据;依据所述延迟参数的参数值实时调整所述指标的数据响应时间,并基于所述数据响应时间获取用于异常检测的所述指标的检测数据;基于所述检测数据进行异常检测,得到异常检测结果。本公开可以自适应地调整获取数据的时间,解决了由于数据延迟忽大忽小而导致异常发现时间过长及异常漏报等问题。报等问题。报等问题。

【技术实现步骤摘要】
异常检测方法及装置、系统、电子设备及存储介质


[0001]本公开涉及数据处理
,尤其涉及一种异常检测方法、异常检测装置、异常检测系统、电子设备及存储介质。

技术介绍

[0002]异常检测的目标是发现与大部分对象不同的对象,异常对象通常被称为离群点,其在数据的散布图中,通常远离其他数据点。在异常检测的过程中,获取到的检测数据的实时性会影响检测结果的准确性。通常情况下,T时刻的数据需要在下一时刻即T+1时刻获取,但由于网络延迟、资源预算限制、高峰期集群压力等因素,常常会导致数据延迟增加,即T+1时刻仍然不能获取T时刻数据,从而会导致获取不到异常检测数据,影响异常检测效果。
[0003]相关技术主要通过以下方法解决上述问题:提高生产数据的数据源算力避免数据源延迟,延长数据获取时间来保证该时刻数据的完整性,或缩短数据获取时间来提高数据的时效性。然而,上述方案会带来以下问题:由于不同时刻生产数据的数据量大小不同,一味提高集群算力会导致数据低峰期时资源的浪费;增大数据获取时间虽然可以保证数据的完整性,但一味延长数据获取时间可能会使发现故障的时间变长,从而导致不能及时止损,使故障影响面变大;减少数据获取时间虽然可以在数据正常的情况下,达到快速发现异常的效果,但是当数据延迟严重时,会导致大量漏报,造成故障的遗漏。
[0004]为了解决上述问题,本公开提供了一种异常检测方法、异常检测装置、异常检测系统、电子设备及存储介质。

技术实现思路

[0005]本公开提供一种异常检测方法、异常检测装置、异常检测系统、电子设备及存储介质,以至少解决相关技术中由于不同时刻生产数据的数据量大小不同,一味提高集群算力会导致数据低峰期时资源的浪费;增大数据获取时间虽然可以保证数据的完整性,但一味延长数据获取时间可能会使发现故障的时间变长,从而导致不能及时止损,使故障影响面变大;减少数据获取时间虽然可以在数据正常的情况下,达到快速发现异常的效果,但是当数据延迟严重时,会导致大量漏报,造成故障的遗漏等问题。本公开的技术方案如下:
[0006]根据本公开实施例的第一方面,提供一种异常检测方法,包括:确定用于异常检测的指标;实时获取所述指标的数据,并依据获取所述指标的当前数据及历史数据的时刻,其中,所述当前数据为所述指标在当前时刻的实时数据,所述历史数据为在所述当前数据之前一次获取到的所述指标的数据;依据所述延迟参数的参数值实时调整所述指标的数据响应时间,并基于所述数据响应时间获取用于异常检测的所述指标的检测数据;基于所述检测数据进行异常检测,得到异常检测结果。
[0007]可选地,上述实时获取所述指标的数据,包括:确定时间窗口及调度间隔;每隔一个所述调用间隔,以所述时间窗口获取当前时刻下的所述指标的所述当前数据。
[0008]可选地,上述依据获取所述指标的当前数据及历史数据的时刻确定延迟参数的参
数值,包括:计算当前时刻与前一次调度所述历史数据的时刻的差值,得到所述延迟参数的参数值。
[0009]可选地,在所述得到异常检测结果之后,上述方法还包括:依据所述异常检测结果判断是否存在异常事件,若存在所述异常事件,则以预选的通知渠道将所述异常事件通知给用户。
[0010]根据本公开实施例的第二方面,提供一种异常检测装置,包括:指标确定模块,用于确定用于异常检测的指标;延迟参数值确定模块,用于依据所述指标的当前数据及历史数据确定延迟参数的参数值,其中,所述当前数据为所述指标在当前时刻的实时数据,所述历史数据为在所述当前数据之前一次获取到的所述指标的数据;检测数据获取模块,用于依据所述延迟参数的参数值实时调整所述指标的数据响应时间,并基于所述数据响应时间获取用于异常检测的所述指标的检测数据;异常检测模块,用于基于所述检测数据进行异常检测,得到异常检测结果。
[0011]可选地,上述延迟参数值确定模块具体用于:确定时间窗口及调度间隔;每隔一个所述调用间隔,以所述时间窗口获取当前时刻下的所述指标的所述当前数据;以及计算当前时刻与前一次调度所述历史数据的时刻的差值,得到所述延迟参数的参数值。
[0012]可选地,上述检测数据获取模块具体用于:比较所述当前时刻及所述前一时刻的所述延迟参数的参数值,若所述参数值变大,则相应延长所述数据响应时间,若所述参数值变小,则相应缩短所述数据响应时间。
[0013]根据本公开实施例的第三方面,提供一种异常检测系统,包括:数据提供模块,用于实时计算用于异常检测的指标的当前数据;数据调度模块,用于依据所述指标的当前数据及历史数据确定延迟参数的参数值,并依据所述延迟参数的参数值实时调整所述指标的数据响应时间,以基于所述数据响应时间获取用于异常检测的所述指标的检测数据;算法检测模块,用于根据所述指标的检测数据进行异常检测,得到异常检测结果;异常播报模块,用于依据所述异常检测结果判断是否存在异常事件,若存在异常事件,则进行异常播报。
[0014]根据本公开实施例的第四方面,提供一种电子设备,包括:处理器;以及用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现上述任意一项所述的方法。
[0015]根据本公开实施例的第五方面,提供一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述任一项所述的方法。
[0016]根据本公开实施例的第六方面,提供一种计算机程序产品,所述计算机程序在被处理器执行时实现上述任一项所述的音视频数据展示方法。
[0017]本公开的实施例提供的技术方案至少带来以下有益效果:
[0018]在本公开实施例提供的异常检测方法中,确定用于异常检测的指标;依据该指标的当前数据及历史数据确定延迟参数的参数值,其中,上述当前数据为上述指标在当前时刻的实时数据,上述历史数据为在当前数据之前一次获取到的上述指标的数据;依据上述延迟参数的参数值实时调整指标的数据响应时间,并基于数据响应时间获取用于异常检测的指标的检测数据;基于检测数据进行异常检测,得到异常检测结果。本公开依据指标的当前数据及历史数据确定延迟参数的参数值,并依据该参数值自适应地调整数据响应时间,
可以依据当前的数据延迟状态实时调整获取数据的时间,从而可以同时保证获取检测数据的时效性和完整性。此外,本申请可以依据延迟参数状态实时调整获取检测数据的数据响应时间,减少了异常状态的漏报,以及因数据源延迟导致的发现异常的时长过长,异常漏报等问题。
[0019]应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
[0020]此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
[0021]图1是根据一示例性实施例示出的一种异常检测方法的流程图;
[0022]图2是根据一示例性实施例示出的一种异常检测装置的框图;
[0023]图3是根据一示例本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种异常检测方法,其特征在于,包括:确定用于异常检测的指标;实时获取所述指标的数据,并依据获取所述指标的当前数据及历史数据的时刻确定延迟参数的参数值,其中,所述当前数据为所述指标在当前时刻的实时数据,所述历史数据为在所述当前数据之前一次获取到的所述指标的数据;依据所述延迟参数的参数值实时调整所述指标的数据响应时间,并基于所述数据响应时间获取用于异常检测的所述指标的检测数据;基于所述检测数据进行异常检测,得到异常检测结果。2.根据权利要求1所述的异常检测方法,其特征在于,所述实时获取所述指标的数据,包括:确定时间窗口及调度间隔;每隔一个所述调用间隔,以所述时间窗口获取当前时刻下的所述指标的所述当前数据。3.根据权利要求2所述的异常检测方法,其特征在于,所述依据获取所述指标的当前数据及历史数据的时刻确定延迟参数的参数值,包括:计算当前时刻与前一次调度所述历史数据的时刻的差值,得到所述延迟参数的参数值。4.根据权利要求1所述的异常检测方法,其特征在于,在所述得到异常检测结果之后,所述方法还包括:依据所述异常检测结果判断是否存在异常事件,若存在所述异常事件,则以预选的通知渠道将所述异常事件通知给用户。5.一种异常检测装置,其特征在于,包括:指标确定模块,用于确定用于异常检测的指标;延迟参数值确定模块,用于实时获取所述指标的数据,并依据获取所述指标的当前数据及历史数据的时刻确定延迟参数的参数值,其中,所述当前数据为所述指标在当前时刻的实时数据,所述历史数据为在所述当前数据之前一次获取到的所述指标的数据;检测数据获取模块,用于依据所述延迟参数的参数值实时调整所述指标的数据...

【专利技术属性】
技术研发人员:吴成伟
申请(专利权)人:北京达佳互联信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1