一种异常检测方法、装置及设备制造方法及图纸

技术编号:23485242 阅读:21 留言:0更新日期:2020-03-10 12:43
本申请提供一种异常检测方法、装置及设备,该方法包括:获取初始监控阈值,并根据所述初始监控阈值对业务数据进行异常检测;根据所述初始监控阈值的异常检测结果对所述初始监控阈值进行调整,得到目标监控阈值;根据所述目标监控阈值对业务数据进行异常检测。通过本申请的技术方案,不需要运维人员手工设置监控阈值,自动对监控阈值进行调整,提高告警准确性。

An anomaly detection method, device and equipment

【技术实现步骤摘要】
一种异常检测方法、装置及设备
本申请涉及互联网
,尤其是一种异常检测方法、装置及设备。
技术介绍
自动异常检测旨在发现业务数据的异常波动,是智能监控系统的重要环节,异常检测需要监控的业务数据繁多,如业务数据可以为请求数、拒绝数、响应时间、成交量、订单等数据,而检测这些业务数据的异常波动,是业务稳定性的重要保证。例如,可以预先设置监控阈值,当业务数据(如监控阈值是请求数阈值,且业务数据是每分钟产生的请求数)大于该监控阈值时,就检测到业务数据出现异常,可以向运维人员产生告警,由运维人员分析异常的原因。在上述方式中,通常由运维人员手工设置监控阈值,监控阈值的准确性受限于运维人员的经验,无法自动对监控阈值进行调整,一旦监控阈值的准确性较低,则可能导致业务数据的告警数目比较多,但是异常检测的准确率比较低,或者,可能导致业务数据的告警数目比较少,但是异常检测的漏报比较严重。
技术实现思路
本申请提供一种异常检测方法,所述方法包括:获取初始监控阈值,并根据所述初始监控阈值对业务数据进行异常检测;根据所述初始监控阈值的异常检测结果对所述初始监控阈值进行调整,得到目标监控阈值;根据所述目标监控阈值对业务数据进行异常检测。本申请提供一种异常检测方法,所述方法包括:获取当前时间点的业务数据;根据所述当前时间点的业务数据生成数据集合;确定所述数据集合的统计特征;确定与所述统计特征对应的特征值;根据所述特征值对所述业务数据进行异常检测。本申请提供一种异常检测方法,所述方法包括:获取当前时间点的业务数据;采用多个检测策略对所述业务数据进行异常检测,得到每个检测策略的检测结果;每个检测策略的检测结果为业务数据发生异常或未发生异常;若至少两个检测策略的检测结果为业务数据发生异常,则确定所述业务数据的最终检测结果是业务数据发生异常;若一个检测策略的检测结果为业务数据发生异常,则确定所述业务数据的最终检测结果是业务数据未发生异常。本申请提供一种异常检测装置,所述装置包括:获取模块,用于获取初始监控阈值;检测模块,用于根据所述初始监控阈值对业务数据进行异常检测;所述获取模块,还用于根据所述初始监控阈值的异常检测结果对所述初始监控阈值进行调整,得到目标监控阈值;所述检测模块,还用于根据所述目标监控阈值对业务数据进行异常检测。本申请提供一种异常检测装置,所述装置包括:获取模块,用于获取当前时间点的业务数据;生成模块,用于根据所述当前时间点的业务数据生成数据集合;确定模块,用于确定所述数据集合的统计特征;所述确定模块,还用于确定与所述统计特征对应的特征值;检测模块,用于根据所述特征值对所述业务数据进行异常检测。本申请提供一种异常检测装置,所述装置包括:获取模块,用于获取当前时间点的业务数据;检测模块,用于采用多个检测策略对所述业务数据进行异常检测,得到每个检测策略的检测结果;其中,每个检测策略的检测结果为所述业务数据发生异常或者所述业务数据未发生异常;确定模块,用于若至少两个检测策略的检测结果为所述业务数据发生异常,则确定所述业务数据的最终检测结果是业务数据发生异常;若一个检测策略的检测结果为所述业务数据发生异常,则确定所述业务数据的最终检测结果是业务数据未发生异常。本申请提供一种异常检测设备,包括:处理器和机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述处理器执行所述计算机指令时进行如下处理:获取初始监控阈值,并根据所述初始监控阈值对业务数据进行异常检测;根据所述初始监控阈值的异常检测结果对所述初始监控阈值进行调整,得到目标监控阈值;根据所述目标监控阈值对业务数据进行异常检测。本申请提供一种异常检测设备,包括:处理器和机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述处理器执行所述计算机指令时进行如下处理:获取当前时间点的业务数据;根据所述当前时间点的业务数据生成数据集合;确定所述数据集合的统计特征;确定与所述统计特征对应的特征值;根据所述特征值对所述业务数据进行异常检测。本申请提供一种异常检测设备,包括:处理器和机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述处理器执行所述计算机指令时进行如下处理:获取当前时间点的业务数据;采用多个检测策略对所述业务数据进行异常检测,得到每个检测策略的检测结果;每个检测策略的检测结果为业务数据发生异常或未发生异常;若至少两个检测策略的检测结果为业务数据发生异常,则确定所述业务数据的最终检测结果是业务数据发生异常;若一个检测策略的检测结果为业务数据发生异常,则确定所述业务数据的最终检测结果是业务数据未发生异常。基于上述技术方案,本申请实施例中,不需要由运维人员手工设置监控阈值,可以自动对监控阈值进行调整,使得监控阈值的准确性较高,避免业务数据的告警数目较多,但异常检测的准确率较低的问题,并避免业务数据的告警数目较少,但异常检测的漏报比较严重的问题。能够根据历史业务数据的趋势进行异常检测,自动检测发生异常的业务数据,并提高了告警的准确性。附图说明为了更加清楚地说明本申请实施例或者现有技术中的技术方案,下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据本申请实施例的这些附图获得其它的附图。图1是本申请一种实施方式中的异常检测方法的流程图;图2A-图2C是本申请一种实施方式中的业务数据曲线示意图;图3是本申请另一种实施方式中的异常检测方法的流程图;图4是本申请另一种实施方式中的异常检测方法的流程图;图5是本申请一种实施方式中的异常检测装置的结构图;图6是本申请另一种实施方式中的异常检测装置的结构图;图7是本申请另一种实施方式中的异常检测装置的结构图。具体实施方式在本申请实施例使用的术语仅仅是出于描述特定实施例的目的,而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。还应当理解,本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解,尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,此外,所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。实施例一:...

【技术保护点】
1.一种异常检测方法,其特征在于,所述方法包括:/n获取初始监控阈值,并根据所述初始监控阈值对业务数据进行异常检测;/n根据所述初始监控阈值的异常检测结果对所述初始监控阈值进行调整,得到目标监控阈值;/n根据所述目标监控阈值对业务数据进行异常检测。/n

【技术特征摘要】
1.一种异常检测方法,其特征在于,所述方法包括:
获取初始监控阈值,并根据所述初始监控阈值对业务数据进行异常检测;
根据所述初始监控阈值的异常检测结果对所述初始监控阈值进行调整,得到目标监控阈值;
根据所述目标监控阈值对业务数据进行异常检测。


2.根据权利要求1所述的方法,其特征在于,获取初始监控阈值,包括:
获取置信区间,所述置信区间包括多个置信值;
从所述置信区间的多个置信值中选择部分置信值;
根据所述部分置信值确定所述初始监控阈值。


3.根据权利要求1所述的方法,其特征在于,所述根据所述初始监控阈值的异常检测结果对所述初始监控阈值进行调整,得到目标监控阈值,包括:
根据所述初始监控阈值的异常检测结果确定反馈调节系数;
根据所述反馈调节系数对所述初始监控阈值进行调整,得到目标监控阈值。


4.根据权利要求3所述的方法,其特征在于,
所述根据所述初始监控阈值的异常检测结果确定反馈调节系数,包括:
根据所述异常检测结果确定有效业务数据和无效业务数据;
从所述有效业务数据中选择第一业务数据;
从所述无效业务数据中选择第二业务数据;
根据所述第一业务数据和所述第二业务数据确定反馈调节系数。


5.根据权利要求4所述的方法,其特征在于,
从所述有效业务数据中选择第一业务数据包括:对有效业务数据进行排序,从排序后的有效业务数据中选择第一位置的有效业务数据作为第一业务数据;
从所述无效业务数据中选择第二业务数据包括:对无效业务数据进行排序,从排序后的无效业务数据中选择第二位置的无效业务数据作为第二业务数据。


6.根据权利要求3所述的方法,其特征在于,所述根据所述反馈调节系数对所述初始监控阈值进行调整,得到目标监控阈值,包括:
将所述反馈调节系数与所述初始监控阈值的和,确定为目标监控阈值。


7.根据权利要求1所述的方法,其特征在于,
所述根据所述目标监控阈值对业务数据进行异常检测,包括:
确定数据集合,所述数据集合包括多个时间点的预测业务数据;
根据当前时间点的实际业务数据与所述当前时间点在所述数据集合中对应的预测业务数据,确定所述当前时间点的业务数据残差;
根据所述业务数据残差和目标监控阈值对实际业务数据进行异常检测。


8.根据权利要求7所述的方法,其特征在于,所述确定数据集合,包括:
获取历史业务数据,并预测当前时间点后面的多个时间点的业务数据;
对所述历史业务数据和所述多个时间点的业务数据进行处理;
将处理后的业务数据确定为预测业务数据;
将所述预测业务数据添加到所述数据集合中。


9.根据权利要求7所述的方法,其特征在于,所述根据所述业务数据残差和目标监控阈值对实际业务数据进行异常检测,包括:
根据所述业务数据残差、历史残差均值、历史残差方差和所述目标监控阈值,对所述实际业务数据进行异常检测。


10.根据权利要求9所述的方法,其特征在于,
所述根据所述业务数据残差、历史残差均值、历史残差方差和所述目标监控阈值,对所述实际业务数据进行异常检测,包括:
若所述业务数据残差与所述历史残差均值的差,大于所述历史残差方差与所述目标监控阈值的积,则确定所述实际业务数据发生异常;
若所述业务数据残差与所述历史残差均值的差,不大于所述历史残差方差与所述目标监控阈值的积,则确定所述实际业务数据未发生异常。


11.一种异常检测方法,其特征在于,所述方法包括:
获取当前时间点的业务数据;
根据所述当前时间点的业务数据生成数据集合;
确定所述数据集合的统计特征;
确定与所述统计特征对应的特征值;
根据所述特征值对所述业务数据进行异常检测。


12.根据权利要求11所述的方法,其特征在于,所述数据集合包括第一时间窗口内的时间点的业务数据,且所述当前时间点是所述第一时间窗口内的最后一个时间点;其中,所述统计特征包括以下之一或者任意组合:
所述第一时间窗口内的时间点的业务数据的均值;所述第一时间窗口内的时间点的业务数据的方差;当前时间点的业务数据;当前时间点的业务数据与指定时间点的业务数据的差;当前时间点是本天的第几分钟;当前时间点是本月的第几天;当前时间点是本周的第几天;当前时间点是本天的第几小时。


13.根据权利要求11所述的方法,其特征在于,
所述确定与所述统计特征对应的特征值,包括:
通过所述统计特征查询映射表,得到与所述统计特征对应的特征值;
其中,所述映射表用于记录统计特征与特征值的对应关系。


14.根据权利要求13所述的方法,其特征在于,所述方法还包括:
将历史业务数据分割成多个第二时间窗口,不同的第二时间窗口的长度相同,且所述第二时间窗口的长度与所述第一时间窗口的长度相同;
确定所述第二时间窗口的统计特征与所述第二时间窗口的特征值;
在所述映射表中记录所述统计特征与所述特征值的对应关系。


15.根据权利要求11所述的方法,其特征在于,
所述根据所述特征值对所述业务数据进行异常检测,包括:
若所述特征值是第一特征值,则确定所述业务数据发生异常;
若所述特征值是第二特征值,则确定所述业务数据未发生异常。


16.一种异常检测方法,其特征在于,所述方法包括:
获取当前时间点的业务数据;
采用多个检测策略对所述业务数据进行异常检测,得到每个检测策略的检测结果;每个检测策略的检测结果为业务数据发生异常或未发生异常;
若至少两个检测策略的检测结果为业务数据发生异常,则确定所述业务数据的最终检测结果是业务数据发生异常;若一个检测策略的检测结果为业务数据发生异常,则确定所述业务数据的最终检测结果是业务数据未发生异常。


17.根据权利要求16所述的方法,其特征在于,所述检测策略包括阈值检测策略,采用所述阈值检测策略对所述业务数据进行异常检测,包括:
获取初始监控阈值,并根据所述初始监控阈值对业务数据进行异常检测;
根据所述初始监控阈值的异常检测结果对所述初始监控阈值进行调整,得到目标监控阈值;
根据所述目标监控阈值对所述当前时间点的业务数据进行异常检测。


18.根据权利要求17所述的方法,其特征在于,所述根据所述初始监控阈值的异常检测结果对所述初始监控阈值进行调整,得到目标监控阈值,包括:
根据所述初始监控阈值的异常检测结果确定反馈调节系数;
根据所述反馈调节系数对所述初始监控阈值进行调整,得到目标监控阈值。


19.根据权利要求18所述的方法,其特征在于,
所述根据所述初始监控阈值的异常检测结果确定反馈调节系数,包括:
根据所述异常检测结果确定有效业务数据和无效业务数据;
从所述有效业务数据中选择第一业务数据;
从所述无效业务数据中选择第二业务数据;
根据所述第一业务数据和所述第二业务数据确定反馈调节系数。


20.根据权利要求17所述的方法,其特征在于,所述根据所述目标监控阈值对所述当前时间点的业务数据进行异常检测,包括:
确定数据集合,所述数据集合包括多个时间点的预测业务数据;
根据当前时间点的实际业务数据与所述当前时间点在所述数据集合中对应的预测业务数据,确定所述当前时间点的业务数据残差;
根据所述业务数据残差和目标监控阈值对实际业务数据进行异常检测。


21.根据权利要求20所述的方法,其特征在于,所述确定数据集合,包括:
获取历史业务数据,并预测当前时间点后面的多个时间点的业务数据;
对所述历史业务数据和所述多个时间点的业务数据进行处理;
将处理后的业务数据确定为预测业务数据;
将所述预测业务数据添加到所述数据集合中。


22.根据权利要求20所述的方法,其特征在于,所述根据所述业务数据残差和目标监控阈值对实际业务数据进行异常检测,包括:
根据所述业务数据残差、历史残差均值、历史残差方差和所述目标监控阈值,对所述当前时间点的实际业务数据进行异常检测。


23.根据权利要求16所述的方法,其特征在于,所述检测策略包括特征检测策略,采用所述特征检测策略对所述业...

【专利技术属性】
技术研发人员:冯阳
申请(专利权)人:阿里巴巴集团控股有限公司
类型:发明
国别省市:开曼群岛;KY

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1