针对不稳定周期性行为的时间序列的异常检测方法、系统技术方案

本发明专利技术属于生产运维、异常检测预警领域，具体涉及一种针对不稳定周期性行为的时间序列的异常检测方法、系统、设备，旨在解决在现有生产运维领域中因受不稳定周期性行为的影响，导致故障、异常检测准确率较低、缺乏实时性的问题。本发明专利技术方法包括：获取运维服务中定期任务执行时各KPI指标对应的历史统计数据，作为输入数据；对输入数据进行标准化处理；输入Bi

【技术实现步骤摘要】
针对不稳定周期性行为的时间序列的异常检测方法、系统


[0001]本专利技术属于生产运维、异常检测预警领域，具体涉及一种针对不稳定周期性行为的时间序列的异常检测方法、系统、设备。

技术介绍

[0002]在实际生产任务中，由于定期任务(如压测、升级、切换等)的执行会导致指标呈现出明显的周期性的尖峰或者平台的特征，但是由于该任务本身可能受到前序任务的影响、或者其本身的启动是一个人工参与的过程，导致任务的开始时间和持续时间(对应着指标的尖峰开始时间和尖峰持续的时间)可能是不尽相同的。常见的受到跑批影响(例如银行后台会计部门需要报表数据，进行对帐清算。跑批就是为此产生。跑批其实就是产生总帐,进行总分核对，再次就是进行大批量交易，如:结息,计提,代收付等(这一步可以在各分布平台做)。再次就是生成报表,导出流水数据等。批量是相对联机来说的，并不一定是在晚上，白天也有批量，主要是完成业务处理的。批量的核心功能是进行会计核算，如总分核对、试算平衡等，这样保证全行的帐务没有偏差。另外，为了提高联机交易的反应时间，一些对帐清算等不需要实时入账的功能也由批量来完成；类似的，还有一些为了减少柜员工作量和减少高峰时期资源争夺的交易，如待收代付等，也归入批量完成的功能，跑批影响就是在做上面工作时，对系统和算力造成的系统延迟、算力减低、其他非跑批任务暂停等的影响)的时间序列如附图3所示。现有的方法是在频繁告警的区域范围通过设置「告警静默期」来忽略掉监控可能出现的误报，但是静默期设置过短，仍有误报的风险；静默期设置过长，可能会忽略实际的生产故障。r/>[0003]不稳定周期性行为在实际的生产运维领域及其常见，而相关技术的不成熟要么导致管理员对于相关告警熟视无睹，要么设置较长的告警屏蔽期导致错过一个大型故障的夜间隐患，本专利技术专注在这个场景上，让运维监控在高召回的前提下尽量提升准确率。基于此，本专利技术提出了一种针对不稳定周期性行为的时间序列的异常检测方法。

技术实现思路

[0004]为了解决现有技术中的上述问题，即为了解决在现有生产运维领域中因受不稳定周期性行为的影响，导致故障、异常检测准确率较低、缺乏实时性的问题，本专利技术提出了一种针对不稳定周期性行为的时间序列的异常检测方法，该方法包括：
[0005]步骤S100，获取运维服务中设定的定期任务在执行时各KPI指标对应的历史统计数据，并按时序信息进行排列，将排列后的统计数据作为输入数据；所述定期任务包括压测、升级、切换；
[0006]步骤S200，对所述输入数据进行标准化处理；
[0007]步骤S300，将标准化处理后的输入数据输入预训练的Bi
‑
LSTM网络模型，得到各KPI指标受所述定期任务的影响的开始、结束的预测时间，作为预测值；
[0008]步骤S400，计算预测值与真实值之间相对应位置的KPI指标的统计数据的差值；根
据所述异常检测状态规则表，对所述差值进行匹配，得到属于异常状态的差值；所述真实值为在所述定期任务执行时各KPI指标受其影响的开始、结束的实际时间；所述异常状态包括需要屏蔽告警的正常中断、不能屏蔽告警的故障中断；
[0009]步骤S500，将不同时间范围的属于异常状态的差值进行Gumbel分布的拟合，获取每个相对位置出现尖峰的概率，即每个时间点各KPI指标受到所述定期任务影响发生突变的概率分布；若所述概率分布大于设定概率分布阈值，则进行异常预警；
[0010]其中，所述异常检测状态规则表，为预设的差值阈值与预设的异常状态的映射关系。
[0011]在一些优选的实施方式中，步骤S500之后还包括对位置基线的修正的步骤，具体为：按照设定的百分比调高阈值的范围，随机选取百分比调高阈值对出现尖峰概率的基线进行调高。
[0012]在一些优选的实施方式中，步骤S500之后还包括误报判断的步骤，具体为：
[0013]根据设定的百分比调高阈值的范围，按比例进行划分；
[0014]计算位置基线受历史同期尖峰影响的比率，作为第一比率：第一比率＝(当前位置基线
‑
历史同期位置基线)/当前位置基线；
[0015]计算尖峰概率高的位置由于尖峰的突然出现的影响的比率，作为第二比率：第二比率＝(出现尖峰概率高的位置基线
‑
历史同期位置基线)/出现尖峰概率高的位置基线；
[0016]计算第一比率与第二比率之间的偏差，若该偏差小于设定的偏差阈值，则异常预警属于误报，否则不属于误报。
[0017]在一些优选的实施方式中，所述百分比调高阈值的范围为10％
‑
20％。
[0018]在一些优选的实施方式中，所述标准化处理，包括Min
‑
max标准化、z
‑
score标准化、取对数处理。
[0019]在一些优选的实施方式中，所述Gumbel分布，其拟合方法为：
[0020][0021]其中，μ是位置系数，β是尺度系数，x表示差值。
[0022]在一些优选的实施方式中，所述差值阈值，其计算方法为：
[0023]差值阈值＝(预测值
‑
真实值)/真实值。
[0024]本专利技术的第二方面，提出了一种针对不稳定周期性行为的时间序列的异常检测系统，该系统包括：数据获取模块、标准化处理模块、预测模块、差值计算模块、拟合模块；
[0025]所述数据获取模块，配置为获取运维服务中设定的定期任务在执行时各KPI指标对应的历史统计数据，并按时序信息进行排列，将排列后的统计数据作为输入数据；所述定期任务包括压测、升级、切换；
[0026]所述标准化处理模块，配置为对所述输入数据进行标准化处理；
[0027]所述预测模块，配置为将标准化处理后的输入数据输入预训练的Bi
‑
LSTM网络模型，得到各KPI指标受所述定期任务的影响的开始、结束的预测时间，作为预测值；
[0028]所述差值计算模块，配置为计算预测值与真实值之间相对应位置的KPI指标的统计数据的差值；根据所述异常检测状态规则表，对所述差值进行匹配，得到属于异常状态的差值；所述真实值为在所述定期任务执行时各KPI指标受其影响的开始、结束的实际时间；
所述异常状态包括需要屏蔽告警的正常中断、不能屏蔽告警的故障中断；
[0029]所述拟合模块，配置为将不同时间范围的属于异常状态的差值进行Gumbel分布的拟合，获取每个相对位置出现尖峰的概率，即每个时间点各KPI指标受到所述定期任务影响发生突变的概率分布；若所述概率分布大于设定概率分布阈值，则进行异常预警；
[0030]其中，所述异常检测状态规则表，为预设的差值阈值与预设的异常状态的映射关系。
[0031]本专利技术的第三方面，提出了一种电子设备，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的针对不稳定周期性行为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对不稳定周期性行为的时间序列的异常检测方法，其特征在于，该方法包括：步骤S100，获取运维服务中设定的定期任务在执行时各KPI指标对应的历史统计数据，并按时序信息进行排列，将排列后的统计数据作为输入数据；所述定期任务包括压测、升级、切换；步骤S200，对所述输入数据进行标准化处理；步骤S300，将标准化处理后的输入数据输入预训练的Bi
‑
LSTM网络模型，得到各KPI指标受所述定期任务的影响的开始、结束的预测时间，作为预测值；步骤S400，计算预测值与真实值之间相对应位置的KPI指标的统计数据的差值；根据所述异常检测状态规则表，对所述差值进行匹配，得到属于异常状态的差值；所述真实值为在所述定期任务执行时各KPI指标受其影响的开始、结束的实际时间；所述异常状态包括需要屏蔽告警的正常中断、不能屏蔽告警的故障中断；步骤S500，将不同时间范围的属于异常状态的差值进行Gumbel分布的拟合，获取每个相对位置出现尖峰的概率，即每个时间点各KPI指标受到所述定期任务影响发生突变的概率分布；若所述概率分布大于设定概率分布阈值，则进行异常预警；其中，所述异常检测状态规则表，为预设的差值阈值与预设的异常状态的映射关系。2.根据权利要求1所述的针对不稳定周期性行为的时间序列的异常检测方法，其特征在于，步骤S500之后还包括对位置基线的修正的步骤，具体为：按照设定的百分比调高阈值的范围，随机选取百分比调高阈值对出现尖峰概率的基线进行调高。3.根据权利要求1所述的针对不稳定周期性行为的时间序列的异常检测方法，其特征在于，步骤S500之后还包括之后还包括误报判断的步骤，具体为：计算位置基线受历史同期尖峰影响的比率，作为第一比率：第一比率＝(当前位置基线
‑
历史同期位置基线)/当前位置基线；计算尖峰概率高的位置由于尖峰的突然出现的影响的比率，作为第二比率：第二比率＝(出现尖峰概率高的位置基线
‑
历史同期位置基线)/出现尖峰概率高的位置基线；计算第一比率与第二比率之间的偏差，若该偏差小于设定的偏差阈值，则异常预警属于误报，否则不属于误报。4.根据权利要求2所述的针对不稳定周期性行为的时间序列的异常检测方法，其特征在于，所述百分比调高阈值的范围为10％
‑
20％。5.根据权利要求1所述的针对不稳定周期性行为的时间序列的异常检测方法，其特征在于，所述标准化处理，包括Min
‑

【专利技术属性】
技术研发人员：魏永强，胡殿明，刘雨亮，
申请(专利权)人：北京感易智能科技有限公司，
类型：发明
国别省市：