基于流式处理的监控指标异常检测方法、装置及设备制造方法及图纸

本说明书提供了一种基于流式处理的监控指标异常检测方法、装置及设备。从日志信息中获取目标监控指标的指标信息构成流式数据；流式地读取所述流式数据，并将所读取的流式数据聚合到指定维度的聚合窗口；根据预定的触发条件对所述聚合窗口内的所述流式数据进行异常检测，以判断所述目标监控指标是否出现异常。通过在流式处理平台上集成异常检测算法，流式地对数据进行实时的异常检测，可以实现对海量数据进行分钟级甚至秒级的异常检测。

Anomaly detection methods, devices and equipment for monitoring indicators based on flow processing

【技术实现步骤摘要】
基于流式处理的监控指标异常检测方法、装置及设备
本专利技术涉及智能运维
，尤其涉及一种基于流式处理的监控指标异常检测方法、装置及设备。
技术介绍
信息化时代，为了保障各业务平台的正常运行，需要对各个业务平台进行监控。在对业务平台及各业务数据进行监控时，需要从海量的日志信息中抽取一些高可用的监控指标，通过各种异常检测算法对这些监控指标进行异常检测，如发现异常，则及时报警，以便运维人员进行处理。为了能够及时的报警以便运维人员对异常进行及时处理，避免造成太大的损失，一般要求异常报警的延时要在分钟级甚至是秒级内。但是目前很多业务平台的指标的inputtps平均都在百万量级，要及时的分析这些指标并及时报警，对整个监控方案的架构和算法设计都提出了非常高的要求。目前的监控平台在日志数据非常巨大时，还无法实现实时的异常检测。
技术实现思路
为克服相关技术中存在的问题，本说明书提供了一种基于流式处理的监控指标异常检测方法、装置及设备。首先，本说明书提供了一种基于流式处理的监控指标异常检测方法，所述方法包括：从日志信息中获取目标监控指标的指标信息，所述指标信息为流式数据；流式地读取所述流式数据，并将所本文档来自技高网...

【技术保护点】
1.一种基于流式处理的监控指标异常检测方法，所述方法包括：从日志信息中获取目标监控指标的指标信息，所述指标信息为流式数据；流式地读取所述流式数据，并将所读取的流式数据聚合到指定维度的聚合窗口；根据预定的触发条件对所述聚合窗口内的所述流式数据进行异常检测，以判断所述目标监控指标是否出现异常。

【技术特征摘要】
1.一种基于流式处理的监控指标异常检测方法，所述方法包括：从日志信息中获取目标监控指标的指标信息，所述指标信息为流式数据；流式地读取所述流式数据，并将所读取的流式数据聚合到指定维度的聚合窗口；根据预定的触发条件对所述聚合窗口内的所述流式数据进行异常检测，以判断所述目标监控指标是否出现异常。2.如权利要求1所述的基于流式处理的监控指标异常检测方法，所述目标监控指标包括：CPU使用率、硬盘使用率、内存使用率和/或GC回收次数。3.如权利要求1所述的基于流式处理的监控指标异常检测方法，所述流式数据至少包括以下信息：监控维度信息、时间戳和目标监控指标的观测值，其中所述监控维度信息用于标识所述指定维度。4.如权利要求1所述的基于流式处理的监控指标异常检测方法，根据预定的触发条件对所述聚合窗口内的所述流式数据进行异常检测具体包括：判断所述聚合窗口的Watermark是否到达；如到达，则对所述聚合窗口的流式数据进行异常检测。5.如权利要求4所述的基于流式处理的监控指标异常检测方法，所述方法还包括：在判断所述Watermark到达后，则启动计时器计时，并将延时到达的流式数据分发到预先设置的延时等待窗口；待计时时长达到预设值，则将所述延时等待窗口的流式数据添加到所述聚合窗口；再次对所述聚合窗口的流式数据进行异常检测。6.如权利要求1-5所述的基于流式处理的监控指...

【专利技术属性】
技术研发人员：赵孝松，王少华，游永胜，陈治，周扬，霍扬扬，杨树波，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY