【技术实现步骤摘要】
一种基于滑动窗口和关联规则分析的告警数据收敛方法
[0001]本专利技术涉及运维监控领域,尤其涉及一种基于滑动窗口和关联规则分析的告警数据收敛方法。
技术介绍
[0002]在运维监控系统中,每天会产生大量的告警数据,比如针对云平台的监控系统中,告警监控系统会实时监测云平台的CPU、内存、网速、吞吐量以及磁盘性能等多项指标,当某项指标达到异常监测阈值时,会触发告警任务,产生告警数据,告警数据的属性有指标名称,指标阈值,指标值等。当业务系统逐渐扩展到一定量级时,这些告警数据将成指数级增长,海量的告警数据将会形成告警风暴等的不利场景,从而可能在短时间内产生大量的重复告警或相似告警,以及多指标同时异常的海量告警数据等。当大量的告警数据袭来,单纯依靠运维人员手动处理告警数据,不能满足运维系统的要求,无法快速响应业务系统的异常,从而造成数据丢失,系统崩溃等影响。在初期的业务系统中,不得不依托大量的人力来处理这些告警,甚至包括占比很高的噪声告警,这些工作耗费了大量的人力物力,而取得的效果却事倍功半。
技术实现思路
[000 ...
【技术保护点】
【技术特征摘要】
1.一种基于滑动窗口和关联规则分析的告警数据收敛方法,其特征在于,通过数据分析和大数据挖掘技术,在对告警数据的预处理之后,使用滑动窗口方法对告警数据进行处理,进而进行告警频繁项集挖掘和关联规则分析,通过对规则参数阈值的调优,缩减相关告警的规模,做到精准化告警推送。2.根据权利要求1所述的方法,其特征在于,包括:1)告警数据预处理,并形成归一化的告警模板数据;2)通过滑动窗口对告警模板进行数据分组;3)对分组后的数据进行频繁项集挖掘,并通过自定义支持度,过滤不满足条件的项集;4)对过滤后的频繁项集进行关联规则分析,得到若干关联规则;5)过滤不满足置信度和提升度的规则;6)对过滤后的关联规则,前项即可定义后项,可将前后项同时发生的告警数据进行后项数据的收敛,从而降低告警规模,获取精准化的告警。3.根据权利要求2所述的方法,其特征在于,所述的告警预处理,包括告警异常数据的剔除、重复告警数据的合并;告警信息归一化,归一化指的是的将告警信息进行正则匹配,规则匹配,文本匹配,从而匹配现有模板,若模板匹配失败,则通过文本分词技术,将告警信息提取为告警模板。4.根据权利要求2所述的方法,其特征在于,所述的滑动窗口对告警模板进行分组,通过自定义时间窗口大小和窗口步长,对于时序告警数据按照时间从历史到现在进行滑动处理,得到若干告警分组数据。5.根据权利要求2所述的方法,其特征在于,所述的频繁项集挖掘,通过FP
‑
GROWTH算法对上述滑动窗口处理后的分组数据进行频繁项集挖掘;构造了一棵树...
【专利技术属性】
技术研发人员:华震,陈尧,张永皋,
申请(专利权)人:浪潮云信息技术股份公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。