一种告警日志的高效关联方法技术

本发明专利技术公开了一种告警日志的高效关联方法，其步骤包括：1、序列化告警信息日志，获得时间段‑事件集表；2、均分时间‑事件集表，改变数据结构，获得事件‑时间段集表；3、迭代计算频繁项集；4、推送重要度最高若干告警信息。本发明专利技术能高效地处理海量告警信息，推送引发告警风暴的告警条目，从而大大减少运维人员的工作负担，并且为分布式告警日志处理提供了可靠的方法。

An Efficient Association Method for Alarm Logs

【技术实现步骤摘要】
一种告警日志的高效关联方法
本专利技术属于运维系统优化领域，具体地说是一种告警日志的高效关联方法。
技术介绍
当前，处于数据大爆炸的时代，不同的公司都有自己的运维系统，这些运维系统负责维护并确保整个服务的高可用性，同时不断优化系统架构提升部署效率、优化资源利用率提高整体ROI。运维系统中最重要的环节就是告警的产生和推送，由于系统故障的特殊性，系统的某个模块发生错误，往往会产生风暴式的告警信息，这就对运维人员排查系统故障造成了极大的困难，运维人员的经验成为了提高排除故障效率的关键，这对于具有复杂IT基础架构，并且信息通信运维对象的规模和复杂度日益提高的企业造成了巨大的困扰。这些因素导致了过去互联网的IT基础架构运维经验已经无法满足现今的需求，必须针对现在企业架构的特点设计专有方法和技术。现有的一些告警信息优化的方法，往往利用的传统的Apriori算法，不能够分布式处理的同时，还会产生数量级的数据，这对于告警日志规模越来越大的企业显然是不适用的。
技术实现思路
本专利技术为了克服现有技术存在的不足之处，提出一种告警日志的高效关联方法，以期能快速、有效、动态地关联日志中的各类事件，从而为运维人员高效排除系统故障提供可靠的技术支持。本专利技术为解决技术问题采用如下技术方案：本专利技术一种告警日志的高效关联方法，所述告警信息是由n条有时间信息的告警条目组成，记为I＝{I1,I2...,Ii,...,In}，其中，Ii表示第i条告警条目，且第i条告警条目由三个特征组成，分别为第i个时间特征ti，第i个事件特征ei和第i个紧急度pi，1≤i≤n；定义为时间段-事件集合，其中，表示第k1个时间特征至第k2个时间特征之间的时间段中出现的非重复事件集合，且ey表示第y个事件特征，1≤kh≤n,1≤y＜n；定义为事件-时间段集合，其中，表示第z个事件特征ez所出现的时间段，且表示第kβ个时间特征到第kβ+1个时间特征之间的时间段；1≤y≤z＜n；定义F＝{F1,F2,...,Fα,...,Fu}为频繁项集合，其中，Fα表示频繁α项集；其特点是，所述关联方法是按如下步骤进行：步骤1、定义时间起始点为start，定义临时事件集合为temp，初始化i＝2，start＝1，temp＝{e1}；步骤2、利用式(1)得到相邻两条日志条目的时间差Δti,i-1：Δti,i-1＝ti-ti-1(1)步骤3、判断Δti,i-1≤Δt是否成立，若成立，则直接执行步骤4；否则，将temp赋值给并令临时事件集合temp为空集，令start＝i-1后执行步骤4；其中，Δt表示所设定的时间差阈值；步骤4、判断是否成立，若成立，将第i个事件特征ei添加到temp后，执行步骤5；否则，直接执行步骤5；步骤5、将i+1赋值给i后，判断i＞n是否成立，若成立，则执行步骤6；否则，返回步骤2顺序执行，从而获得时间段-事件集合步骤6、均分所述时间段-事件集合得到第一时间段-事件集合和第二时间段-事件集合其中1≤b≤n/2＜x≤h≤n；步骤7、定义候选α项集为Cα，定义Cα[d]为候选α项集Cα中第d个元素，且1≤α≤z；为候选α项集Cα中第d个元素的第α项，初始化α＝1、Cα为空集、Fα为空集；步骤8、定义变量为j，并初始化j＝1；步骤9、判断是否成立，若成立，则将第j个事件特征ej添加到Cα中，并执行步骤10；否则，直接执行步骤10；步骤10、将j+1赋值给j后，判断j＞n是否成立，若成立，则执行步骤11；否则，返回步骤9，从而得到候选α项集Cα＝{e1,e2,....,ez}；步骤11、定义变量为m，并初始化m＝1；步骤12、对于第m个事件特征em，在第一时间段-事件集合和第二时间段-事件集合中分别查找第m个事件特征em所出现的时间段，记为和步骤13、将m+1赋值给m，判断m＞z是否成立，若成立，则执行步骤14；否则，返回步骤12；从而得到事件-时间段集合步骤14、初始化d＝1；步骤15、根据式(2)得到候选α项集Cα中第d个元素Cα[d]在第select时间段-事件集合的支持度式(2)中，表示集合的长度，即集合中时间段的个数；为候选α项集Cα中第d个元素Cα[d]的第α项在第select时间段-事件集合中所出现的时间段集合，其中，变量select＝one或者select＝two；步骤16、根据(3)得到候选α项集Cα的第d个元素Cα[d]的总支持度sup(Cα[d])：步骤17、判断α＝1是否成立，若成立，则执行步骤18；否则，执行步骤20；步骤18、判断sup(Cα[d])≥Min_sup是否成立，若成立，则将Cα[d]加入Fα中，并执行步骤19；否则，直接执行步骤19；其中，Min_sup为所设定的最小支持度阈值；步骤19、将d+1赋值给d，判断d＞z是否成立，若成立，则执行步骤20；否则，返回步骤18；从而得到频繁α项集Fα；步骤20、根据式(4)得到第d个元素Cα[d]的缓存值Cache(Cα[d])：步骤21、根据Apriori算法自连接规则，自连接频繁α项集Fα得到候选α+1项集Cα+1；步骤22、初始化d＝1，初始化频繁α+1项集Fα+1为空集；定义为候选α项集Cα中第d个元素Cα[d]除去最后一项后的元素，即步骤23、对于的值进行判断：若则执行步骤24；若或{1,1}，则执行步骤25；若或{2,2}，则执行步骤26；若则执行步骤27；若则执行步骤28；若则执行步骤29；步骤24、判断sup(Cα+1[d])≥Min_sup是否成立，若成立，则将Cα+1[d]加入频繁α+1项集Fα+1中，并执行步骤29；否则，执行步骤29；步骤25、判断是否成立，若成立，将Cα+1[d]加入频繁α+1项集Fα+1中，并执行步骤29；否则，执行步骤24；步骤26、判断是否成立，若成立，将Cα+1[d]加入频繁α+1项集Fα+1中，并执行步骤29；否则，执行步骤24；步骤27、判断是否成立，若成立，将Cα+1[d]加入频繁α+1项集Fα+1中，并执行步骤29；否则，执行步骤24；步骤28、判断是否成立，若成立，将Cα+1[d]加入频繁α+1项集Fα+1中，并执行步骤29；否则，执行步骤24；步骤29、判断Cα[d]是否是候选α+1项集Cα+1的最后一个元素，若是，则执行步骤30；否则，将d+1赋值给d，返回步骤23；从而得到频繁α+1项集Fα+1；步骤30、判断频繁α+1项集Fα+1是否为空集，若成立，则执行步骤31；否则，将α+1赋值给α，返回步骤21；从而得到频繁集合F＝{F1,F2,...,Fα,...,Fu}；步骤31、初始化s＝0，d＝1，α＝u；定义常量k0，并初始化k0＝1，记Fα[d]为频繁α项集Fα中第d个元素；步骤32、判断Fα[d]是否是的子集，若是，则执行步骤36；否则执行步骤33；步骤33、判断Fα[d]是否是频繁α项集Fα中最后一个元素，若是，则执行步骤34；否则，将d+1赋值给d，返回步骤32；步骤34、将α-1赋值给α，判断α＝0是否成立，若成立，则将中全部事件作为结果输出，并执行步骤35；否则，初始化d＝1，返回步骤32；步骤35、将s+1赋值给s，判断s+1＝n是否成立，若成立，则表示关联方法完成；否则，初始化d＝1，返回步骤32；本文档来自技高网...

【技术保护点】
1.一种告警日志的高效关联方法，所述告警信息是由n条有时间信息的告警条目组成，记为I＝{I1,I2...,Ii,...,In}，其中，Ii表示第i条告警条目，且第i条告警条目由三个特征组成，分别为第i个时间特征ti，第i个事件特征ei和第i个紧急度pi，1≤i≤n；定义

【技术特征摘要】
1.一种告警日志的高效关联方法，所述告警信息是由n条有时间信息的告警条目组成，记为I＝{I1,I2...,Ii,...,In}，其中，Ii表示第i条告警条目，且第i条告警条目由三个特征组成，分别为第i个时间特征ti，第i个事件特征ei和第i个紧急度pi，1≤i≤n；定义为时间段-事件集合，其中，表示第k1个时间特征至第k2个时间特征之间的时间段中出现的非重复事件集合，且ey表示第y个事件特征，1≤kh≤n,1≤y＜n；定义为事件-时间段集合，其中，表示第z个事件特征ez所出现的时间段，且表示第kβ个时间特征到第kβ+1个时间特征之间的时间段；1≤y≤z＜n；定义F＝{F1,F2,...,Fα,...,Fu}为频繁项集合，其中，Fα表示频繁α项集；其特征是，所述关联方法是按如下步骤进行：步骤1、定义时间起始点为start，定义临时事件集合为temp，初始化i＝2，start＝1，temp＝{e1}；步骤2、利用式(1)得到相邻两条日志条目的时间差Δti,i-1：Δti,i-1＝ti-ti-1(1)步骤3、判断Δti,i-1≤Δt是否成立，若成立，则直接执行步骤4；否则，将temp赋值给并令临时事件集合temp为空集，令start＝i-1后执行步骤4；其中，Δt表示所设定的时间差阈值；步骤4、判断是否成立，若成立，将第i个事件特征ei添加到temp后，执行步骤5；否则，直接执行步骤5；步骤5、将i+1赋值给i后，判断i＞n是否成立，若成立，则执行步骤6；否则，返回步骤2顺序执行，从而获得时间段-事件集合步骤6、均分所述时间段-事件集合得到第一时间段-事件集合和第二时间段-事件集合其中1≤b≤n/2＜x≤h≤n；步骤7、定义候选α项集为Cα，定义Cα[d]为候选α项集Cα中第d个元素，且1≤α≤z；为候选α项集Cα中第d个元素的第α项，初始化α＝1、Cα为空集、Fα为空集；步骤8、定义变量为j，并初始化j＝1；步骤9、判断是否成立，若成立，则将第j个事件特征ej添加到Cα中，并执行步骤10；否则，直接执行步骤10；步骤10、将j+1赋值给j后，判断j＞n是否成立，若成立，则执行步骤11；否则，返回步骤9，从而得到候选α项集Cα＝{e1,e2,....,ez}；步骤11、定义变量为m，并初始化m＝1；步骤12、对于第m个事件特征em，在第一时间段-事件集合和第二时间段-事件集合中分别查找第m个事件特征em所出现的时间段，记为和步骤13、将m+1赋值给m，判断m＞z是否成立，若成立，则执行步骤14；否则，返回步骤12；从而得到事件-时间段集合步骤14、初始化d＝1；步骤15、根据式(2)得到候选α项集Cα中第d个元素Cα[d]在第select时间段-事件集合的支持度式(2)中，表示集合的长度，即集合中时间段的个数；为候选α项集Cα中第d个元素Cα[d]的第α项在第select时间段-事件集合中所出现的时间段集合，其中，变量select＝one或者select＝two；步骤1...

【专利技术属性】
技术研发人员：李昂，赵峰，乔林，徐立波，王琼，姚峰，杨波，王怀宇，刘树吉，程周育，窦国贤，顾昊旻，巫乾军，朱亮，陆宏波，
申请(专利权)人：安徽继远软件有限公司，国网信息通信产业集团有限公司，全球能源互联网研究院有限公司，国网甘肃省电力公司信息通信公司，国网辽宁省电力有限公司信息通信分公司，国家电网有限公司信息通信分公司，南瑞集团有限公司，国家电网有限公司，
类型：发明
国别省市：安徽,34