【技术实现步骤摘要】
告警日志压缩方法、装置及系统、存储介质
[0001]本申请涉及通讯
，特别涉及一种告警日志压缩方法、装置及系统、存储介质。
技术介绍
[0002]通讯网络是由大量的网络设备组成的，这些网络设备每天产生大量的告警日志，所谓告警日志，是指网络设备因某种故障而生成的信息，告警日志中一般包括产生告警日志的网络设备的标识、告警类型(用于指示网络设备发生的故障)和告警日志的产生时间戳等信息。每个网络设备将产生的告警日志上报至告警日志处理设备，网络监控人员通过分析告警日志处理设备上的告警日志，查找出通讯网络中存在的问题后，将问题反馈给网络维护人员去处理。
[0003]随着通讯技术的快速发展，当前各类通讯网络的规模越来越大，结构越来越复杂，通讯网络中网络设备的种类和数量越来越多，大量的网络设备会产生海量的告警日志，其中，这些告警日志中一大部分都是无效或冗余的告警日志。若将网络设备产生的所有的告警日志都呈现给网络监控人员，会导致网络监控人员的分析工作量繁重，无法对告警日志进行有效的监控分析，从而无法及时定位网络中存在的问题。因此，为了提高网络监控人员的工作效率，对告警日志进行有效的压缩，过滤掉一些无效或冗余的告警日志，以减少呈现给网络监控人员的告警日志的数量是很有必要的。
[0004]相关技术中提供了一种对告警日志进行压缩的方法，包括：基于频繁项集的自动化挖掘方法对历史告警日志进行挖掘，以建立不同告警类型之间的关联规则，再由专业的技术人员确认关联规则的准确性以及确定每个关联规则中的根因告警类型和次要告警类型。在告...
【技术保护点】
【技术特征摘要】
1.一种告警类型关联规则的生成方法，其特征在于，用于关联规则的生成设备，所述方法包括：获取通讯网络中的第一网络设备产生的历史告警日志集合，所述历史告警日志集合包括多条历史告警日志，每条所述历史告警日志包括告警类型和产生时间戳；基于所述历史告警日志集合中的历史告警日志的产生时间戳，对所述历史告警日志集合进行划分，得到多个历史告警日志子集合，每个所述历史告警日志子集合中的所有历史告警日志在时序上连续，且所述多个历史告警日志子集合的并集包括所述历史告警日志集合中的所有历史告警日志；确定所述历史告警日志集合中的告警类型与所述多个历史告警日志子集合的对应关系；基于所述对应关系对所述历史告警日志集合中的告警类型进行聚类处理，以生成至少一个关联规则，每个所述关联规则中包括相互关联的根因告警类型和至少一个次要告警类型。2.根据权利要求1所述的方法，其特征在于，所述确定所述历史告警日志集合中的告警类型与所述多个历史告警日志子集合的对应关系，包括：获取所述历史告警日志集合的所有告警类型，得到第一告警类型集合；确定所述第一告警类型集合中的每个告警类型的时序向量，每个所述时序向量用于反映对应的告警类型与所述多个历史告警日志子集合的对应关系；其中，对于每个所述告警类型对应的时序向量，所述时序向量中的数值与所述多个历史告警日志子集合一一对应，所述时序向量中的数值包括第一数值和第二数值中的至少一种，所述第一数值用于指示对应的历史告警日志子集合存在所述告警类型，所述第二数值用于指示对应的历史告警日志子集合不存在所述告警类型，所述第一数值和所述第二数值不同。3.根据权利要求2所述的方法，其特征在于，所述确定所述第一告警类型集合中的每个告警类型的时序向量，包括：对于所述第一告警类型集合中的每个告警类型，执行时序向量确定流程；其中，所述时序向量确定流程，包括：依次检测所述多个历史告警日志子集合中是否存在所述告警类型；基于检测结果，确定所述告警类型的时序向量。4.根据权利要求2或3所述的方法，其特征在于，所述基于所述对应关系对所述历史告警日志集合中的告警类型进行聚类处理，以生成至少一个关联规则，包括：基于所述第一告警类型集合中所有告警类型的时序向量，对所述所有告警类型进行聚类处理，以生成所述至少一个关联规则。5.根据权利要求4所述的方法，其特征在于，所述基于所述第一告警类型集合中所有告警类型的时序向量，对所述所有告警类型进行聚类处理，以生成所述至少一个关联规则，包括：对所述第一告警类型集合执行聚类操作，其中，所述聚类操作包括：设置目标告警类型集合和第二告警类型集合，所述目标告警类型集合和所述第二告警类型集合均为空集合；
将所述第一告警类型集合中的任一告警类型添加至所述目标告警类型集合，并从所述第一告警类型集合中删除添加至所述目标告警类型集合的告警类型；重复执行判别流程直至所述第一告警类型集合为空集合，将所述目标告警类型集合确定为一个关联规则；在所述重复执行判别流程后，当所述第二告警类型集合不为空集合，将所述第二告警类型集合作为新的第一告警类型集合，重复执行所述聚类操作；在所述重复执行判别流程后，当所述第二告警类型集合为空集合，停止执行所述聚类操作；其中，所述判别流程包括：基于待处理告警类型的时序向量和所述目标告警类型集合中所有告警类型的时序向量，计算所述待处理告警类型与所述目标告警类型集合之间的相关度，所述待处理告警类型为所述第一告警类型集合中除所述目标告警类型集合中的告警类型以外的任一告警类型；当所述相关度大于预设相关度阈值时，将所述待处理告警类型添加到所述目标告警类型集合中，得到更新后的目标告警类型集合，并从所述第一告警类型集合中删除所述待处理告警类型；当所述相关度不大于所述预设相关度阈值时，将所述待处理告警类型添加到第二告警类型集合中，并从所述第一告警类型集合中删除所述待处理告警类型。6.根据权利要求4所述的方法，其特征在于，所述基于所述第一告警类型集合中所有告警类型的时序向量，对所述所有告警类型进行聚类处理，以生成所述至少一个关联规则，包括：对所述第一告警类型集合中的目标告警类型进行标记，所述目标告警类型为所述第一告警类型集合中的任一告警类型；对所述第一告警类型集合执行聚类操作，其中，所述聚类操作包括：重复执行判别流程直至遍历完成所述第一告警类型集合中的所有告警类型；在所述重复执行判别流程后，当所述第一告警类型集合中存在未设置有标记的告警类型时，将任一所述未设置有标记的告警类型确定为新的目标告警类型，并对所述新的目标告警类型进行标记，重复执行所述聚类操作，不同的目标告警类型的标记不同；在所述重复执行判别流程后，当所述第一告警类型集合中不存在未设置有标记的告警类型时，停止执行所述聚类操作，并基于所述第一告警类型集合生成所述至少一个关联规则，每个所述关联规则中的告警类型均设置有相同的标记；其中，所述判别流程包括：将所述第一告警类型集合中与所述目标告警类型的标记相同的所有告警类型构成的集合确定为目标告警类型集合；基于待处理告警类型的时序向量和所述目标告警类型集合中所有告警类型的时序向量，计算所述待处理告警类型与所述目标告警类型集合之间的相关度，所述待处理告警类型为所述第一告警类型集合中除所述目标告警类型集合中的告警类型以外的任一告警类型；当所述相关度大于预设相关阈值时，对所述待处理告警类型进行标记，所述待处理告
警类型的标记与所述目标告警类型的标记相同。7.根据权利要求5或6所述的方法，其特征在于，所述基于待处理告警类型的时序向量和所述目标告警类型集合中所有告警类型的时序向量，计算所述待处理告警类型与所述目标告警类型集合之间的相关度，包括：采用皮尔逊相关系数公式，分别计算所述待处理告警类型与所述目标告警类型集合中的每个告警类型的相关度，所述皮尔逊相关系数公式为：其中，Cor(i
i
,i
j
)表示告警类型i
i
与告警类型i
j
之间的相关度，cov(v
i
,v
j
)表示v
i
和v
j
的协方差，表示v
i
的标准差，表示v
j
的标准差，v
i
表示所述告警类型i
i
的时序向量，v
j
表示所述告警类型i
j
的时序向量；采用平均相关度计算公式，基于所述待处理告警类型与所述目标告警类型集合中的每个告警类型的相关度，计算所述待处理告警类型与所述目标告警类型集合之间的相关度，所述平均相关度计算公式为：其中，AveCor(i
j
,R)表示告警类型i
j
与目标告警类型集合R之间的相关度，|R|表示目标告警类型集合R中的告警类型的数量。8.根据权利要求1所述的方法，其特征在于，所述获取通讯网络中的第一网络设备产生的历史告警日志集合，包括：对第一预设时间段内，所述第一网络设备产生的历史告警日志进行预处理，以去除每条所述历史告警日志中的冗余信息，得到所述历史告警日志集合。9.根据权利要求8所述的方法，其特征在于，每条所述历史告警日志以二元组(M，t)格式表示，其中，M表示告警日志信息，t表示产生时间戳，所述告警日志信息至少包括告警类型字段和所述第一网络设备的标识字段。10.根据权利要求1所述的方法，其特征在于，所述历史告警日志集合中的历史告警日志具有时间偏序关系，所述基于所述历史告警日志集合中的历史告警日志的产生时间戳，对所述历史告警日志集合进行划分，得到多个历史告警日志子集合，包括：获取所述历史告警日志集合中历史告警日志的产生时间戳集合；基于所述产生时间戳集合，根据预设的时间窗口长度和窗口滑动步长，采用滑窗技术对所述历史告警日志进行划分得到多个历史告警日志子集合，所述窗口滑动步长不大于所述时间窗口长度。11.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取第二预设时间段内，所述通讯网络中的第二网络设备产生的待处理告警日志集合，所述待处理告警日志集合包括多条待处理告警日志，每条所述待处理告警日志包括告警类型和产生时间戳；基于所述待处理告警日志集合生成至少一个告警事件，每个所述告警事件用于指示所述第二网络设备产生的告警类型相同的告警日志。
12.根据权利要求11所述的方法，其特征在于，所述基于所述待处理告警日志集合生成至少一个告警事件，包括：对于所述待处理告警日志集合的每个告警类型，获取所述待处理告警日志集合中属于所述告警类型的目标告警日志；分别计算所述待处理告警日志集合中在时序上相邻的每两个目标告警日志的发生时间间隔；基于所述每两个目标告警日志的发生时间间隔，将所述待处理告警日志集合中属于同一告警事件的目标告警日志重构成一个告警事件。13.根据权利要求12所述的方法，其特征在于，所述基于所述每两个目标告警日志的发生时间间隔，将所述待处理告警日志集合中属于同一告警事件的目标告警日志重构成一个告警事件，包括：采用指数移动平均法计算两个目标告警日志的预估时间间隔，所述两个目标告警日志为在时序上相邻的任意两个目标告警日志，所述两个目标告警日志包括第一告警日志和第二告警日志，所述第一告警日志在所述第二告警日志之前产生；判断所述两个目标告警日志的发生时间间隔与所述预估时间间隔是否满足预设条件；当所述两个目标告警日志的发生时间间隔与所述预估时间间隔满足预设条件时，确定所述第二告警日志属于所述第一告警日志所属的告警事件，并将所述第二告警日志聚合到所述第一告警日志所属的告警事件中；当所述两个目标告警日志的发生时间间隔与所述预估时间间隔不满足预设条件时，确定所述第二告警日志不属于所述第一告警日志所属的告警事件。14.根据权利要求13所述的方法，其特征在于，所述两个目标告警日志的发生时间间隔s
k
为s
k
＝t
k
‑
t
k
‑1，所述预估时间间隔s
k
'为s
k
'＝α*s
k
‑1+(1
‑
α)*s'
k
‑1，所述预设条件为s
k
≤β*s
k
'，其中，t
k
为所述第二告警日志的产生时间戳，t
k
‑1为所述第一告警日志的产生时间戳，s1＝t1‑
t0，0≤α≤1，k为大于1的整数，β为正数。15.根据权利要求14所述的方法，其特征在于，在所述判断所述两个目标告警日志的发生时间间隔与所述预估时间间隔是否满足预设条件之前，所述方法还包括：当所述两个目标告警日志的发生时间间隔小于或等于预设的最小时间间隔阈值时，确定所述第二告警日志属于所述第一告警日志所属的告警事件；当所述两个目标告警日志的发生时间间隔大于预设的最大时间间隔阈值时，确定所述第二告警日志不属于所述第一告警日志所属的告警事件；其中，s
min
≤β*s
k
'≤s
max
，s
min
为所述最小时间间隔阈值，s
max
为所述最大时间间隔阈值。16.根据权利要求13至15任一所述的方法，其特征在于，在所述确定所述第二告警日志不属于所述第一告警日志所属的告警事件之后，所述方法还包括：结束对所述第一告警日志所属的告警事件的重构，并初始化新的告警事件；将所述第二告警日志聚合到所述新的告警事件中。17.根据权利要求11所述的方法，其特征在于，所述告警事件包括告警类型、所述告警事件中的告警日志的起始发生时刻、结束发生时刻、平均发生时间间隔和发生次数中的至少一种。18.根据权利要求11所述的方法，其特征在于，
所述第二网络设备与所述第一网络设备为同一网络设备；或者，所述第二网络设备与所述第一网络设备为类型相同的不同网络设备。19.一种告警类型关联规则的生成装置，其特征在于，用于关联规则的生成设备，所述装置包括：第一获取模块，用于获取通讯网络中的第一网络设备产生的历史告警日志集合，所述历史告警日志集合包括多条历史告警日志，每条所述历史告警日志包括告警类型和产生时间戳；划分模块，用于基于所述历史告警日志集合中的历史告警日志的产生时间戳，对所述历史告警...
【专利技术属性】
技术研发人员：史济源，张亮，李世昊，包德伟，李健，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。