基于统计学根源告警规则的传输网络告警过滤方法与装置制造方法及图纸

本发明专利技术公开了一种基于统计学根源告警规则的传输网络告警过滤方法：对传输网络的告警数据池进行预处理，得到经预处理的数据；对所述经预处理的数据进行统计分析，得到多个初始根源告警规则库；对所述多个初始根源告警规则库进行告警规则库融合生成融合规则库；将生成的融合规则库添加到旧根源告警规则库形成根源告警规则库；将所述根源告警规则库应用到传输网络，对所述传输网络进行告警过滤。本发明专利技术可依据根源告警规则将告警进行收敛，过滤掉无用告警及次要告警；并且能不断的丰富根源告警规则库，提高告警覆盖面。本发明专利技术还公开了相应的基于统计学根源告警规则的传输网络告警过滤装置。滤装置。滤装置。

【技术实现步骤摘要】
基于统计学根源告警规则的传输网络告警过滤方法与装置


[0001]本专利技术属于网络通信
，更具体地，涉及一种基于统计学根源告警规则的传输网络告警过滤方法与装置。

技术介绍

[0002]近年来，传输网络快速发展，传输网络规模不断扩大，使得传输网络告警的预测和定位等得到普遍的关注，根源告警规则作为传输网络告警分析的重要手段，己经成为时下国内外研究机构、各公司的热门研究项目。目前关于根源告警规则的研究方法有许多，比如常见的有基于事例推理方法，它主要是利用过去已经出现的事例，将它们作为经验保存起来以供后续参考使用。当问题被解决，则事例被保存进事例库；当问题未被解决，则原因会被记录下来。但是，该系统无法解决和事例库中事例不匹配的问题，并且无法适应网络告警的动态变化。为此，开发一套既能生成根源告警规则又能适应网络告警动态变化的方法及软件，非常有实用价值。

技术实现思路

[0003]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于统计学根源告警规则的传输网络告警过滤方案，其目的在于，能够根据传输网络告警数据池进行学习生成告警规则，从而既能生成根源告警规则又能适应网络告警动态变化。
[0004]为实现上述目的，按照本专利技术的一个方面，提供了一种基于统计学根源告警规则的传输网络告警过滤方法，包括：
[0005]对传输网络的告警数据池进行预处理，得到经预处理的数据；
[0006]对所述经预处理的数据进行统计分析，得到多个初始根源告警规则库；
[0007]对所述多个初始根源告警规则库进行告警规则库融合生成融合规则库；
[0008]将生成的融合规则库添加到旧根源告警规则库形成根源告警规则库；
[0009]将所述根源告警规则库应用到传输网络，对所述传输网络进行告警过滤。
[0010]本专利技术的一个实施例中，对传输网络的告警数据池进行预处理，得到经预处理的数据，具体包括：
[0011]保证数据完整，告警数据中存在关键属性缺失的情况，此类告警数据需要过滤处理；
[0012]保证数据唯一，告警数据中存在高频告警数据，或短时间内反复触发的告警数据等情况，此类告警数据需要去重处理；
[0013]创建告警数据集，依据传输网络结构、业务及告警发生时间将告警数据池里的告警数据划分成多个告警数据集。
[0014]本专利技术的一个实施例中，对所述经预处理的数据进行统计分析，为使用TF_IDF模型公式TF_IDF(α)＝TF(β,α)*IDF(α)进行统计分析，其中TF_IDF(α)表示告警数据α对告警数据集β的重要性，TF(β,α)表示α告警数据在告警数据集β中出现的频率，IDF(α)表示告警
数据α在告警数据池中的逆向告警数据集频率。
[0015]本专利技术的一个实施例中，在模型公式TF_IDF(α)＝TF(β,α)*IDF(α)中：
[0016]等号的左边：α表示单个告警数据，TF_IDF(α)表示告警数据α对告警数据集β的重要性；
[0017]等号的右边：
[0018]TF(β,α)表示α告警数据在告警数据集β中出现的频率，β表示单个告警数据集，Count(β,α)表示α告警数据在告警数据集β中出现的次数，Count(β,*)表示告警数据集β中有多少个告警数据；
[0019]IDF(α)表示告警数据α在告警数据池中的逆向告警数据集频率，N表示告警数据池中有多少个告警数据集，N(α)表示告警数据α在N个告警数据集中出现了多少次。
[0020]本专利技术的一个实施例中，对所述多个初始根源告警规则库进行告警规则库融合生成融合规则库，具体包括：
[0021]判定初始根源告警规则库θ1至θn中一根源告警规则δ的参考值X若大于等于χ则规则保留，小于χ则舍弃；其中参考值的计算公式为X的范围为0到1；
[0022]其中An表示初始根源告警规则库θn的相对权重，an表示初始根源告警规则库θn的权重，count(βn,*)表示告警数据集βn中有多少个告警数据，count(θn,*)表示初始根源告警规则库θn中有多少个告警规则；
[0023]Bn表示某一根源告警规则δ在初始根源告警规则库θn中是否出现，出现则Bn为1，未出现则Bn为0；
[0024]其中所述初始根源告警规则库θ1至θn是对多个传输网络告警数据池通计算得出的。
[0025]按照本专利技术的另一方面，还提供了一种基于统计学根源告警规则的传输网络告警过滤装置，其特征在于，包括预处理模块、统计分析模块、规则库融合模块、根源告警规则库合并模块以及告警过滤模块，其中：
[0026]所述预处理模块，用于对传输网络的告警数据池进行预处理，得到经预处理的数据；
[0027]所述统计分析模块，用于对所述经预处理的数据进行统计分析，得到多个初始根源告警规则库；
[0028]所述规则库融合模块，用于对所述多个初始根源告警规则库进行告警规则库融合生成融合规则库；
[0029]所述根源告警规则库合并模块，用于将生成的融合规则库添加到旧根源告警规则库形成根源告警规则库；
[0030]所述告警过滤模块，用于将所述根源告警规则库应用到传输网络，对所述传输网
络进行告警过滤。
[0031]本专利技术的一个实施例中，所述预处理模块对传输网络的告警数据池进行预处理，得到经预处理的数据，具体包括：
[0032]保证数据完整，告警数据中存在关键属性缺失的情况，此类告警数据需要过滤处理；
[0033]保证数据唯一，告警数据中存在高频告警数据，或短时间内反复触发的告警数据等情况，此类告警数据需要去重处理；
[0034]创建告警数据集，依据传输网络结构、业务及告警发生时间将告警数据池里的告警数据划分成多个告警数据集。
[0035]本专利技术的一个实施例中，所述统计分析模块对所述经预处理的数据进行统计分析，为使用TF_IDF模型公式TF_IDF(α)＝TF(β,α)*IDF(α)进行统计分析，其中TF_IDF(α)表示告警数据α对告警数据集β的重要性，TF(β,α)表示α告警数据在告警数据集β中出现的频率，IDF(α)表示告警数据α在告警数据池中的逆向告警数据集频率。
[0036]本专利技术的一个实施例中，在模型公式TF_IDF(α)＝TF(β,α)*IDF(α)中：
[0037]等号的左边：α表示单个告警数据，TF_IDF(α)表示告警数据α对告警数据集β的重要性；
[0038]等号的右边：
[0039]TF(β,α)表示α告警数据在告警数据集β中出现的频率，β表示单个告警数据集，Count(β,α)表示α告警数据在告警数据集β中出现的次数，Count(β,*)表示告警数据集β中有多少个告警数据；
[0040]IDF(α)表示告警数据α在告警数据池中的逆向告警数据集频率，N表示告警数据池中有多少个告警数据集，N(α)表示告警数据α在N个告警数据集中出现了多少次。
[0041]本专利技术的一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于统计学根源告警规则的传输网络告警过滤方法，其特征在于，包括：对传输网络的告警数据池进行预处理，得到经预处理的数据；对所述经预处理的数据进行统计分析，得到多个初始根源告警规则库；对所述多个初始根源告警规则库进行告警规则库融合生成融合规则库；将生成的融合规则库添加到旧根源告警规则库形成根源告警规则库；将所述根源告警规则库应用到传输网络，对所述传输网络进行告警过滤。2.如权利要求1所述的基于统计学根源告警规则的传输网络告警过滤方法，其特征在于，对传输网络的告警数据池进行预处理，得到经预处理的数据，具体包括：保证数据完整，告警数据中存在关键属性缺失的情况，此类告警数据需要过滤处理；保证数据唯一，告警数据中存在高频告警数据，或短时间内反复触发的告警数据等情况，此类告警数据需要去重处理；创建告警数据集，依据传输网络结构、业务及告警发生时间将告警数据池里的告警数据划分成多个告警数据集。3.如权利要求1或2所述的基于统计学根源告警规则的传输网络告警过滤方法，其特征在于，对所述经预处理的数据进行统计分析，为使用TF_IDF模型公式TF_IDF(α)＝TF(β,α)*IDF(α)进行统计分析，其中TF_IDF(α)表示告警数据α对告警数据集β的重要性，TF(β,α)表示α告警数据在告警数据集β中出现的频率，IDF(α)表示告警数据α在告警数据池中的逆向告警数据集频率。4.如权利要求3所述的基于统计学根源告警规则的传输网络告警过滤方法，其特征在于，在模型公式TF_IDF(α)＝TF(β,α)*IDF(α)中：等号的左边：α表示单个告警数据，TF_IDF(α)表示告警数据α对告警数据集β的重要性；等号的右边：TF(β,α)表示α告警数据在告警数据集β中出现的频率，β表示单个告警数据集，Count(β,α)表示α告警数据在告警数据集β中出现的次数，Count(β,*)表示告警数据集β中有多少个告警数据；IDF(α)表示告警数据α在告警数据池中的逆向告警数据集频率，N表示告警数据池中有多少个告警数据集，N(α)表示告警数据α在N个告警数据集中出现了多少次。5.如权利要求1或2所述的基于统计学根源告警规则的传输网络告警过滤方法，其特征在于，对所述多个初始根源告警规则库进行告警规则库融合生成融合规则库，具体包括：判定初始根源告警规则库θ1至θn中一根源告警规则δ的参考值X若大于等于χ则规则保留，小于χ则舍弃；其中参考值的计算公式为X的范围为0到1；其中An表示初始根源告警规则库θn的相对权重，an表示初始根源告警规则库θn的权重，count(βn,*)表示告警数据集βn中有多少个告警数据，
count(θn,*)表示初始根源告警规则库θn中有多少个告警规则；Bn表示某一根源告警规则δ在初始根源告警规则库θn中是否出现，出现则Bn为1，未出现则Bn为0；其中所述初始根源告警规则库θ1至θn是对多个传输网络告警数据池通计算得出的。6.一种基于统计学根源告警规则的传输网络告警过滤装置，其特征在于，包括预处理模块、统计分析模块、规则库融合模块、根源告警规则库合并模块...

【专利技术属性】
技术研发人员：彭卓，付伟夫，
申请(专利权)人：武汉烽火技术服务有限公司，
类型：发明
国别省市：