【技术实现步骤摘要】
一种基于深度学习的网络告警定位方法
本专利技术涉及计算机网络运维,特别涉及一种基于深度学习的网络告警定位方法。
技术介绍
故障管理是网络管理的一个重要组成部分,包括故障发现、故障诊断和故障修复,难点在于确定故障的根源,即故障根因节点。目前各种大型平台的内部涉及到了上百个系统间相互调用,其网络节点之间会产生大量的告警信息。而在网络中如果一个节点出现故障,调用该节点或者需要利用该节点资源的节点可能也会继而发生故障,从而产生大量的告警信息,而且可能比根因故障节点还早发出告警信息。这些问题的存在导致故障定位十分困难。每次网络出现告警时,需要有运维人员在最短时间内正确地判断出告警的关联关系,筛选出根因节点,然后采取相应的措施。如果有海量的告警信息发生,那么对于这些告警信息的人工处理将会占据大量人力资源,而且效率低下,甚至可能有重复告警信息。所以设计出网络告警信息根因定位自动化技术十分有必要。由于网络实在过于庞大,所以故障的发生在网络的运行中是不可能避免的。一般的做法是通过告警信息的告警关联方法,将告警之间的关系找出来,筛选掉不相关的告警信息,留下相关的告警信息。一般的告警关联方法有基于规则推理的方法、人工智能方法、因果图方法等。基于规则推理的方法需要设计一套告警信息出现的规则,实现起来十分困难,并且无法应对事先没有考虑到的情况,稳定性不足。而一般的人工智能方法,难以搜集到包含一堆关联的告警信息数据集,而且对告警信息数据的特征难以确定。而且根因告警信息样本数据一般比较少,所以还有数据不平衡的问题产生,导致模型过拟合,最终 ...
【技术保护点】
1.一种基于深度学习的网络告警定位方法,其特征在于:包括如下步骤:/n步骤1:搜集到历史的一个具体的时间区间内的告警信息样本数据,对这些样本进行重复告警信息删除数据预处理;/n步骤2:去除重复告警信息以后,对孤立节点的样本也进行筛选,筛选完以后对所有样本中的节点的告警信息进行归类,然后对根因告警信息种类进行统计,构建根因节点告警信息类别知识库;/n步骤3:将样本的节点信息和告警信息组合后输入基于分布式假设的词表示模型,最终得到样本的特征表示,每个样本中都包含了特征表示和根因节点标记两个信息;/n步骤4:将样本数据集中的根因标记按1和0分为两个子集,针对根因标记为1的子集中的样本,利用样本扩充方法将其样本数扩充至和根因标记为0的子集样本数一致;/n步骤5:将扩充后的数据集的样本中的特征表示作为LSTM模型的输入,扩充后数据集的样本中的根因标记为LSTM模型的输出,对模型进行训练,并且将模型以及其参数保存下来,得到输入为特征表示,输出为将此样本预测为根因节点的概率值的一个模型;/n步骤6:取得实际中搜集到的新的一天内的告警信息样本数据集,样本中数据的存储内容包含了该样本的节点和该样本的告警 ...
【技术特征摘要】
1.一种基于深度学习的网络告警定位方法,其特征在于:包括如下步骤:
步骤1:搜集到历史的一个具体的时间区间内的告警信息样本数据,对这些样本进行重复告警信息删除数据预处理;
步骤2:去除重复告警信息以后,对孤立节点的样本也进行筛选,筛选完以后对所有样本中的节点的告警信息进行归类,然后对根因告警信息种类进行统计,构建根因节点告警信息类别知识库;
步骤3:将样本的节点信息和告警信息组合后输入基于分布式假设的词表示模型,最终得到样本的特征表示,每个样本中都包含了特征表示和根因节点标记两个信息;
步骤4:将样本数据集中的根因标记按1和0分为两个子集,针对根因标记为1的子集中的样本,利用样本扩充方法将其样本数扩充至和根因标记为0的子集样本数一致;
步骤5:将扩充后的数据集的样本中的特征表示作为LSTM模型的输入,扩充后数据集的样本中的根因标记为LSTM模型的输出,对模型进行训练,并且将模型以及其参数保存下来,得到输入为特征表示,输出为将此样本预测为根因节点的概率值的一个模型;
步骤6:取得实际中搜集到的新的一天内的告警信息样本数据集,样本中数据的存储内容包含了该样本的节点和该样本的告警信息,按步骤3的方法,将新数据集中每个样本的节点和告警信息组合后输入基于分布式假设的词表示模型中生成每个样本的特征表示,得到其对应的特征表示集合;
步骤7:将所有样本的特征表示输入步骤5中存储的模型,得到每个样本被预测为疑似根因节点的概率集合,将所有概率大于阈值的样本节点存储起来作为疑似根因节点集合;
步骤8:将疑似根因节点集合中的节点所发出的告警信息与步骤2中所建立的根因节点告警信息类别知识库中的告警信息种类进行比对,将不存在于知识库中的节点删除,若疑似根因节点集合中没有元素,则说明这一天没有根因节点,否则利用节点之间的距离关系和知识库筛选出根因节点。
2.根据权利要求1所述基于深度学习的网络告警定位方法,其特征在于:所述步骤1的具体过程为:
步骤11:将所有样本的节点告警信息、对应的节点和根因标记制作成节点、告警信息、根因标记的三元组格式存储,创建一个空的字典;
步骤12:将一天内的告警信息放进队列;
步骤13:判断队列是否为空,若为空,直接到步骤15,若不为空,则出队一个元素;
步骤14:判断出队的元素是否存在于字典中,若存在则不做操作,若不存在则将其加入字典中,返回步骤13;
步骤15:将字典中的所有元素存储起来,作为去除了重复告警信息的样本数据集。
3.根据权利要求1所述基于深度学习的网络告警定位方法,其特征在于:所述步...
【专利技术属性】
技术研发人员:徐小龙,黄寄,赵娟,徐佳,姜宇,孙维,
申请(专利权)人:南京邮电大学,
类型:发明
国别省市:江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。