电信网络故障预警方法、装置及终端设备制造方法及图纸

本发明专利技术提供一种电信网络故障预警方法、装置及终端设备。其中，电信网络故障预警方法，包括：预先训练隐马尔可夫模型，以及确定所述训练后的隐马尔可夫模型的正常概率阈值；采集电信网络设备生成的原始在线日志数据；对所述原始在线日志数据进行预处理，获得在线日志数据；遍历所述在线日志数据中的每条日志，判断每条日志所属的日志模式，并生成与所述在线日志数据对应的在线日志模式序列；计算所述在线日志模式序列在所述训练后的隐马尔可夫模型中出现的概率是否小于所述正常概率阈值，若是，则判断所述原始在线日志数据存在异常，发出故障预警。本发明专利技术能够对训练样本中出现或未出现的电信网络故障进行预警。

Telecommunication Network Fault Early Warning Method, Device and Terminal Equipment

【技术实现步骤摘要】
电信网络故障预警方法、装置及终端设备
本专利技术涉及互联网
，具体涉及一种电信网络故障预警方法、装置及终端设备。
技术介绍
在目前的电信网络设备中，通常存在较为完善的日志记录模块，其记录的日志类型包括诊断日志、操作日志、系统日志(syslog，SystemLog)等。电信产生的日志作为电信网络安全状态重要的信息来源，能对网络故障预警带来很大的帮助。由于电信网络复杂度的不断提高，目前电信日志数据具有以下特点：(1)数据量较大，例如，某运营商的大型省份网络数据产生速率能达到平均每天10亿条，占据200GByte空间；(2)结构复杂，日志数据设备厂家来源众多，没有标准日志格式模板；(3)正负样本不均，网络告警时期的数据样本占总样本比例低；(4)故障类型多样，单种故障数据样本少，且存在样本中未出现的故障。当前利用日志进行故障预警的方法有很多，其中，主要的故障预警方法有关键词匹配法、规则匹配法、基于传统分类算法的方法和基于故障日志相似性的方法，这些故障预警方法在实际应用中分别存在以下不足：1)关键词匹配法和规则匹配法，需要领域专家根据经验预先创建故障预警关键词或规则列表，然后将日志与故障本文档来自技高网...

【技术保护点】
1.一种电信网络故障预警方法，其特征在于，包括：预先根据电信网络设备在网络运行正常时期生成的原始历史日志数据训练隐马尔可夫模型，得到描述网络正常运行状态的训练后的隐马尔可夫模型，以及确定所述训练后的隐马尔可夫模型的正常概率阈值；采集电信网络设备生成的原始在线日志数据；对所述原始在线日志数据进行预处理，获得在线日志数据；遍历所述在线日志数据中的每条日志，判断每条日志所属的日志模式，并生成与所述在线日志数据对应的在线日志模式序列；计算所述在线日志模式序列在所述训练后的隐马尔可夫模型中出现的概率是否小于所述正常概率阈值，若是，则判断所述原始在线日志数据存在异常，发出故障预警。

【技术特征摘要】
1.一种电信网络故障预警方法，其特征在于，包括：预先根据电信网络设备在网络运行正常时期生成的原始历史日志数据训练隐马尔可夫模型，得到描述网络正常运行状态的训练后的隐马尔可夫模型，以及确定所述训练后的隐马尔可夫模型的正常概率阈值；采集电信网络设备生成的原始在线日志数据；对所述原始在线日志数据进行预处理，获得在线日志数据；遍历所述在线日志数据中的每条日志，判断每条日志所属的日志模式，并生成与所述在线日志数据对应的在线日志模式序列；计算所述在线日志模式序列在所述训练后的隐马尔可夫模型中出现的概率是否小于所述正常概率阈值，若是，则判断所述原始在线日志数据存在异常，发出故障预警。2.根据权利要求1所述的电信网络故障预警方法，其特征在于，所述根据电信网络设备在网络运行正常时期生成的原始历史日志数据训练隐马尔可夫模型，得到描述网络正常运行状态的训练后的隐马尔可夫模型，包括：采集电信网络设备在网络运行正常时期生成的原始历史日志数据；对所述原始历史日志数据进行预处理，得到历史日志数据；将所述历史日志数据按照日志正文进行聚类，生成日志模式模板，以及根据所述日志模式模板确定所述历史日志数据中每条日志所属的日志模式，生成所述历史日志数据对应的离线日志模式序列；根据所述离线日志模式序列训练隐马尔可夫模型，得到描述网络正常运行状态的训练后的隐马尔可夫模型。3.根据权利要求2所述的电信网络故障预警方法，其特征在于，所述对所述原始历史日志数据进行预处理，得到历史日志数据，包括：采用正则表达式提取所述原始历史日志数据的日志时间和日志正文，并添加网元信息后存储到非结构化数据库中；对添加到所述非结构化数据库中的数据进行数据清洗和关键字段提取，得到历史日志数据。4.根据权利要求2所述的电信网络故障预警方法，其特征在于，所述将所述历史日志数据按照日志正文进行聚类，生成日志模式模板，以及根据所述日志模式模板确定所述历史日志数据中每条日志所属的日志模式，生成所述历史日志数据对应的离线日志模式序列，包括：对所述历史日志数据中每条日志的日志正文进行参数泛化处理，得到每条日志的参数泛化日志正文；将相同的参数泛化日志正文进行合并，得到参数泛化日志正文列表；定义一日志模式模板列表，并初始化为空；遍历所述参数泛化日志正文列表中的每条参数泛化日志正文，将所述参数泛化日志正文与所述日志模式模板列表中的日志模式模板进行匹配，若匹配失败，则将所述参数泛化日志正文作为日志模式模板添加到所述日志模式模板列表中，若匹配成功，则将匹配得到的日志模式模板确定为所述参数泛化日志正文对应的日志所属的日志模式；根据所述历史日志数据中每条日志所述的日志模式，生成所述历史日志数据对应的离线日志模式序列。5.根据权利要求4所述的电信网络故障预警方法，其特征在于，所述将所述参数泛化日志正文与所述日志模式模板列表中的日志模式模板进行匹配，包括：计算所述参数泛化日志正文与所述日志模式模板列表中的每条日志模式模板之间的编辑距离；若所述参数泛化日志正文与所述日志模式模板列表中某一条日志模式模板之间的编辑距离小于预设阈值，则所述参数泛化日志正文与该日志模式模板相匹配，判断匹配成功；若所述参数泛化日志正文与所述日志模式模板列表中每条日志模式模板之间的编辑距离均不小于预设阈值，则判断匹配失败。6.根据权利要求4所述的电信网络故障预警方法，其特征在于，所述将所述参数泛化日志正文与所述日志模式模板列表中的日志模式模板进行匹配，包括：根据所述参数泛化日志文本的文本长度，在所述日志模式模板列表中选择与所述参数泛化日志文本的文本长度差异小于预设长度阈值的多条日志模式模板；计算所述参数泛化日志正文与选择出的每条日志模式模板之间的编辑距离；若所述参数泛化日志正文与选择出的某一条日志模式模板之间的编辑距离小于预设阈值，则所述参数泛化日志正文与该日志模式模板相匹配，判断匹配成功；若所述参数泛化日志正文与选择出的每条日志模式模板之间的编辑距离均不小于预设阈值，则判断匹配失败。7.根据权利要求2所述的电信网络故障预警方法，其特征在于，所述根据所述离线日志模式序列训练隐马尔可夫模型，得到描述网络正常运行状态的...

【专利技术属性】
技术研发人员：丁健，
申请(专利权)人：北京亿阳信通科技有限公司，
类型：发明
国别省市：北京,11