基于分布式服务日志的通信网络信息系统异常检测方法技术方案

本发明专利技术公开了基于分布式服务日志的通信网络信息系统异常检测方法，通过发掘网络中的服务基准，找到自动异常检测时对比的案例，可以自动地对比实时日志流与开发模板，达到检测异常的目的。本发明专利技术提出了一种基于时间权重的控制流图模型的异常检测方法，通过设定的过滤方案生成了结构节点良好的CFG，并利用循环或线程之间节点的间隔无序性这一特点分割了边界，进一步优化了结构；计算出每个边的时间权重，生成了TCFG。该TCFG可以与实时TCFG流进行对比，发现异常，评估表明，此方法有着不错的精确率和召回率，在真实环境中，平均有80%的精确率和65%的召回率。

【技术实现步骤摘要】
基于分布式服务日志的通信网络信息系统异常检测方法
本专利技术涉及通信网络信息异常检测
，特别是涉及基于分布式服务日志的通信网络信息系统异常检测方法。
技术介绍
随着网络的发展，大多数网络服务系统都需要提供7*24小时的服务，系统出现异常时，如果无法检测问题并及时修复，将会造成巨大的经济损失。当系统异常时，开发人员通常会通过日志分析来发现和处理异常。日志记录系统运行信息，它是系统异常分析最常见的方法之一。但是，由于系统规模过大，系统日志分布在不同的服务器上，而且服务器的分布是大规模且分散的，开发人员发现手动分析日志以检测异常的方法将会耗费大量的时间。为了减少开发人员的工作量，研究基于自动日志分析的异常检测方法是有意义的。针对分布式服务的异常检测，本专利将重心放在开发基于时间权重的控制流图(TCFG)模型上。该模型开发首先生成控制流图模型(CFG)，再分割边界优化结构，之后采用K均值算法计算出时间权重。最后将在线日志流与已挖掘的TCFG模型进行比较，实现差异诊断。为了解现有技术的发展状况，对已有的论文和专利进行了检索、比较和分析，筛选出如下与本专利技术相关度比较高的技术信息：技术方本文档来自技高网...

【技术保护点】
基于分布式服务日志的通信网络信息系统异常检测方法，包括日志解析、生成TCFG和自动检测异常三个步骤，首先，通过解析日志，得到原始日志和模板的映射以及模板，映射日志模板时，记录日志模板索引，时间戳和日志模板，然后生成TCFG，最后将在线日志流与已挖掘的TCFG模型进行比较，完成差异诊断，其特征在于，所述生成TCFG以下三个步骤，S1，CFG边挖掘，在CFG或TCFG中，节点代表日志模板；节点有一个子集，一个直接子集，一个时间权重集；子集是在时间窗口中的一组后续节点；直接子集是节点的直接继承者的集合；时间权重集是节点与其直接子节点之间的时间间隔集合；它是边权重的候选集；其中有两个关键点，一个是时间...

【技术特征摘要】
1.基于分布式服务日志的通信网络信息系统异常检测方法，包括日志解析、生成TCFG和自动检测异常三个步骤，首先，通过解析日志，得到原始日志和模板的映射以及模板，映射日志模板时，记录日志模板索引，时间戳和日志模板，然后生成TCFG，最后将在线日志流与已挖掘的TCFG模型进行比较，完成差异诊断，其特征在于，所述生成TCFG以下三个步骤，S1，CFG边挖掘，在CFG或TCFG中，节点代表日志模板；节点有一个子集，一个直接子集，一个时间权重集；子集是在时间窗口中的一组后续节点；直接子集是节点的直接继承者的集合；时间权重集是节点与其直接子节点之间的时间间隔集合；它是边权重的候选集；其中有两个关键点，一个是时间t，它跨越时间窗口的值选择；长的时间会伴随太多的噪音，而短的时间会错过一些正确的后继节点；另一点是如何计算子节点的发生次数；规则设置为在一个时间窗口中只计算一次子节点；当计算子节点的发生次数时，过滤规则用于确定节点的直接后续节点；过滤规则1旨在基于子节点的发生次数来过滤噪声；公式描述如下；Tn表示模板节点；N是日志模板节点的出现次数；表示子节点，Mi是子节点的发生次数；笔者设定一个子节点的过滤阈值为θ；如果将会被从子集中过滤和删除；过滤器规则2旨在根据直接子节点的发生次数来选择直接后续节点；公式描述如下；表示直接子节点，Qi是直接子节点的发生次数；笔者设定了直接子集的过滤阈值η；如果将被从直接子集中过滤和删除；之后，可以使用公式(3)获...

【专利技术属性】
技术研发人员：舒新建，王世文，安致嫄，罗臻，张筱筠，李文萃，盛磊，岳纲毅，张宁宁，
申请(专利权)人：国网河南省电力公司信息通信公司，国家电网公司，
类型：发明
国别省市：河南,41