一种自动解析日志的方法技术

本发明专利技术涉及一种自动解析日志的方法，包括以下步骤：S1、获取样本日志数据；S2、根据样本日志数据，分别建立日志数据库、构建日志解析模型；S3、获取目标日志数据，并对其进行预处理；S4、基于日志解析模型，采用维特比算法对预处理后的目标日志数据进行分析结构，通过求取概率最大路径，即得到目标日志的解析结构；S5、从目标日志的解析结构中提取有效信息，并标记相应位置，即完成对目标日志的解析。与现有技术相比，本发明专利技术通过构建隐马尔可夫日志解析模型，并结合维比特算法，解决了传统人工制定正则表达式解析日志效率低的问题，能够快速、准确地自动识别日志内部结构、提取有效信息。

A method of automatically parsing log

【技术实现步骤摘要】
一种自动解析日志的方法
本专利技术涉及人工智能
，尤其是涉及一种自动解析日志的方法。
技术介绍
随着计算机技术的日益发展，计算机系统也越来越复杂。对于IT运维而言，原始日志不能直接提供有效信息，需要将其中的字段进行解析，然后提取有效信息。传统的日志解析方法是人工制定对应的正则规则。如果日志种类比较少，而且日志结构很少发生变化，那么这个方法比较可行。然而，随着各种功能持续集成到系统中，就会产生大量的IT子系统，因而会产生海量的各种类型的日志数据。对于这些日志，如果对每种日志都进行设计正则匹配规则，那么就会非常耗时耗力。因此，如何快速、准确的去解析文本日志已经成为了亟待解决的问题。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种自动解析日志的方法，基于自然语言处理技术，通过计算机自动识别文本日志的内部结构，以快速、准确地从日志中提取出有效信息。本专利技术的目的可以通过以下技术方案来实现：一种自动解析日志的方法，包括以下步骤：S1、获取样本日志数据；S2、根据样本日志数据，本文档来自技高网...

【技术保护点】
1.一种自动解析日志的方法，其特征在于，包括以下步骤：/nS1、获取样本日志数据；/nS2、根据样本日志数据，分别建立日志数据库、构建日志解析模型；/nS3、获取目标日志数据，并对其进行预处理；/nS4、基于日志解析模型，采用维特比算法对预处理后的目标日志数据进行分析结构，通过求取概率最大路径，即得到目标日志的解析结构；/nS5、从目标日志的解析结构中提取有效信息，并标记相应位置，即完成对目标日志的解析。/n

【技术特征摘要】
1.一种自动解析日志的方法，其特征在于，包括以下步骤：
S1、获取样本日志数据；
S2、根据样本日志数据，分别建立日志数据库、构建日志解析模型；
S3、获取目标日志数据，并对其进行预处理；
S4、基于日志解析模型，采用维特比算法对预处理后的目标日志数据进行分析结构，通过求取概率最大路径，即得到目标日志的解析结构；
S5、从目标日志的解析结构中提取有效信息，并标记相应位置，即完成对目标日志的解析。


2.根据权利要求1所述的一种自动解析日志的方法，其特征在于，所述步骤S2具体包括以下步骤：
S21、根据样本日志数据的有效信息，对样本日志的结构进行标注，以建立日志数据库；
S22、根据日志数据库中已经标注的日志结构信息，构建隐马尔可夫模型，以作为日志解析模型。


3.根据权利要求2所述的一种自动解析日志的方法，其特征在于，所述步骤S21中样本日志数据包括八种日志数据：Apacheaccess、Apacheerror、Aruba无线、Nginxaccess、Nginxerror、Exchange、Juniper防火墙日志和VPN。


4.根据权利要求2所述的一种自动解析日志的方法，其特征在于，所述步骤S21中对样本日志的结构进行标注时，具体使用B、M、E、S、O标识符对日志的结构进行标注，以得到与日志结构中各字符一一对应的标签，其中，S表示单个字符，B、M、E分别表示一个字符串的开头中间以及结尾部分，O表示不是日志结构的字符。


5.根据权利要求4所述的一种自动解析日志的方法，其特征在于，所述步骤S22中已经标注的日志结构信息包含日志结构字符串和对应的字符标签串，其中，日志结构字符串中的各字符分别为不同的观测量，字符标签串中的各标签分别为不同的状态。
<...

【专利技术属性】
技术研发人员：李宁宁，
申请(专利权)人：上海爱数信息技术股份有限公司，
类型：发明
国别省市：上海;31