一种日志处理方法及系统技术方案

本申请涉及一种日志处理方法及系统，属于数据处理技术领域，其方法包括以下步骤：建立关系表，所述关系表内关联存储有已知设备及与所述已知设备对应的解析信息，所述已知设备的日志已成功解析，所述已知设备的数量至少为一个；获取待解析设备的原始日志文件，根据所述原始日志文件和所述关系表分析所述待解析设备，得到分析结果；基于所述分析结果确定所述原始日志文件的日志解析文件；基于所述日志解析文件对所述原始日志文件进行解析。本申请具有提高日志解析效率的效果。有提高日志解析效率的效果。有提高日志解析效率的效果。

【技术实现步骤摘要】
一种日志处理方法及系统


[0001]本申请涉及数据处理的
，尤其是涉及一种日志处理方法及系统。

技术介绍

[0002]日志在现代计算机系统中十分常见，它通常记录着系统运行时的各种状态，在系统后期维护中，也十分依赖于syslog日志，syslog日志解析的一个典型过程是将非结构化日志解析为结构化数据和提取日志模板，然后应用数据挖掘和机器学习技术，从解析的结构化数据构建工作流模型。
[0003]目前，通常采用人工解析的方法逐个对日志进行解析，即需要系统维护或开发人员根据解析需求手动编译相应的解析代码来对日志进行解析，进而获得相应的解析结果。
[0004]针对上述中的相关技术，专利技术人认为，由于实际工作中，日志的格式趋于多样化，针对不同的日志格式，需要手动编写不同的解析文件，并且当日志字段较多时，手动编写解析文件比较耗时费力，导致解析效率十分低下。

技术实现思路

[0005]为了提高日志的解析效率，本申请提供一种日志处理方法及系统。
[0006]第一方面，本申请提供一种日志处理方法，采用如下的技术方案：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志处理方法，其特征在于，包括以下步骤：建立关系表，所述关系表内关联存储有已知设备及与所述已知设备对应的解析信息，所述已知设备的日志已成功解析，所述已知设备的数量至少为一个；获取待解析设备的原始日志文件，根据所述原始日志文件和所述关系表分析所述待解析设备，得到分析结果；基于所述分析结果确定所述原始日志文件的日志解析文件；基于所述日志解析文件对所述原始日志文件进行解析。2.根据权利要求1所述的一种日志处理方法，其特征在于，获取待解析设备的原始日志文件，根据所述原始日志文件和所述关系表分析所述待解析设备，得到分析结果包括以下步骤：判断能否从所述原始日志文件中提取出设备信息，所述设备信息为所述待解析设备的唯一标识；若能提取出所述设备信息，则判断所述关系表中是否存在与所述设备信息对应的已知设备；若所述关系表中存在与所述设备信息对应的已知设备，则确定所述待解析设备是所述已知设备；若所述关系表中不存在与所述设备信息对应的已知设备，则确定所述待解析设备不是所述已知设备；若不能提取出所述设备信息，则确定所述待解析设备不是所述已知设备。3.根据权利要求2所述的一种日志处理方法，其特征在于，所述解析信息包括与所述已知设备日志关联的正则表达式及日志源类型，所述日志源类型关联有日志解析文件，基于所述分析结果确定所述原始日志文件的日志解析文件包括以下步骤：确定所述待解析设备是否为所述已知设备；若确定所述待解析设备为所述已知设备，则从所述关系表中提取所述已知设备对应的解析信息，基于所述解析信息获取所述日志源类型，基于所述日志源类型获取所述原始日志文件的日志解析文件；若确定所述待解析设备不是所述已知设备，则生成所述原始日志文件的日志解析文件。4.根据权利要求3所述的一种日志处理方法，其特征在于，生成所述原始日志文件的日志解析文件包括以下步骤：根据所述原始日志文件在所述关系表的所有解析信息中检索正则表达式；若能够检索到与所述原始日志文件关联的正则表达式，则基于所述正则表达式获取对应的日志源类型，根据所述日志源类型得到关联的日志解析文件；若不能检索到与所述原始日志文件关联的正则表达式，则确定所述原始日志文件的日志类型，根据所述日志类型生成对应的日志解析文件。5.根据权利要求4所述的一种日志处理方法，其特征在于，确定所述原始日志文件的日志类型，根据所述日志类型生...

【专利技术属性】
技术研发人员：何霞，
申请(专利权)人：北京天融信科技有限公司北京天融信软件有限公司，
类型：发明
国别省市：