一种日志解析方法及计算设备技术

本申请提供一种日志解析方法及计算设备，涉及计算设备技术领域，可以有效提升对数据中心中海量日志文件的解析效率。该方法包括：从日志模式库中确定与待解析日志包的分类属性匹配的日志模式集合；日志模式集合包括一个或多个日志模式，待解析日志包中包括多个日志文件，日志模式用于匹配日志文件的内容；从待解析日志包中筛选出一个或多个目标日志文件；基于日志模式集合，对一个或多个目标日志文件进行解析。本申请可用于数据中心维护的过程中。本申请可用于数据中心维护的过程中。本申请可用于数据中心维护的过程中。

【技术实现步骤摘要】
一种日志解析方法及计算设备


[0001]本申请涉及计算设备
，尤其涉及一种日志解析方法及计算设备。

技术介绍

[0002]日志是计算设备在运行过程中产生的，记录有计算设备运行情况以及故障情况的文件，日志常用于数据中心中计算设备的故障定位。随着计算机技术的发展，数据中心的业务日益复杂，随之会产生海量的日志文件。
[0003]目前，一般采用依次读取日志包中的每个日志文件的解析方法。面对数据中心海量的日志文件，上述解析方法的解析效率较低，无法及时定位故障。

技术实现思路

[0004]本申请提供一种日志解析方法及计算设备，可以有效提升对数据中心中海量日志文件的解析效率。
[0005]第一方面，本申请提供一种日志解析方法，该方法包括：从日志模式库中筛选与待解析日志包的分类属性匹配的日志模式集合；日志模式集合包括一个或多个日志模式，待解析日志包中包括多个日志文件，日志模式用于匹配日志文件的内容；从待解析日志包中筛选出一个或多个目标日志文件；基于日志模式集合，对一个或多个目标日志文件进行解析。
[0006]本申请提供的日志解析方法，首先根据待解析日志包的分类属性，在日志模式库中筛选得到日志模式集合。进一步的，针对待解析日志包，也筛选出一个或多个目标日志文件，进而基于日志模式集合对目标日志文件进行解析。该方案可以有效地缩减日志解析中参与计算的日志模式范围以及日志文件范围，节省了大量的无效计算。相较于传统的日志解析方案，本申请提供的方法可以大幅提高日志解析的效率，可以适用数据中心等拥有海量日志的场景下，且无需较高的算力成本，应用前景广阔。
[0007]一种可能的实现方式中，从待解析日志包中筛选出一个或多个目标日志文件，包括：根据日志模式集合中一个或多个日志模式的适用标签，从待解析日志包中筛选出一个或多个目标日志文件；适用标签用于指示适用日志模式的日志文件的目录信息和类型信息。可以理解，待解析日志包中不是所有的日志文件都是需要参与计算的，本申请可以进一步从待解析日志包中筛选出一个或多个目标日志文件，进一步提高日志解析效率。
[0008]另一种可能的实现方式中，每一个日志模式的适用标签包括目录标签以及文件类型标签；其中，目录标签用于指示适用日志模式的日志文件的目录，文件类型标签用于指示适用日志模式的日志文件的类型；基于日志模式集合中的一个或多个日志模式的适用标签，从待解析日志包中筛选出一个或多个目标日志文件，包括：从待解析日志包中，筛选出与目录标签指示的目录一致的一个或多个目录的日志文件；从一个或多个目录的日志文件中，筛选出与文件类型标签指示的类型一致的一个或多个目标日志文件。
[0009]又一种可能的实现方式中，基于日志模式集合，对一个或多个目标日志文件进行
解析，包括：针对一个或多个目标日志文件中的每个目标日志文件，在日志模式集合中确定与目标日志文件的文件类型匹配的一个或多个日志模式；使用一个或多个日志模式对目标日志文件进行解析。可以看出，上述步骤主要对根据目标日志文件对日志模式进行分组，建立每个目标日志文件与一个或多个日志模式的对应关系，使得目标日志文件通过一次读取，就可以采用所有可适用的日志模式进行匹配，避免计算资源的浪费。
[0010]又一种可能的实现方式中，使用一个或多个日志模式对目标日志进行解析，包括：根据目标日志文件的类型确定目标日志文件的拆分方式；按照拆分方式将目标日志文件拆分为一个或多个日志片段；使用一个或多个日志模式对目标日志文件的一个或多个日志片段进行解析。可以理解，对日志文件进行拆分，可以方便日志模式的匹配，进一步提高日志解析的效率。
[0011]又一种可能的实现方式中，从日志模式库中筛选与待解析日志包的分类属性匹配的日志模式集合，包括：从待解析日志包中提取关键信息；关键信息用于指示待解析日志包的分类属性；根据关键信息，从日志模式库中确定与待解析日志包的分类属性匹配的日志模式集合。
[0012]又一种可能的实现方式中，在从日志模式库中筛选与待解析日志包的分类属性匹配的日志模式集合之前，上述方法还包括：基于计算设备的故障问题，从日志库中确定一个或多个待解析日志包；故障问题的分类属性与每个待解析日志包的分类属性一致。
[0013]又一种可能的实现方式中，日志包的分类属性是根据一个或多个日志模式的分类属性确定的，一个或多个日志模式是基于日志包的当前分类属性从日志模式库中筛选出的，且一个或多个日志模式支持解析日志包。
[0014]又一种可能的实现方式中，日志模式的分类属性以及适用标签是根据一个或多个日志文件的分类属性、目录信息以及文件类型信息确定的；一个或多个日志文件是基于日志模式的当前分类属性从日志库中筛选出的多个日志包中的一个或多个日志文件，且日志模式支持解析一个或多个日志文件。
[0015]又一种可能的实现方式中，待解析日志包的分类属性包括以下至少一项：待解析日志包所属设备的信息、待解析日志包的所属部件的信息、部件的型号信息、部件的版本信息。
[0016]第二方面，本申请提供一种日志解析装置，该装置包括：筛选模块和解析模块；筛选模块用于，从日志模式库中筛选与待解析日志包的分类属性匹配的日志模式集合；日志模式集合包括一个或多个日志模式，待解析日志包中包括多个日志文件，日志模式用于匹配日志文件的内容；筛选模块还用于，从待解析日志包中筛选出一个或多个目标日志文件；解析模块用于，基于日志模式集合，对一个或多个目标日志文件进行解析。
[0017]一种可能的实现方式中，筛选模块具体用于，根据日志模式集合中一个或多个日志模式的适用标签，从待解析日志包中筛选出一个或多个目标日志文件；适用标签用于指示适用日志模式的日志文件的目录信息和类型信息。
[0018]另一种可能的实现方式中，每一个日志模式的适用标签包括目录标签以及文件类型标签；其中，目录标签用于指示适用日志模式的日志文件的目录，文件类型标签用于指示适用日志模式的日志文件的类型；筛选模块具体用于，从待解析日志包中，筛选出与目录标签指示的目录一致的一个或多个目录的日志文件；从一个或多个目录的日志文件中，筛选
出与文件类型标签指示的类型一致的一个或多个目标日志文件。
[0019]又一种可能的实现方式中，解析模块具体用于，针对一个或多个目标日志文件中的每个目标日志文件，在日志模式集合中确定与目标日志文件的文件类型匹配的一个或多个日志模式；使用一个或多个日志模式对目标日志文件进行解析。
[0020]又一种可能的实现方式中，解析模块具体用于，根据目标日志文件的类型确定目标日志文件的拆分方式；按照拆分方式将目标日志文件拆分为一个或多个日志片段；使用一个或多个日志模式对目标日志文件的一个或多个日志片段进行解析。
[0021]又一种可能的实现方式中，筛选模块具体用于，从待解析日志包中提取关键信息；关键信息用于指示待解析日志包的分类属性；根据关键信息，从日志模式库中筛选与待解析日志包的分类属性匹配的日志模式集合。
[0022]又一种可能的实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志解析方法，其特征在于，所述方法包括：从日志模式库中筛选与待解析日志包的分类属性匹配的日志模式集合；所述日志模式集合包括一个或多个日志模式，所述待解析日志包中包括多个日志文件，所述日志模式用于匹配日志文件的内容；从所述待解析日志包中筛选出一个或多个目标日志文件；基于所述日志模式集合，对所述一个或多个目标日志文件进行解析。2.根据权利要求1所述的方法，其特征在于，所述从所述待解析日志包中筛选出一个或多个目标日志文件，包括：根据所述日志模式集合中一个或多个日志模式的适用标签，从所述待解析日志包中筛选出所述一个或多个目标日志文件；所述适用标签用于指示适用所述日志模式的日志文件的目录信息和类型信息。3.根据权利要求2所述的方法，其特征在于，每一个日志模式的适用标签包括目录标签以及文件类型标签；其中，所述目录标签用于指示适用所述日志模式的日志文件的目录，所述文件类型标签用于指示适用所述日志模式的日志文件的类型；所述基于所述日志模式集合中的一个或多个日志模式的适用标签，从所述待解析日志包中筛选出所述一个或多个目标日志文件，包括：从所述待解析日志包中，筛选出与所述目录标签指示的目录一致的一个或多个目录的日志文件；从所述一个或多个目录的日志文件中，筛选出与所述文件类型标签指示的类型一致的一个或多个目标日志文件。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述基于所述日志模式集合，对所述一个或多个目标日志文件进行解析，包括：针对所述一个或多个目标日志文件中的每个目标日志文件，在所述日志模式集合中确定与所述目标日志文件的文件类型匹配的一个或多个日志模式；使用所述一个或多个日志模式对所述目标日志文件进行解析。5.根据权利要求4所述的方法，其特征在于，所述使用所述一个或多个日志模式对所述目标日志文件进行解析，包括：根据所述目标日志文件的类型确定所述目标日志文件的拆分方式；按照所述拆分方式将所述目标日志文件拆分为一个或多个日志片段；使用所述一个或多个日志模式对所述目标日志文件的一个或多个日志片段进行解析。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述从日志模式库中筛选与待解析日志包的分类属性匹配的日志模式集合，包括：从所述待解析日...

【专利技术属性】
技术研发人员：鲍国顺，
申请(专利权)人：超聚变数字技术有限公司，
类型：发明
国别省市：