日志解析的方法及装置制造方法及图纸

本发明专利技术实施例公开了一种日志解析的方法及装置，涉及计算机技术领域，能够对非结构化数据进行数据解析，从而使非结构化数据转换为结构化数据，以便后续的统计分析。其中，方法包括：获取原始日志；根据原始日志的格式，在预设配置文件中找到与原始日志的格式对应的目标第一匹配规则；根据目标第一匹配规则，从第一数量的数据字段中确定第二数量的目标数据字段，以及与每个目标数据字段对应的字段名称、索引号、字段属性；将第二数量的目标数据字段以及每个目标数据字段对应的字段名称、索引号、字段属性按照预设格式合并，得到解析日志。

【技术实现步骤摘要】
日志解析的方法及装置
本专利技术实施例涉及计算机
，尤其涉及一种日志解析的方法及装置。
技术介绍
现有的实现方案中，不同格式的日志需要使用对应的解析方法进行解析。在大数据急速发展的今天，日志格式五花八门，每遇到一种新格式的日志，都需要人工编写相应的解析代码去解析日志。而且，日志在使用的过程中，其格式经常因为业务需求有变化而改变，导致日志的解析代码也需要随之人为更新维护，从而需要花费大量的时间成本和人力成本。
技术实现思路
本专利技术实施例提供一种日志解析的方法及装置，对不同格式的日志都使用一种通用的方法进行解析，从而便于后续的统计分析，能够节省时间成本和人力成本。为达到上述目的，本申请采用如下技术方案：第一方面，本申请提供一种日志解析的方法，该方法可以包括：获取原始日志，所述原始日志包括第一数量的数据字段；根据原始日志的格式，在预设配置文件中找到与原始日志的格式对应的目标第一匹配规则；其中，预设配置文件包括至少一个第一匹配规则，每个第一匹配规则中包括至少一个数据字段，以及数据字段对应的字段名称、索引号和字段属性；每个第一匹配规则用于解析至少一种格式的日志；所述目标第一匹配规则用于解析与所述原始日志格式相同的日志；根据目标第一匹配规则，从第一数量的数据字段中确定第二数量的目标数据字段，以及与每个目标数据字段对应的字段名称、索引号、字段属性；将第二数量的目标数据字段以及每个目标数据字段对应的字段名称、索引号、字段属性按照预设格式合并，得到解析日志。第二方面，本申请提供一种日志解析的装置，该装置包括：获取模块和处理模块。其中，获取模块用于获取原始日志，所述原始日志包括第一数量的数据字段。处理模块，用于根据所述原始日志的格式，在预设配置文件中找到与所述原始日志的格式对应的目标第一匹配规则；其中，所述预设配置文件包括至少一个第一匹配规则，每个第一匹配规则中包括至少一个数据字段，以及所述数据字段对应的字段名称、索引号和字段属性；每个第一匹配规则用于解析至少一种格式的日志；所述目标第一匹配规则用于解析与所述原始日志格式相同的日志；所述处理模块，还用于根据目标第一匹配规则，从第一数量的数据字段中确定第二数量的目标数据字段，以及与每个目标数据字段对应的字段名称、索引号、字段属性；所述处理模块，还用于将第二数量的目标数据字段以及每个目标数据字段对应的字段名称、索引号、字段属性按照预设格式合并，得到解析日志。第三方面，本申请提供一种日志解析的装置，该装置包括：处理器、收发器和存储器。其中，存储器用于存储一个或多个程序。该一个或多个程序包括计算机执行指令，当该装置运行时，处理器执行该存储器存储的该计算机执行指令，以使该装置执行第一方面及其各种可选的实现方式中任意之一所述的日志解析的方法。第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当装置执行该指令时，该装置执行上述第一方面及其各种可选的实现方式中任意之一所述的日志解析的方法。本申请提供的日志解析的方法和装置，采用配置文件的方式针对原始日志进行解析；抽取指定的数据字段后，形成结构化存储的数据格式进行存储；并且我们利用配置文件即可完成非结构化数据至结构化数据的转换；提供一种支持多种格式日志的通用解析方法，这些格式的解析都无需开发人员进行代码开发，而是直接配置完成，从而便于后续的统计分析，能够节省时间成本和人力成本。附图说明图1为本申请实施例提供的日志解析的方法的流程示意图；图2为本申请实施例提供的装置的结构示意图一；图3为本申请实施例提供的装置的结构示意图二。具体实施方式下面结合附图对本申请实施例提供的日志解析的方法及装置进行详细地描述。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象，或者用于区别对同一对象的不同处理，而不是用于描述对象的特定顺序。此外，本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。在本申请的描述中，除非另有说明，“多个”的含义是指两个或两个以上。本申请实施例提供的日志解析的方法，可以对不同格式的日志进行解析。本申请实施例提供一种日志解析的方法，可以应用于任意计算机设备，如图1所示，该方法可以包括S101-S104：S101、获取原始日志，所述原始日志包括第一数量的数据字段。具体的，原始日志为设备发送来的日志，比如设备的运行日志、防火墙的防护日志等。原始日志包括若干数据字段，其中包含待解析的信息。本申请实施例中，原始日志中的数据字段为非结构化数据。非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。S102、根据所述原始日志的格式，在预设配置文件中找到与所述原始日志的格式对应的目标第一匹配规则。其中，所述预设配置文件包括至少一个第一匹配规则，每个第一匹配规则中包括至少一个数据字段，以及所述数据字段对应的字段名称、索引号和字段属性；每个第一匹配规则用于解析至少一种格式的日志；所述目标第一匹配规则用于解析与所述原始日志格式相同的日志。所述格式既可以指日志的文件格式，比如js文件格式、html文件格式、txt文件格式，也可以指日志内部的文本描述格式，比如JSON格式、XML格式。具体的，本申请实施例中，预设配置文件为一个可扩展标记语言(eXtensibleMarkupLanguage，XML)文件。一个预设配置文件的实例为：其中，标签<parsefile>中包括的内容即为一个第一匹配规则。本实施例中，预设配置文件仅包含一个第一匹配规则，但是本申请不限制预设配置文件中第一匹配规则的数量。在实际场景中，预设配置文件中可以设置多个第一匹配规则，以适用不同格式的日志。本实施例中，标签<parsefile>中包括字段的名称，索引号，字段属性等内容。比如，<parsefileName＝"sanfor"Text＝"sanfor"Type＝"Char"Encode＝"">中，Name表示日志的名称，Text表示日志的描述，Type表示日志的类型。标签<parse>中包括正则表达式，正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。比如，Match＝'&lt；\d+&gt；(\d+本文档来自技高网...

【技术保护点】
1.一种日志解析的方法，其特征在于，包括：获取原始日志，所述原始日志包括第一数量的数据字段；根据所述原始日志的格式，在预设配置文件中找到与所述原始日志的格式对应的目标第一匹配规则；其中，所述预设配置文件包括至少一个第一匹配规则，每个第一匹配规则中包括至少一个数据字段，以及所述数据字段对应的字段名称、索引号和字段属性；每个第一匹配规则用于解析至少一种格式的日志；所述目标第一匹配规则用于解析与所述原始日志格式相同的日志；根据所述目标第一匹配规则，从所述第一数量的数据字段中确定第二数量的目标数据字段，以及与每个所述目标数据字段对应的字段名称、索引号、字段属性；将所述第二数量的目标数据字段以及每个所述目标数据字段对应的字段名称、索引号、字段属性按照预设格式合并，得到解析日志。

【技术特征摘要】
1.一种日志解析的方法，其特征在于，包括：获取原始日志，所述原始日志包括第一数量的数据字段；根据所述原始日志的格式，在预设配置文件中找到与所述原始日志的格式对应的目标第一匹配规则；其中，所述预设配置文件包括至少一个第一匹配规则，每个第一匹配规则中包括至少一个数据字段，以及所述数据字段对应的字段名称、索引号和字段属性；每个第一匹配规则用于解析至少一种格式的日志；所述目标第一匹配规则用于解析与所述原始日志格式相同的日志；根据所述目标第一匹配规则，从所述第一数量的数据字段中确定第二数量的目标数据字段，以及与每个所述目标数据字段对应的字段名称、索引号、字段属性；将所述第二数量的目标数据字段以及每个所述目标数据字段对应的字段名称、索引号、字段属性按照预设格式合并，得到解析日志。2.根据权利要求1所述的方法，其特征在于，所述预设配置文件还包括：至少一个第二匹配规则；在所述根据所述目标第一匹配规则，从所述第一数量的数据字段中确定第二数量的目标数据字段，以及与每个所述目标数据字段对应的字段名称、索引号、字段属性之后，所述方法还包括：根据所述第二匹配规则，对所述目标数据字段进行处理；所述处理包括以下处理方式中的一种或多种：字段映射、字段匹配、字段转换。3.根据权利要求2所述的方法，其特征在于，所述第二匹配规则包括：至少一个映射规则，每个映射规则包括一个原始值和一个目标值的对应关系；所述字段映射包括：根据所述目标数据字段的值以及所述映射规则，确定所述目标数据字段的值作为原始值时所对应的目标值。4.根据权利要求2所述的方法，其特征在于，所述第二匹配规则包括：至少一个第三匹配规则，每个第三匹配规则包括至少一个数据字段；所述字段匹配包括：根据所述第三匹配规则，提取所述目标数据字段中与所述第三匹配规则中数据字段相匹配的字段。5.根据权利要求2所述的方法，其特征在于，所述第二匹配规则包括：至少一个转换规则，每个转换规则包括字段属性，以及所述字段属性对应的字段格式；所述字段转换包括：根据所述第二匹配规则和所述目标数据字段的字段属性，确定与所述目标数据字段的字段属性对应的目标转换规则；根据所述目标转换规则，将所述目标数据字段转换为对应的字段格式。6.根据权利要求2所述的方法，其特征在于，在所述将所述第二数量的目标数据字段以及每个所述目标数据字段对应的字段名称、索引号、字段属性按照预设格式合并，得到解析日志之前，还包括：若所述目标数据字段为预设类型，则根据所述预设类型，使用相应的处理引擎对所述目标数据字段进行处理。7.一种日志解析的装置，其特征在于，包括：获...

【专利技术属性】
技术研发人员：张春飞，朱仕阳，许峰，
申请(专利权)人：亚信科技成都有限公司，
类型：发明
国别省市：四川,51