多层编码字段的日志的解析方法及装置制造方法及图纸

本发明专利技术提供了一种多层编码字段的日志的解析方法及装置。涉及计算机领域。该方法包括：确定待解析的多层编码字段的日志，所述待解析的多层编码字段的日志至少包括第一层编码字段以及第二层编码字段；确定待执行嵌套插件，所述嵌套插件至少包括第一插件和第二插件，所述第一插件和第二插件呈父子关系；基于所述待执行嵌套插件，对所述待解析的多层编码字段的日志进行解析，得到解析后的日志。应用嵌套插件(插件树)可以解析包含多层编码字段的日志条目，且复用现有一系列插件增强了日志加工组件应对未来出现的特殊日志格式的能力。件应对未来出现的特殊日志格式的能力。件应对未来出现的特殊日志格式的能力。

【技术实现步骤摘要】
多层编码字段的日志的解析方法及装置


[0001]本专利技术涉及计算机
，尤其是涉及一种多层编码字段的日志的解析方法及装置。

技术介绍

[0002]最近几年，国家对网络安全极为重视，安全厂商对企业安全建设也日趋成熟，越来越多的企业部署了安全信息与事件管理系统(SIEM)、态势感知平台、安全运营中心(SOC)，其中大部分安全事件管理与分析系统的初始输入是安全设备、操作系统、网络设备、应用程序的日志，下文简称为原始日志。日志中的单条记录被称为日志条目(Log Entry)，本文所述的日志条目的数据格式是JSON文档(JSON Document)，它由一个或多个字段组成。
[0003]不经任何处理直接在系统内部传输的原始日志信息量可能不充分，不利于后续的检索与分析。为了满足企业用户增强日志内容(增加信息量)的需求，有必要引入日志增强或日志加工的中间件，下文简称为日志加工组件。
[0004]日志加工组件向客户端提供插件配置接口，当接收到新的日志条目时，该组件根据插件配置来决定如何加工每一条日志条目，加工的第一步通常是解析。
[0005]如图1所示，现有普通日志加工技术对每条日志条目的每个字段运行单一插件后的输出不可作为其它插件的输入，对于编码超过一次的字段解析不完全，最终日志条目加工不完全。

技术实现思路

[0006]本专利技术的目的在于提供一种多层编码字段的日志的解析方法及装置，以缓解了现有技术中存在的条目解析不完全的技术问题。
[0007]第一方面，本专利技术提供一种多层编码字段的日志的解析方法，包括：
[0008]确定待解析的多层编码字段的日志，所述待解析的多层编码字段的日志至少包括第一层编码字段以及第二层编码字段；
[0009]确定待执行嵌套插件，所述嵌套插件至少包括第一插件和第二插件，所述第一插件和第二插件呈父子关系；
[0010]基于所述待执行嵌套插件，对所述待解析的多层编码字段的日志进行解析，得到解析后的日志。
[0011]在可选的实施方式中，所述待执行嵌套插件为递归结构，插件运行顺序为先运行父母插件，后运行子插件。
[0012]在可选的实施方式中，所述待执行嵌套插件的子插件包括多个，所述插件运行顺序还包括基于深度优先原则运行插件。
[0013]在可选的实施方式中，插件的结构包括标识、类型、输入字段的名称、要执行的命令、输出字段名称以及子插件集合。
[0014]在可选的实施方式中，所述待执行嵌套插件基于JSON文档进行定义。
[0015]在可选的实施方式中，基于所述待执行嵌套插件，对所述待解析的多层编码字段的日志进行解析，得到解析后的日志，包括：
[0016]在所述待执行嵌套插件包括的多个插件中依次确定当前插件；
[0017]确定所述待解析的多层编码字段的日志中待解析的字段；
[0018]针对所述待解析的字段执行所述当前插件所对应的命令，确定解析后的字段；
[0019]将所述多层编码字段的日志中待解析的字段替换为所述解析后的字段。
[0020]在可选的实施方式中，所述解析后的日志的条目大于等于所述待解析的多层编码字段的日志的条目。
[0021]第二方面，本专利技术提供一种多层编码字段的日志的解析装置，包括：
[0022]第一确定模块，用于确定待解析的多层编码字段的日志，所述待解析的多层编码字段的日志至少包括第一层编码字段以及第二层编码字段；
[0023]第二确定模块，用于确定待执行嵌套插件，所述嵌套插件至少包括第一插件和第二插件，所述第一插件和第二插件呈父子关系；
[0024]解析模块，用于基于所述待执行嵌套插件，对所述待解析的多层编码字段的日志进行解析，得到解析后的日志。
[0025]在可选的实施方式中，所述待执行嵌套插件为递归结构，插件运行顺序为先运行父母插件，后运行子插件。
[0026]在可选的实施方式中，所述待执行嵌套插件的子插件包括多个，所述插件运行顺序还包括基于深度优先原则运行插件。
[0027]在可选的实施方式中，所述待执行嵌套插件基于JSON文档进行定义。
[0028]在可选的实施方式中，插件的结构包括标识、类型、输入字段的名称、要执行的命令、输出字段名称以及子插件集合。
[0029]在可选的实施方式中，所述解析模块具体用于：
[0030]在所述待执行嵌套插件包括的多个插件中依次确定当前插件；
[0031]确定所述待解析的多层编码字段的日志中待解析的字段；
[0032]针对所述待解析的字段执行所述当前插件所对应的命令，确定解析后的字段；
[0033]将所述多层编码字段的日志中待解析的字段替换为所述解析后的字段。
[0034]在可选的实施方式中，所述解析后的日志的条目大于等于所述待解析的多层编码字段的日志的条目。
[0035]第三方面，本专利技术提供一种电子设备，所述电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
[0036]存储器，用于存放计算机程序；
[0037]处理器，用于执行存储器上所存储的程序时，实现前述实施方式任一所述的方法步骤。
[0038]第四方面，本专利技术提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现前述实施方式任一所述的方法步骤。
[0039]本申请提供一种多层编码字段的日志的解析方法及装置。通过确定待解析的多层编码字段的日志，所述待解析的多层编码字段的日志至少包括第一层编码字段以及第二层
编码字段；确定待执行嵌套插件，所述嵌套插件至少包括第一插件和第二插件，所述第一插件和第二插件呈父子关系；基于所述待执行嵌套插件，对所述待解析的多层编码字段的日志进行解析，得到解析后的日志。应用嵌套插件(插件树)可以解析包含多层编码字段的日志条目，且复用现有一系列插件增强了日志加工组件应对未来出现的特殊日志格式的能力。
附图说明
[0040]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0041]图1为一种日志解析流程的一个示例；
[0042]图2为本申请实施例提供的一种日志条目示例；
[0043]图3为本申请实施例提供的另一种日志条目示例；
[0044]图4为本申请实施例提供的另一种日志条目示例；
[0045]图5为本申请实施例提供的一种多层编码字段的日志的解析方法流程示意图；
[0046]图6为本申请实施例提供的另一种日志条目示例；
[0047]图7为本申请实施例提供的另一种日志条目示例；
[0048]图8为本申请实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多层编码字段的日志的解析方法，其特征在于，包括：确定待解析的多层编码字段的日志，所述待解析的多层编码字段的日志至少包括第一层编码字段以及第二层编码字段；确定待执行嵌套插件，所述嵌套插件至少包括第一插件和第二插件，所述第一插件和第二插件呈父子关系；基于所述待执行嵌套插件，对所述待解析的多层编码字段的日志进行解析，得到解析后的日志。2.根据权利要求1所述的方法，其特征在于，所述待执行嵌套插件为递归结构，插件运行顺序为先运行父母插件，后运行子插件。3.根据权利要求2所述的方法，其特征在于，所述待执行嵌套插件的子插件包括多个，所述插件运行顺序还包括基于深度优先原则运行插件。4.根据权利要求1所述的方法，其特征在于，插件的结构包括标识、类型、输入字段的名称、要执行的命令、输出字段名称以及子插件集合。5.根据权利要求4所述的方法，其特征在于，所述待执行嵌套插件基于JSON文档进行定义。6.根据权利要求1
‑
5任意一项所述的方法，其特征在于，基于所述待执行嵌套插件，对所述待解析的多层编码字段的日志进行解析，得到解析后的日志，包括：在所述待执行嵌套插件包括的多个插件中依次确定当前插件；确定所述待解析的多层编码字段的日志中待解析的字段；针对所述待解析...

【专利技术属性】
技术研发人员：黄河，
申请(专利权)人：华青融天北京软件股份有限公司，
类型：发明
国别省市：