日志处理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:35599312 阅读:8 留言:0更新日期:2022-11-16 15:19
本公开提供了一种日志处理方法,可以应用于信息安全领域或金融领域。该日志处理方法包括:实时获取待解析日志数据;根据预设的解析规则树对待解析日志数据进行逐层解析,得到与待解析日志数据对应的日志解析数据,其中,解析规则树包括多个解析节点,解析节点用于提取待解析字段,解析规则树中的一条解析路径表示一种解析规则;其中,对待解析日志数据进行逐层解析包括:解析待解析日志数据中与当前解析节点对应的当前待解析字段;在当前待解析字段解析成功的情况下,向当前解析节点的子节点流转待解析日志数据;在当前解析节点不包含子节点的情况下,得到日志解析数据。本公开还提供了一种日志处理装置、设备、存储介质。存储介质。存储介质。

【技术实现步骤摘要】
日志处理方法、装置、电子设备及存储介质


[0001]本公开涉及信息安全领域或金融领域,更具体地涉及一种日志处理方法、装置、设备、介质和程序产品。

技术介绍

[0002]防火墙为企业数据中心网络架构中重要的安全防护设备,主要在网络层和数据传输层起到筛选数据流的作用。目前,在对防火墙流量日志进行分析时,一般需要把所有已知的日志格式依次和待解析日志进行匹配,从而实现对日志的解析。
[0003]在实现本公开专利技术构思的过程中,专利技术人发现相关技术中至少存在以下问题:现有防火墙流量日志量级较大,不同日志输出的结构也不一致,使得日志的解析规则比较繁杂,因此,使用上述方法进行日志解析时存在解析效率低,消费滞后的技术问题。

技术实现思路

[0004]鉴于上述问题,本公开提供了一种日志处理方法、装置、设备、介质和程序产品。
[0005]根据本公开的一个方面,提供了一种日志处理方法,包括:
[0006]实时获取待解析日志数据;以及
[0007]根据预设的解析规则树对上述待解析日志数据进行逐层解析,得到与上述待解析日志数据对应的日志解析数据,其中,上述解析规则树包括多个解析节点,上述解析节点用于提取待解析字段,上述解析规则树中的一条解析路径表示一种解析规则;
[0008]其中,上述根据预设的解析规则树对上述待解析日志数据进行逐层解析,得到与上述待解析日志数据对应的日志解析数据包括:
[0009]操作S1,解析上述待解析日志数据中与当前解析节点对应的当前待解析字段;
>[0010]操作S2,在上述当前待解析字段解析成功的情况下,向上述当前解析节点的子节点流转上述待解析日志数据;
[0011]操作S3,在上述当前解析节点不包含上述子节点的情况下,得到上述日志解析数据。
[0012]根据本公开的实施例,上述向上述当前解析节点的子节点流转上述待解析日志数据包括:
[0013]在上述当前解析节点包括多个子节点的情况下,利用预设解析顺序从上述多个子节点中确定目标子节点;
[0014]向上述目标子节点流转上述待解析日志数据。
[0015]根据本公开的实施例,上述日志处理方法还包括:
[0016]在上述当前待解析字段解析失败的情况下,获取与上述当前解析节点属于同一父节点的解析节点,得到候选节点集;
[0017]在上述候选节点集中包含满足预设条件的解析节点的情况下,根据预设解析顺序从上述候选节点集中确定目标解析节点;
[0018]更新上述目标解析节点为当前解析节点,得到更新后的当前解析节点;
[0019]向上述更新后的当前解析节点流转上述待解析的日志数据,然后执行操作S1~操作S3。
[0020]根据本公开的实施例,上述日志处理方法还包括:
[0021]在上述候选节点集中不包含满足上述预设条件的解析节点的情况下,向第一数据库发送上述待解析日志数据。
[0022]根据本公开的实施例,上述预设条件包括上述候选节点集中未进行字段解析的解析节点。
[0023]根据本公开的实施例,上述日志处理方法还包括:
[0024]根据上述第一数据库中的上述待解析日志确定与上述待解析日志对应的解析规则;
[0025]利用上述解析规则更新上述解析规则树。
[0026]根据本公开的实施例,上述日志处理方法还包括:
[0027]向第二数据库发送上述日志解析数据;
[0028]对上述第二数据库中的上述日志解析数据进行实时分析,得到日志分析结果;
[0029]在展示界面实时展示上述日志分析结果。
[0030]根据本公开的实施例,上述日志处理方法还包括:
[0031]在上述日志解析数据中不包含设备标识的情况下,将上述日志解析数据和上述设备标识进行关联。
[0032]根据本公开的实施例,上述待解析字段包括策略号;
[0033]上述方法还包括:
[0034]针对策略号库中的每个策略号,根据上述日志分析结果统计上述策略号在预设时间段内命中的次数,得到命中次数;
[0035]在上述命中次数小于预设值的情况下,生成收紧策略的调整方案。
[0036]根据本公开的实施例,上述待解析字段包括源地址和目的地址;
[0037]上述方法还包括:
[0038]根据上述日志解析数据生成防火墙访问关系图,其中,上述防火墙访问关系图用于展示上述源地址到上述目的地址的防火墙访问关系;
[0039]在上述展示界面展示上述防火墙访问关系图。
[0040]本公开的另一个方面提供了一种日志处理装置,包括:
[0041]获取模块,用于实时获取待解析日志数据;以及
[0042]解析模块,用于根据预设的解析规则树对上述待解析日志数据进行逐层解析,得到与上述待解析日志数据对应的日志解析数据,其中,上述解析规则树包括多个解析节点,上述解析节点用于提取待解析字段,上述解析规则树中的一条解析路径表示一种解析规则;
[0043]其中,上述解析模块包括:解析子模块、第一流转子模块和得到子模块;
[0044]解析子模块,用于解析上述待解析日志数据中与当前解析节点对应的当前待解析字段;
[0045]第一流转子模块,用于在上述当前待解析字段解析成功的情况下,向上述当前解
析节点的子节点流转上述待解析日志数据;
[0046]得到子模块,用于在上述当前解析节点不包含上述子节点的情况下,得到上述日志解析数据。
[0047]本公开的另一个方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当上述一个或多个程序被上述一个或多个处理器执行时,使得一个或多个处理器执行上述日志处理方法。
[0048]本公开的另一个方面还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行上述日志处理方法。
[0049]本公开的另一个方面还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述日志处理方法。
[0050]根据本公开的实施例,因为采用了实时获取待解析日志数据,根据预设的解析规则树对待解析日志数据进行逐层解析得到日志解析数据。在对待解析日志数据进行逐层解析过程中,解析待解析日志数据中与当前解析节点对应的当前待解析字段;在当前待解析字段解析成功的情况下,向当前解析节点的子节点流转待解析日志数据;在当前解析节点不包含子节点的情况下,表征日志解析完成,得到日志解析数据的技术手段,所以至少部分地克服了相关技术中把所有已知的日志格式依次和待解析日志数据进行匹配导致的解析效率低、消费滞后的技术问题,进而达到了无需匹配所有已知的日志格式即可完成日志解析,从而提高了日志解析效率,实现了对日志数据实时解析的技术效果。
附图说明
[0051]通过以下参照附图对本公开实施例的描述,本公开的上述内容以及其他目的、特征和优点将更为清楚,在附图中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志处理方法,包括:实时获取待解析日志数据;以及根据预设的解析规则树对所述待解析日志数据进行逐层解析,得到与所述待解析日志数据对应的日志解析数据,其中,所述解析规则树包括多个解析节点,所述解析节点用于提取待解析字段,所述解析规则树中的一条解析路径表示一种解析规则;其中,所述根据预设的解析规则树对所述待解析日志数据进行逐层解析,得到与所述待解析日志数据对应的日志解析数据包括:操作S1,解析所述待解析日志数据中与当前解析节点对应的当前待解析字段;操作S2,在所述当前待解析字段解析成功的情况下,向所述当前解析节点的子节点流转所述待解析日志数据;操作S3,在所述当前解析节点不包含所述子节点的情况下,得到所述日志解析数据。2.根据权利要求1所述的方法,其中,所述向所述当前解析节点的子节点流转所述待解析日志数据包括:在所述当前解析节点包括多个子节点的情况下,利用预设解析顺序从所述多个子节点中确定目标子节点;向所述目标子节点流转所述待解析日志数据。3.根据权利要求1所述的方法,还包括:在所述当前待解析字段解析失败的情况下,获取与所述当前解析节点属于同一父节点的解析节点,得到候选节点集;在所述候选节点集中包含满足预设条件的解析节点的情况下,根据预设解析顺序从所述候选节点集中确定目标解析节点;更新所述目标解析节点为当前解析节点,得到更新后的当前解析节点;向所述更新后的当前解析节点流转所述待解析的日志数据,然后执行操作S1~操作S3。4.根据权利要求3所述的方法,还包括:在所述候选节点集中不包含满足所述预设条件的解析节点的情况下,向第一数据库发送所述待解析日志数据。5.根据权利要求3所述的方法,其中,所述预设条件包括所述候选节点集中未进行字段解析的解析节点。6.根据权利要求4所述的方法,还包括:根据所述第一数据库中的所述待解析日志确定与所述待解析日志对应的解析规则;利用所述解析规则更新所述解析规则树。7.根据权利要求1所述的方法,还包括:向第二数据库发送所述日志解析数据;对所述第二数据库中的所述日志解析数据进行实时分析,得到日志分析...

【专利技术属性】
技术研发人员:吴敏张游琳徐怡涵刘轶群
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1