适用于不同组件的不同版本日志的信息提取方法和装置制造方法及图纸

技术编号:39972686 阅读:27 留言:0更新日期:2024-01-09 00:54
本申请涉及一种适用于不同组件的不同版本日志的信息提取方法和装置。所述方法包括:加载配置文件得到对应的正则表达式库;其中,配置文件中编写有不同类型组件的第一正则集合,每类第一正则集合中包括不同版本的第二正则集合,每个版本的第二正则集合包括基于键值对编写的字段级正则和由字段级正则组合而成的行级正则;获取日志文件,基于日志文件的组件类型从正则表达式库中提取与日志文件对应的第一正则集合,并匹配的第二正则集合,利用匹配到的第二正则集合从日志文件中提取目标信息。采用本方法能够简化正则表达式的复杂度,降低对于不同组件的不同版本日志进行信息提取难度,实现了信息提取效率的提升。

【技术实现步骤摘要】

本申请涉及网络安全,特别是涉及一种适用于不同组件的不同版本日志的信息提取方法和装置


技术介绍

1、当网络安全事件发生之后,在追踪攻击行为或系统故障时经常需要查看web服务容器或组件的日志,从日志中寻找可疑的访问源ip地址,查看访问的时间及访问的资源文件等信息。但站点的访问日志往往数量非常庞大,若要进行复杂的关联分析必须将日志中的信息标准化、结构化,即必须从日志中提取出想要的信息,去除掉无需关注的信息。

2、从日志文件中提取信息时,往往需要针对日志中的行数据编写相应规律的正则表达式。由于市面上的web服务容器种类众多,同一种web服务容器的不同版本之间日志格式也可能存在差异、所包含的字段信息也不一样,且日志每行的成分都较为复杂,每一行对应的正则表达式也将会非常冗长和复杂。

3、因此,传统的针对每份日志都编写一个新的完整的行级正则表达式来提取日志信息的方法,在正则编写和维护时候难度都极大,不仅导致产生较高的研发和维护成本,且在提取日志信息时的效率也较低。


技术实现思路

>1、基于此,有必要本文档来自技高网...

【技术保护点】

1.一种适用于不同组件的不同版本日志的信息提取方法,其特征在于,所述方法包括:

2.根据权利要求1所述的适用于不同组件的不同版本日志的信息提取方法,其特征在于,所述配置文件为基于YAML语言编写的YAML配置文件;

3.根据权利要求1所述的适用于不同组件的不同版本日志的信息提取方法,其特征在于,所述加载配置文件得到对应的正则表达式库,包括:

4.根据权利要求1所述的适用于不同组件的不同版本日志的信息提取方法,其特征在于,所述在所述第一正则集合中查找与所述日志文件匹配的第二正则集合,利用匹配到的所述第二正则集合从所述日志文件中提取目标信息,包括:

...

【技术特征摘要】

1.一种适用于不同组件的不同版本日志的信息提取方法,其特征在于,所述方法包括:

2.根据权利要求1所述的适用于不同组件的不同版本日志的信息提取方法,其特征在于,所述配置文件为基于yaml语言编写的yaml配置文件;

3.根据权利要求1所述的适用于不同组件的不同版本日志的信息提取方法,其特征在于,所述加载配置文件得到对应的正则表达式库,包括:

4.根据权利要求1所述的适用于不同组件的不同版本日志的信息提取方法,其特征在于,所述在所述第一正则集合中查找与所述日志文件匹配的第二正则集合,利用匹配到的所述第二正则集合从所述日志文件中提取目标信息,包括:

5.根据权利要求4所述的适用于不同组件的不同版本日志的信息提取方法,其特征在于,在所述若匹配成功,则基于所述默认版本的所述第二正则集合解析所述文件夹中的全部所述日...

【专利技术属性】
技术研发人员:吴伟杰陈懿鹏
申请(专利权)人:杭州安恒信息技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1