一种多日志源的日志泛化方法及装置制造方法及图纸

技术编号:41457519 阅读:19 留言:0更新日期:2024-05-28 20:44
本发明专利技术公开了一种多日志源的日志泛化方法及装置,涉及数据处理技术领域。方法包括:获取日志源的原始日志;加载与日志源的设备ID对应的多个解析规则池,每个解析规则池中包含有标识所述原始日志的解析规则的关键特征;基于关键特征,按照优先级从高到低的顺序依次在多个解析规则池中筛选对应日志源的设备ID的解析规则,将筛选出的解析规则与原始日志进行匹配;若匹配不成功则进入下一优先级的解析规则池中继续对解析规则和原始日志进行匹配;若匹配成功则用匹配成功的解析规则对原始日志进行解析;在原始日志解析成功后,输出标准化日志。本发明专利技术提供更高效的日志匹配引擎,提升了对海量数据的处理能力以及处理的准确性。

【技术实现步骤摘要】

本专利技术涉及数据处理,特别涉及一种多日志源的日志泛化方法及装置


技术介绍

1、目前的安全数据采集过程往往需接收多种类型的数据源,不同类型的数据源通常其数据格式和内容不同,在进行集中分析前,需要对原始数据进行提取、转换、筛选,统一数据的格式和表达含义等操作,这个过程就是日志泛化。

2、目前的安全日志泛化方法,存在以下主要问题:

3、(1)传统的日志泛化效率低,在海量数据源下存在解析性能瓶颈;

4、(2)传统的日志泛化,无论匹配正确与否,只能命中单条解析,准确度不高;

5、(3)传统的日志泛化分类不细致,每次解析会加载不相关的解析规则进行匹配,例如每处理一条原始日志,都需要去规则池里匹配所有解析规则;

6、(4)传统的日志泛化对编写泛化规则的人员要求较高,需要手动提取日志样本的特征,编写效率低下。

7、因此,需要提供更高效的日志匹配引擎,将日志匹配到最相关的规则进行解析,提升对海量数据的处理能力以及处理的准确性。


技术实现思路p>

1、鉴于现本文档来自技高网...

【技术保护点】

1.一种多日志源的日志泛化方法,其特征在于,包括:

2.根据权利要求1所述的一种多日志源的日志泛化方法,其特征在于,还包括:

3.根据权利要求1所述的一种多日志源的日志泛化方法,其特征在于,还包括:

4.根据权利要求1所述的一种多日志源的日志泛化方法,其特征在于,还包括:

5.根据权利要求4所述的一种多日志源的日志泛化方法,其特征在于:

6.根据权利要求4所述的一种多日志源的日志泛化方法,其特征在于:

7.根据权利要求4所述的一种多日志源的日志泛化方法,其特征在于:

8.一种多日志源的日志泛化装置,其特征...

【技术特征摘要】

1.一种多日志源的日志泛化方法,其特征在于,包括:

2.根据权利要求1所述的一种多日志源的日志泛化方法,其特征在于,还包括:

3.根据权利要求1所述的一种多日志源的日志泛化方法,其特征在于,还包括:

4.根据权利要求1所述的一种多日志源的日志泛化方法,其特征在于,还包括:

5.根据权利要求4所述的一种多日志源的日志泛化方法,其特征在于:

6.根据权利要...

【专利技术属性】
技术研发人员:林特超朱文雷崔勤
申请(专利权)人:北京长亭科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1