告警聚合方法、装置、设备和存储介质制造方法及图纸

本申请公开了一种告警聚合方法、装置、设备和存储介质；所述方法包括：对获取到的日志进行聚合分析，得到包含至少一个热事件的热事件集合，以及包含至少一个冷事件的冷事件集合；其中，所述热事件为预设时长内被触发过的事件，所述冷事件为超过所述预设时长没有被触发过的事件，每一事件包含记录对应事件的至少一个日志；对所述热事件集合中的事件进行告警。警。警。

【技术实现步骤摘要】
告警聚合方法、装置、设备和存储介质


[0001]本申请涉及大数据
，尤其涉及一种告警聚合方法、装置、设备和存储介质。

技术介绍

[0002]安全产品种类非常多，从安全监控到安全防御的过程中产生的日志是海量的，大量安全的日志必定产生大量事件，如果无法定位有效事件，潜在的安全问题可能就无法被发现。

技术实现思路

[0003]基于以上问题，本申请实施例提供了一种告警聚合方法、装置、设备和存储介质。
[0004]本申请实施例提供的技术方案是这样的：
[0005]本申请实施例首先提供了一种告警聚合方法，所述方法包括：
[0006]对获取到的日志进行聚合分析，得到包含至少一个热事件的热事件集合，以及包含至少一个冷事件的冷事件集合；其中，所述热事件为预设时长内被触发过的事件，所述冷事件为超过所述预设时长没有被触发过的事件，每一事件包含记录对应事件的至少一个日志；对所述热事件集合中的事件进行告警。
[0007]本申请实施例还提供了一种告警聚合装置，所述装置包括：
[0008]聚合模块，用于对获取到的日志进行聚合分析，得到包含至少一个热事件的热事件集合，以及包含至少一个冷事件的冷事件集合；其中，所述热事件为预设时长内被触发过的事件，所述冷事件为超过所述预设时长没有被触发过的事件，每一事件包含记录对应事件的至少一个日志；告警模块，用于对所述热事件集合中的事件进行告警。
[0009]本申请实施例还提供了一种电子设备，所述设备包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例所述告警聚合方法中的步骤。
[0010]本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例所述告警聚合方法中的步骤。
[0011]本申请提供的告警聚合方法，通过对获取到的日志进行聚合分析，得到包含热事件的热事件集合，和包含冷事件的冷事件集合，对热事件集合中的事件进行告警，从而可以通过事件的“热”性，判断事件是否持续，对日志进行持续聚合，对热事件集合中的事件进行告警，减少告警事件量，降低告警噪音。
附图说明
[0012]图1为本申请实施例一种告警聚合方法的流程示意图；
[0013]图2为本申请实施例另一种告警聚合方法的流程示意图；
[0014]图3为本申请实施例又一种告警聚合方法的流程示意图；
[0015]图4为本申请实施例再一种告警聚合方法的流程示意图；
[0016]图5为本申请实施例还一种告警聚合方法的流程示意图；
[0017]图6为本申请实施例还一种告警聚合方法的流程示意图；
[0018]图7为本申请实施例一种告警聚合系统的架构示意图；
[0019]图8为本申请实施例还一种告警聚合方法的流程示意图；
[0020]图9为本申请实施例一种告警聚合装置的组成结构示意图；
[0021]图10为本申请实施例一种电子设备的结构示意图。
具体实施方式
[0022]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
[0023]图1为本申请实施例一种告警聚合方法的流程示意图，如图1所示，所述方法包括以下步骤：
[0024]步骤102：对获取到的日志进行聚合分析，得到包含至少一个热事件的热事件集合，以及包含至少一个冷事件的冷事件集合；
[0025]其中，所述热事件为预设时长内被触发过的事件，所述冷事件为超过所述预设时长没有被触发过的事件，每一事件包含记录对应事件的至少一个日志；
[0026]其中，日志是用于记录系统的操作事件(又称事件)的记录文件或文件集合，日志是记录系统运行状态的重要工具，所述获取到的日志可以是系统的安全监控到安全防御的过程中，在系统出现故障时产生的告警日志(又称错误日志或异常日志)，当系统出现故障时，运维人员可以通过查看错误日志告警，定位故障原因；在一个实施例中，所述获取到的日志可以用于记录车辆的整车系统的运行状态。
[0027]随着业务逻辑的迭代，系统接入的依赖服务不断增多，当系统出现故障时，错误入职的告警量级会急剧增加，可能会出现告警风暴现象，此时需要对日志进行聚合分析，将同一事件对应的日志聚合在一起；事件可以由一些不同的属性，如时间、地点(位置)、主体、行为、影响范围等组成；所述预设时长可以以分钟、小时等为单位；在一个实施例中，所述热事件可以是以当前时间为基准，超过n个小时、且无新的行为触发的事件，所述冷事件可以是以当前时间为基准，n个小时内，或在超过n个小时后、n小时内有新行为触发的事件。
[0028]步骤104：对所述热事件集合中的事件进行告警。
[0029]其中，可以根据预先配置的告警规则，判断所述热事件集合中的事件是否需要告警，并对需要告警的事件输出告警信息。
[0030]本申请提供的告警聚合方法，通过对获取到的日志进行聚合分析，得到包含热事件的热事件集合，和包含冷事件的冷事件集合，对热事件集合中的事件进行告警，从而可以通过事件的“热”性，判断事件是否持续，对日志进行持续聚合，对热事件集合中的事件进行告警，减少告警事件量，降低告警噪音。
[0031]在一些实施例中，如图2所示，在步骤102“对获取到的日志进行聚合分析”之前，所述方法还包括：
[0032]步骤1011：将获取到的日志拆分为字段标识和字段内容；
[0033]步骤1012：基于所述字段标识和所述字段内容，设定聚合规则；
[0034]其中，所述聚合规则用于对所述获取到的日志进行聚合分析。
[0035]其中，可以将获取到的日志拆分为字段标识：字段内容的方式放入日志存储数据库中，所述字段标识可以表示为key，所述字段内容可以标识为value，则日志在日志存储数据库中可以表示为json格式的{key1:value1，key2:value2……
}。
[0036]可以根据多个字段标识与字段内容的关系，组合为一个聚合规则，在字段内容包括时间字段和客户端的IP时，所述聚合规则可以是根据时间字段，对时间字段均处于目标时间段的多个日志进行聚合，所述聚合规则还可以是根据客户端的IP，对客户端的IP均为目标IP的多个日志进行聚合。
[0037]本申请实施例中，通过根据字段标识和字段内容，设定聚合规则，从而可以根据字段内容，将某些字段内容相同的日志聚合在一起，降低告警噪音。
[0038]在一些实施例中，如图3所示，步骤102“对获取到的日志进行聚合分析，得到包含至少一个热事件的热事件集合，以及包含至少一个冷事件的冷事件集合”，包括：
[0039]步骤1021：利用实时分析引擎，从流处理库中获取实时日志；
[0040]其中，所述流处理库可以是Kafka，实时分析引擎可以从Kafka中实时消费日志进行日志分析。
[0041]步骤1022：按照所述聚合规则，对所述实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种告警聚合方法，其特征在于，所述方法包括：对获取到的日志进行聚合分析，得到包含至少一个热事件的热事件集合，以及包含至少一个冷事件的冷事件集合；其中，所述热事件为预设时长内被触发过的事件，所述冷事件为超过所述预设时长没有被触发过的事件，每一事件包含记录对应事件的至少一个日志；对所述热事件集合中的事件进行告警。2.根据权利要求1所述的方法，其特征在于，在所述对获取到的日志进行聚合分析之前，所述方法还包括：将获取到的日志拆分为字段标识和字段内容；基于所述字段标识和所述字段内容，设定聚合规则；其中，所述聚合规则用于对所述获取到的日志进行聚合分析。3.根据权利要求2所述的方法，其特征在于，所述对获取到的日志进行聚合分析，得到包含至少一个热事件的热事件集合，以及包含至少一个冷事件的冷事件集合，包括：利用实时分析引擎，从流处理库中获取实时日志；按照所述聚合规则，对所述实时日志进行聚合分析，得到包含至少一个初始热事件的热事件集合和包含至少一个初始冷事件的冷事件集合；在所述至少一个初始冷事件中的目标冷事件被再次触发的情况下，将所述目标冷事件从所述冷事件集合中取出、放入所述热事件集合。4.根据权利要求3所述的方法，其特征在于，所述对获取到的日志进行聚合分析，得到包含至少一个热事件的热事件集合，以及包含至少一个冷事件的冷事件集合，还包括：在所述至少一个初始热事件中的目标热事件在所述预设时长没有被触发的情况下，将所述目标热事件从所述热事件集合中取出、放入所述冷事件集合。5.根据权利要求3所述的方法，其特征在于，所述字段内容包括所述日志的时间字段、存放位置字段、主体字段、行为字段和客户端的IP中至少之一；所述按照所述聚...

【专利技术属性】
技术研发人员：涂磊，
申请(专利权)人：阿维塔科技重庆有限公司，
类型：发明
国别省市：