一种安全日志分析与处理的方法及计算机存储介质技术

本发明专利技术提供了一种安全日志分析与处理的方法及计算机存储介质，属于信息处理技术领域，所述方法包括：规则定义阶段，包括：逻辑运算符、算数运算符；用于制定规则，描述安全日志的特征；规则执行阶段，包括：将规则添加到调度器、执行规则、触发规则、触发动作；用于判断日志是否异常，如果是，则捕获该日志并提醒安全人员处理。本发明专利技术为安全人员提供便捷的数据交互及辅助分析手段，利用程序实现对海量数据的自动分析，为安全人员赋能，提升安全分析效率。提升安全分析效率。提升安全分析效率。

【技术实现步骤摘要】
一种安全日志分析与处理的方法及计算机存储介质


[0001]本专利技术属于信息处理
，尤其是涉及一种安全日志分析与处理的方法及计算机存储介质。

技术介绍

[0002]安全分析是一项针对海量安全日志进行的复杂化处理与分析的过程，在原始的安全分析行为中，分析人员通常需要登录不同的安全设备或引擎逐一进行查看及分析，这种方式不仅导致分析效率低下，还无法将同一攻击行为在不同安全设备上产生的影响（即相应的日志）进行有效关联。从而放过了已经出现的安全问题，产生安全生产事故。
[0003]中国专利技术专利名称：安全日志数据处理方法，专利号：CN113568810A，提供了及一种安全日志数据处理方法、装置、计算机设备以及存储介质，方法包括：采集初始安全日志数据，对初始安全日志数据进行过滤与归并处理，得到过滤与归并处理后的第一安全日志集合，再将第一安全日志集合中数据进行标准化处理，得到标准化处理后的第二安全日志集合，对第二安全日志集合内安全日志数据进行关联分析，以便能够将安全日志集合内的安全日志数据关联上，便于后期关联推送。整个过程中，针对采集到的安全日志数据自动依次进行过滤与归并、标准化以及关联分析的处理，其无需过多的人为干预与参与即可完成对安全日志数据的高效且有效处理。该专利技术考虑了将第一安全日志进行标准化处理获取第二安全日志，以获取格式规范的安全日志，但是该专利依旧需要分析人员登录不同的设备或引擎查看问题，无法适用于不同的设备。

技术实现思路

[0004]针对现有技术中存在的问题，本专利技术提供了一种安全日志分析与处理的方法及计算机存储介质，所述方法通过定义规则，执行规则，触发规则、触发动作一系列操作，为安全人员提供便捷的数据交互及辅助分析手段，利用程序实现对海量数据的自动分析，为安全人员赋能，提升安全分析效率。
[0005]本专利技术采用的技术方案如下：一种安全日志分析与处理方法，包括如下步骤：定义安全事件的规则，由安全人员根据安全事件的特征定义一套分析规则，包括：逻辑运算符、算数运算符、聚合条件，逻辑运算符、算数运算符、聚合条件组合描述安全事件的特征；执行定义的规则，包括如下步骤：S0、将预先定义的安全事件规则添加到调度器，用于作为安全事件触发条件；S1、执行规则，执行S0步骤中定义的规则；S2、触发规则，用于判断安全事件是否触发规则，如果是，则表明当前事件异常，执行步骤S3，如果否，执行步骤S1；S3、触发动作，捕获该事件并提醒安全人员处理。
[0006]进一步地，将规则添加到调度器具体包括：S00、判断规则状态，如果规则已启用，则执行步骤S01；如果规则未启用，则根据规则id删除调度其中正在执行的定时任务；S01、判断该规则的定时任务是否在调度器中，如果是，则根据规则id删除调度器中正在执行的定时任务，执行步骤S02；如果否，则执行步骤S02；S02、计算规则定义的周期时间、延迟时间、执行开始时间，执行步骤S03；S03、设置规则定时任务的属性，包括：调度时间、规则信息；并将属性添加进调度器中，调度器开始定时执行。
[0007]进一步地，规则执行具体包括：S10、到达本执行周期的触发时间，计算本周期结束时间和开始时间；S11、判断定时任务与elasticsearch的连接是否正常，如果是，则读取规则条件和查询时间范围，并将规则条件和查询时间范围拼接为elasticsearch的filter条件，执行步骤S12；如果否，则保存执行结果为失败；S12、判断规则的聚合条件中是否设置了相同字段或不同字段，如果是，则将相同字段与不同字段一起作为elasticsearch的聚合操作的fields进行分组聚合，统计条数，执行步骤S13；如果否，则不进行聚合操作，仅统计条数，执行步骤S13；S13、调用elasticsearch的接口执行聚合查询并返回统计条数结果，执行步骤S14；S14、检查返回结果是否为空，如果是，则表明没有符合条件的数据，保存执行结果为成功，接收本周期任务；如果否，则表明有符合条件的日志。
[0008]进一步地，步骤S14返回结果不为空时，还包括：S20、判断规则的聚合条件中是否设置了不同字段，如果是，则对聚合条件进行不同字段情况的分析，执行步骤S21，如果否，则对聚合条件进行相同字段情况的分析，执行步骤S23;S21、取第i条数据，将设置的所有相同字段拼接为一个字符串，将字符串作为map的key，value定义为出现次数N，执行步骤S22；S22、判断N是否大于等于规则设定的触发值，如果是，则触发规则action；如果否，则i+1，执行步骤S21；S23、取第i条数据，判断结果的统计数据是否大于等于规则设定的触发值，如果是，则触发规则触发器；如果否，则i+1，执行步骤S23。
[0009]进一步地，步骤S22中，触发规则触发器后具体包括：S30、判断规则中是否开启了相同字段触发动作间隔，如果是，则将触发历史中的数据保留触发设定值的条数，将超出数据中最早的数据移除，执行步骤S31；如果否，则执行步骤S33；S31、判断触发历史中的数据条数是否等于或超过设定的数值，如果是，则执行步骤S32；如果否则执行步骤S33；S32、计算本周期结束时间与触发历史中最早一条时间的差值，判断该差值是否小于预设值，如果是，则表明触发频繁，此次不再触发；如果否，则执行步骤S33；S33、将规则设置的条件拼接为查询elasticsearch的filter，将设置的相同字段
的值拼接为elasticsearch的match，执行步骤S34；S34、将日志接收时间作为排序字段，设置分页参数，将每页大小设定为规则设置的触发数量，执行步骤S35；S35、设置查询时间范围，执行步骤S36;S36、调用elasticsearch的查询接口，返回原始日志数据，执行步骤S37；S37、将实际的周期结束时间设置为这批日志中最后一条的接收时间，判断返回的日志数量是否达到规则设定的触发值，如果是，则执行步骤S38；如果否，则执行步骤S39；S38、判断规则中是否开启了相同字段触发间隔，如果是，则将触发历史中的数据保留触发设定值的条数，将超出的数据中最早的数据移除；如果否，则执行步骤S39；S39、将实际周期结束时间放在触发历史队列中的头部，用于控制下次触发间隔，执行action，执行步骤S40；S40、判断S36的返回数据是否是最后一页的数据，如果否，则将分页信息设置为下一页，执行步骤S36。
[0010]进一步地，步骤S35设置查询时间范围，具体包括：取触发历史中最新的一个时间与理论上的周期开始时间相比较，如果最新的一个时间比开始时间大，则将开始时间设置为触发历史中最新的一个时间；反之，则保持现有开始时间的设置。
[0011]进一步地，步骤S38中，如果规则中开启了相同字段触发间隔还包括：S41、判断触发历史中的数据条数是否等于或超过设定的数值；如果是，则执行步骤S42；如果否，则执行步骤S39；S42、计算本周期结束时间与触发历史中最早一条时间的差值，判断该差值是否小于预设值，如果是，则表明触发频繁，此次不再触发；如本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种安全日志分析与处理方法，其特征在于，包括如下步骤：定义安全事件的规则，由安全人员根据安全事件的特征定义一套分析规则，包括：逻辑运算符、算数运算符、聚合条件，逻辑运算符、算数运算符、聚合条件组合描述安全事件的特征；执行定义的规则，包括：S0、将预先定义的安全事件规则添加到调度器，用于作为安全事件触发条件；S1、执行规则，执行S0步骤中定义的规则；S2、触发规则，用于判断安全事件是否触发规则，如果是，则表明当前事件异常，执行步骤S3，如果否，执行步骤S1；S3、触发动作，捕获该事件并提醒安全人员处理。2.如权利要求1所述的安全日志分析与处理方法，其特征在于，将规则添加到调度器具体包括：S00、判断规则状态，如果规则已启用，则执行步骤S01；如果规则未启用，则根据规则id删除调度其中正在执行的定时任务；S01、判断该规则的定时任务是否在调度器中，如果是，则根据规则id删除调度器中正在执行的定时任务，执行步骤S02；如果否，则执行步骤S02；S02、计算规则定义的周期时间、延迟时间、执行开始时间，执行步骤S03；S03、设置规则定时任务的属性，包括：调度时间、规则信息；并将属性添加进调度器中，调度器开始定时执行。3.如权利要求1所述的安全日志分析与处理方法，其特征在于，规则执行具体包括：S10、到达本执行周期的触发时间，计算本周期结束时间和开始时间；S11、判断定时任务与elasticsearch的连接是否正常，如果是，则读取规则条件和查询时间范围，并将规则条件和查询时间范围拼接为elasticsearch的filter条件，执行步骤S12；如果否，则保存执行结果为失败；S12、判断规则的聚合条件中是否设置了相同字段或不同字段，如果是，则将相同字段与不同字段一起作为elasticsearch的聚合操作的fields进行分组聚合，统计条数，执行步骤S13；如果否，则不进行聚合操作，仅统计条数，执行步骤S13；S13、调用elasticsearch的接口执行聚合查询并返回符合查询条件的统计条数结果，执行步骤S14；S14、检查返回结果是否为空，如果是，则表明没有符合条件的数据，保存执行结果为成功，接收本周期任务；如果否，则表明有符合条件的日志。4.如权利要求3所述的安全日志分析与处理方法，其特征在于，步骤S14返回结果不为空时，还包括：S20、判断规则的聚合条件中是否设置了不同字段，如果是，则对聚合条件进行不同字段情况的分析，执行步骤S21；如果否，则对聚合条件进行相同字段情况的分析，执行步骤S23;S21、取第i条数据，将设置的所有相同字段拼接为一个字符串，将字符串作为map的key，value定义为出现次数N，执行步骤S22；S22、判断N是否大于等于规则设定的触发值，如果是，则触发规则action；如果否，则i+
1，执行步骤S21；S23、取第i条数据，判断结果的统计数据是否大于等于规则设定的触发值，如果是，则触发规则触发器；如果否，则i+1，执行步骤S23。5.如权利要求4所述的安全日志分析与处理方法，其特征在于，步骤S22中，触发规则触发器后具体包括：S30、判断规则中是否开启了相同字段触发动作间隔，...

【专利技术属性】
技术研发人员：李祺龙，张珍珍，高原，曹瑞，崔晓鑫，戴军，
申请(专利权)人：山东星维九州安全技术有限公司，
类型：发明
国别省市：