一种基于大数据分析技术的网络安全日志告警处理方法技术

本发明专利技术提供一种基于大数据分析技术的网络安全日志告警处理方法，通过自动解析引擎得到格式统一的标准化日志数据，通过日志过滤规则先过滤掉无用和无意义的日志，然后通过网络攻击事件分类规则将日志转化为安全告警事件，再通过告警规则和关联分析算法将一定时间范围内相关联的告警事件进行合并，有效的将重复告警去重，并记录了重复发生频率，提高了告警事件分析质量。本发明专利技术通过建立一套直观、可靠、稳定的网络安全日志分析方法，通过简便、快捷的方式将采集到的网络安全日志数据进行范式化解析处理，生成统一日志属性的日志数据，再将日志产生的告警事件进行去重合并处理，有效提升网络安全检测效率，减少告警的误报和重复，从而减轻告警分析处理的压力。从而减轻告警分析处理的压力。从而减轻告警分析处理的压力。

【技术实现步骤摘要】
一种基于大数据分析技术的网络安全日志告警处理方法


[0001]本专利技术涉及电力信息系统
，具体是一种基于大数据分析技术的网络安全日志告警处理方法。

技术介绍

[0002]近年来，信息网络安全事件频发，安全形势日趋严峻，随着网络边界的扩大和网络安全设备的增多，各类网络安全设备产生的日志数据快速增长，而海量的日志事件需要安全运维人员进行辨识和处理，这其中包含许多重复的日志和无效的垃圾日志，而且不同的安全厂商具备不同的攻击特征库，采取不同的监测告警策略，为提高对于网络安全的整体感知能力，只能降低告警阈值，导致攻击告警误报多，监控人员监控压力大，另外网络安全设备部署的模式，导致同一流量被不同安全设备捕获，进而导致同一攻击行为触发沿途经过的多台安全设备告警，造成重复告警的现象。
[0003]要有效减少告警的误报和重复，提升告警分析处理的能力，有两项重要的工作需要完成，一是对多源异构的日志数据进行高效准确的统一格式的标准化解析，二是对统一格式后的标准化日志数据进行关联分析从而进行日志告警事件的有效去重，达到减少告警的误报和重复。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据分析技术的网络安全日志告警处理方法，其特征在于：包括如下步骤：步骤S1：采集需要进行告警分析的各类型网络安全设备所产生的日志；步骤S2：日志解析引擎将自动遍历内置的grok表达式解析规则库，如果规则库中存在对应的规则，进行步骤S3，如果不存在则进行步骤S4；步骤S3：日志解析引擎根据匹配到规则对日志按解析规则进行自动分词处理，再自动生成范式化文件，解析引擎将范式化文件通过logstash的过滤器插件对日志按标准范式化字段进行转义，生成格式统一的标准化日志；步骤S4：遍历不到对应规则的日志发往未解析日志库，由人工来使用解析引擎的辅助功能，通过选择合适的分词符，以及分词后各字段合适的转义映射规则，根据解析引擎给出的参考解析结果和原始日志数据对比，再对转义映射规则进行调整，直到能正确有效的生成统一格式的标准化日志，将转义映射规则补充进解析规则库，再通过解析引擎解析出日志；步骤S5：通过编写的日志过滤规则对日志进行过滤，去掉无意义的日志；步骤S6：将标准化的日志数据转化为网络安全告警事件；步骤S7：对于未在网络攻击事件分类规则定义范围内的日志数据，通过自定义新增的告警规则将日志数据定义为网络安全告警事件；步骤S8：通过余弦相似度算法对在一段时间范围内网络安全告警事件进行关联分析，将符合相似性规则的告警事件进行合并，并记录事件条数；步骤S9：通过告警事件合并的日志数据对关联的流量数据包进行下载分析，根据分析来调整关联分析的余弦相似度算法的相似性规则取值。2.如权利要求1所述的基于大数据分析技术的网络安全日志告警处理方法，其特征在于：步骤S1中基于syslog协议由大数据组件logs...

【专利技术属性】
技术研发人员：牛犁青，彭详礼，刘勇昊，向灏帆，张烨，褚兆良，徐远翔，
申请(专利权)人：湖北华中电力科技开发有限责任公司智网安云武汉信息技术有限公司，
类型：发明
国别省市：