基于事件滑动窗口的攻击模式检测方法技术

本发明专利技术涉及基于事件滑动窗口的攻击模式检测方法，包括：S1.将各告警信息归一化和整合压缩和预处理，对属性相似度接近的告警信息聚合为超告警；S2.根据因果关联矩阵对频繁项规约为频繁关联序列模式；S3.每一次新的频繁关联序列模式，以及有不同属性的频繁关序列联模式的告警对，将参与的属性按权重加权平均；S4.生成符合入侵特征的攻击模式图。本发明专利技术能够更加高效、准确的挖掘告警日志中存在的攻击模式，并快速实现识别或者拦截新的入侵访问行为，在海量且看似无意义的告警日志中挖掘攻击模式的准确率和速率均有大幅度的提升。

【技术实现步骤摘要】

本专利技术涉及数据挖掘在网络攻击识别等领域的应用，具体的讲是基于事件滑动窗口的攻击模式检测方法。
技术介绍
分布式计算的出现和普及，为处理海量数据提供了便捷的操作。同时，网络安全也是当前各领域关注的问题。针对网络环境中的关键信息的资源和威胁数量都在急剧上升，如何通过相关数据进行分布式分析，对网络攻击行为做出主动反应，是网络安全领域近年来的研究热点。在通过分析日志文件对网络安全态势进行评估已得到越来越广泛的认可。然而在目前的分布式日志关联分析和其它分析的系统中，都是对已知可见的小规模数据分块进行并安全性分析，但应对目前不断更新且海量规模的日志文件，特别是日志流和异构网络环境时，其工具和分析方式，都无法较好的胜任采集与分析任务，并且缺乏对整体日志数据的综合分析，并不能够及时应对日志分析和安全防护。而且在大型特别是集群系统中，由于其网络的复杂性，由其它网络安全设备、负载均衡设备带来的诸多不确定因素，也需要采集、分析能力更为强劲，部署更为灵活的分布式日志关联分析系统。告警日志文件在当今的系统和集群管理中，承担了越来越重要的角色。因为告警日志文件中的一些有价值的事件记录，例如错误、执行跟踪或者程序内部状态的统计信息，能够反映访问者的意图。因此对于异常检测来说，告警日志的挖掘能够帮助我们更好的识别潜在或者已经存在的攻击模式。
技术实现思路
本专利技术提供了一种基于事件滑动窗口的攻击模式检测方法，以更高效准确的挖掘告警日志中存在的攻击模式，并实现识别或者拦截新的入侵访问行为。本专利技术基于事件滑动窗口的攻击模式检测方法，包括：S1.由于检测环境是分布式集群，且每一种应用对应着一种告警源，因此首先需要进行告警聚合，并且在聚合的过程中完成收集、预处理和压缩：监听各告警源的告警信息，并将各告警信息归一化，使各告警信息都有相同的属性，将各告警信息按照属性进行整合压缩和预处理，以删除无效告警或重复告警等干扰分析判断的数据，然后将属性相似度接近的告警信息聚合为超告警，所述属性可以包括目的地址、源地址和/或目的端口、告警等级等；S2.对指定时间范围内超告警的频繁项根据因果关联矩阵规约为频繁关联序列模式；S3.在每一次提取频繁项的过程中，不同告警信息之间的关联系数会出现波动，因此需要在提取过程中，调整所述因果关联矩阵中的每一个值，需要对每一次新的频繁关联序列模式，以及有不同属性的频繁关序列联模式的告警对，根据其属性之间的特性计算新的关联系数，然后将各参与计算关联系数的属性按权重进行加权平均，计算后的结果放入因果关联矩阵对应的单元格中；S4.将新得到的频繁关联序列模式生成符合入侵特征的攻击模式图。本专利技术通过对告警信息的日志数据进行预处理、聚合，按照时间存入告警日志流后，基于事件滑动窗口的攻击模式挖掘方法提取出其中的频繁关联序列模式，并计算用于更新因果关联矩阵，从而根据新得到的攻击模式生成符合入侵特征的攻击模式图。并且测试得知，本专利技术的方法在海量且看似无意义的告警日志中挖掘攻击模式的准确率和速率较传统的序列模式挖掘方法均有显著的提升效果。一种优选的方式为，步骤S2中，对所述超告警按单元时间分块，单元时间可以为小时或分钟等。每个分块内切分为指定大小的窗口，并记录每个窗口号的大小，对每个窗口超告警的频繁项进行所述规约。进一步的，所述每个窗口的超告警包括相邻ρ个窗口内的超告警，ρ为回溯系数。这样可以进行跨窗口的频繁项提取。回溯系数ρ的值决定了搜索窗口的数量，以便发现更长的关联模式。进一步的，步骤S3所述告警对的不同属性可以包括告警对的各频繁关序列联模式的时间属性或窗口号属性。一种优选的方式是步骤S4所述的攻击模式图为攻击树。攻击树有根节点和子节点，能够很清楚的反映出各种告警信息之间的关联关系。所述攻击树的一种生成方法为，先对新得到的频繁关联序列模式取出具有相同开头的序列，然后将序列的开头结点插入到只含有空结点的树结构中，再将其它结点按顺序插入到符合当前结点关联性的结点下，最后生成攻击树。可选的，步骤S1中通过IDMEF格式(入侵检测消息交换格式)对各告警信息归一化，也可以采用其它适合的格式或自定义格式。本专利技术基于事件滑动窗口的攻击模式检测方法，能够更加高效、准确的挖掘告警日志中存在的攻击模式，并快速实现识别或者拦截新的入侵访问行为，在海量且看似无意义的告警日志中挖掘攻击模式的准确率和速率均有大幅度的提升。以下结合实施例的具体实施方式，对本专利技术的上述内容再作进一步的详细说明。但不应将此理解为本专利技术上述主题的范围仅限于以下的实例。在不脱离本专利技术上述技术思想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本专利技术的范围内。附图说明图1为本专利技术基于事件滑动窗口的攻击模式检测方法的流程图。具体实施方式如图1所示本专利技术基于事件滑动窗口的攻击模式检测方法，包括：S1：告警聚合：由于检测环境是分布式集群，且每一种应用对应着一种告警源，在聚合的过程中完成收集、预处理和压缩，步骤为：S11：通在不同的告警源头上设置代理，每个代理感知对应告警源产生的信息，并按照一定的比率监测，如果监测到新的告警，则发送到传输队列中。利用Flume日志收集开源技术，对收集代理源、传输管道和收集沉降进行有效的配置。S12：对产生的告警信息，进行信息转化，转化为告警日志后，再进行传输。S13：对传输队列中的告警，按照IDMEF(入侵检测消息交换格式)标准或者类似的自定标准格式进行数据格式归一化，使每一种告警都拥有同样的属性，以便后期挖掘更多的信息。S14：按照来源IP、目的IP和/或告警等级等属性对汇聚的日志信息进行整合压缩和预处理工作，删除无效告警或重复告警等干扰分析判断的数据。通过判定两条告警信息之间的相似度，如果在某些特定的属性，如目的地址，源地址、目的端口等属性相似度高，则判定为重复告警，进行告警聚合为超告警。假设告警信息的集合为A＝{δi,i＝1,2...本文档来自技高网...

【技术保护点】
基于事件滑动窗口的攻击模式检测方法，其特征包括：S1.告警聚合：监听各告警源的告警信息，并将各告警信息归一化，使各告警信息都有相同的属性，将各告警信息按照属性进行整合压缩和预处理，将属性相似度接近的告警信息聚合为超告警；S2.对指定时间范围内超告警的频繁项根据因果关联矩阵规约为频繁关联序列模式；S3.对每一次新的频繁关联序列模式，以及有不同属性的频繁关序列联模式的告警对，根据其属性之间的特性计算新的关联系数，然后将各参与计算关联系数的属性按权重进行加权平均，计算后的结果放入因果关联矩阵对应的单元格中；S4.将新得到的频繁关联序列模式生成符合入侵特征的攻击模式图。

【技术特征摘要】
1.基于事件滑动窗口的攻击模式检测方法，其特征包括：S1.告警聚合：监听各告警源的告警信息，并将各告警信息归一化，使各告警信息都有相同的属性，将各告警信息按照属性进行整合压缩和预处理，将属性相似度接近的告警信息聚合为超告警；S2.对指定时间范围内超告警的频繁项根据因果关联矩阵规约为频繁关联序列模式；S3.对每一次新的频繁关联序列模式，以及有不同属性的频繁关序列联模式的告警对，根据其属性之间的特性计算新的关联系数，然后将各参与计算关联系数的属性按权重进行加权平均，计算后的结果放入因果关联矩阵对应的单元格中；S4.将新得到的频繁关联序列模式生成符合入侵特征的攻击模式图。2.如权利要求1所述的攻击模式检测方法，其特征为：步骤S2中，对所述超告警按单元时间分块，每个分块内切分为指定大小的窗口，对每个窗...

【专利技术属性】
技术研发人员：陈爱国，罗光春，田玲，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51