一种基于海量告警的攻击事件识别方法及电子装置制造方法及图纸

本发明专利技术提供一种基于海量告警的攻击事件识别方法及电子装置，该方法包括依据告警信息的属性列，将告警信息分为一局部特征组及若干全局特征组；获取局部特征组的局部特征键列组及全局特征组的全局特征键列组集合，计算局部特征表与全局特征表集合；拼接局部特征表与全局特征表集合，将得到的完整特征表输入堆叠模型，根据输出概率判定对应事件是否属于攻击事件。本发明专利技术基于告警记录所涵盖的信息维度对告警属性进行划分，基于映射归约计算框架进行特征生成，在保证原始告警信息关联信息有效广泛的同时，减少了冗余特征的生成，适合海量告警数据的情况，识别精准度高。

【技术实现步骤摘要】
一种基于海量告警的攻击事件识别方法及电子装置
本专利技术涉及计算机科学的
，尤其涉及一种基于海量告警的攻击事件识别方法及电子装置。
技术介绍
从海量告警中识别攻击事件主要通过机器学习的方法，对从多个层次的安全设备产生的告警进行关联融合，实现误报的剔除和攻击事件的识别，为后续安全运维人员进行系统加固和其他防御操作提供基本信息。随着信息化的不断发展，网络规模逐渐增大，网络安全事件层出不穷,同时各类业务系统受到黑客攻击的风险也随之增加。因此，当前在各类业务系统中均接入了多个层次的安全设备，用于检测威胁和攻击事件，例如防火墙，防病毒软件，入侵检测系统(IntrusionDetectionSystem,IDS)、下一代防火墙(NextGenerationFirewall,NGFW)和统一威胁管理(UUnifiedThreatManagement,UTM)等。基于内置的规则库和威胁策略，这些广泛部署的安全设备可以针对特定的行为产生告警信息，随后这些告警信息被汇集到安全操作中心(SecurityOperationCenter,SOC)进行统一分析和处理。虽然各类安全设备可以检测攻击事件，但是由于多种原因，仍需大量的人工操作对告警信息进行人工校验。第一，告警信息数量繁多。由于各个层次的安全设备均会产生告警，当所有的安全信息汇集集中起来时，告警的数量便会激增使得安全操作中心面临巨大的压力。第二，误报信息较多。由于任何异常情况都将触发告警，而在这些告警中通常仅有少量告警是由真正的入侵行为产生的，因此需要剔除这些误报信息。除此之外，网络中的每一个安全设备具有独立的识别和报告可疑事件的功能，这使得通过来源于单一设备的信息无法准确判断是否发生了攻击事件，同时不同的安全设备针对单一事件产生重复告警。因此，需要对来自于不同安全设备的告警信息进行关联，一方面对重复的告警记录进行剔除，另一方面融合多维度的信息来更准确的判断告警信息是否来源于攻击事件。目前，告警关联可以大致分为三类：1)基于相似度；2)基于顺序；3)基于知识。基于相似度的方法通过相似度来聚集和汇总告警，以减少用于分析告警数量。基于顺序的方法通过告警的因果关系将告警关联起来，以检测多步攻击。在此类别中，被攻击路径的构建广泛使用了基于图的结构。基于知识的方法通过已有攻击场景相关知识来关联告警。其中，攻击场景可能是安全专家人工构建的，也可能由机器学习或知识图谱技术基于现有知识推断的规则生成。虽然上述提及的方法理论上均可应用于从告警信息中识别出攻击事件的场景，例如中国专利申CN109684181A公开了一种告警根因分析方法、装置、设备及存储介质，其融合不同告警的时序关联性与拓扑关联性，从告警中挖掘出根本告警原因。但是在现实场景中经常面临海量的告警数据，而上述这些方法均难以适应海量数据的场景，从而难以应用于现实中。
技术实现思路
为解决上述问题，本专利技术提出一种基于海量告警的攻击事件识别方法及电子装置。本专利技术基于图的思想对告警数据进行高效关联，使用映射归约(MapReduce)计算框架对告警信息进行分组归约，然后构建融合模型对告警信息真实性进行判断，从而可以适应海量告警日志信息的情况，并且具有较高的检测准确率。为达到上述目的，本专利技术采用具体技术方案是：一种基于海量告警的攻击事件识别方法，其步骤包括：1)依据告警信息的属性列，将告警信息分为一局部特征组及若干全局特征组；2)获取局部特征组的局部特征键列组及全局特征组的全局特征键列组集合，计算局部特征表与全局特征表集合；3)拼接局部特征表与全局特征表集合，将得到的完整特征表输入堆叠模型，根据输出概率判定对应事件是否属于攻击事件。进一步地，局部特征组为事件标识组；事件标识组包含告警记录所归属的事件；全局特征组为网络标识属性组、安全设备属性组及告警描述属性组；网络标识组属性组包含告警记录所设计的网络信息；安全设备属性组包含告警记录所产生的安全设备的状态和属性；告警描述属性组包含告警记录的异常信息内容。进一步地，通过以下步骤生成全局特征键列组集合：1)从网络标识属性组、安全设备属性组及告警描述属性组中任选两个属性组；2)从两个属性组中各选一个具体属性列作为一全局特征键列；3)遍历两个属性组，得到全部的全局特征键列，构成全局特征键列组集合。进一步地，通过以下步骤得到局部特征表与全局特征表集合：1)以局部特征键列组为主键对告警信息进行映射操作，分别得到局部特征分组；对局部特征分组内的其他属性列进行归约操作，得到局部特征表；2)以全局特征键列组集合内的每一个特征键列组为主键对告警信息进行映射操作，得到全局特征分组集合；对集合内的每一个特征分组的其他属性列进行归约操作，得到全局特征表集合。进一步地，采取下述策略进行归约操作：1)对数值型列，计算此列的最大值、最小值、平均值、奇异值及标准差；2)对字符型列，计算此列最频繁项与奇异值。进一步地，通过以下步骤拼接局部特征表与全局特征表集合：1)任选全局特征表集合中的一个全局特征表，将该全局特征表的主键列作为外部主键拼接到局部特征表上；2)通过不断循环拼接过程，将全局特征表集合中的所有全局特征表均拼接到局部特征表上，得到完整特征表。进一步地，通过以下步骤对输入堆叠模型前的完整特征表进行预处理：1)对字符型列与数值型列进行空值替换；2)对字符型数据进行编码；3)对全部特征的数据进行最大-最小归一化。进一步地，所述堆叠模型由两个层次构成，包括：1)由梯度提升树分类器与Adaboost分类器构建的第一层；2)由梯度提升树分类器构建的第二层。一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序执行上述方法。一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述方法。本专利技术的有益效果在于：本专利技术为从海量告警中识别攻击事件提供一种基于海量告警的攻击事件识别方法及电子装置，增强在告警数量巨大的背景下的网络管理能力，同时提升网络安全性，降低安全运维人员的工作量。本专利技术基于告警信息的不同属性维度进行特征工程，有效关联不同的告警信息，产生局部特征和全局特征作为关键识别信息，充分利用了不同防护层次的告警信息，同时使用了堆叠模型作为最终的分类依据，可以适用于海量告警数据，同时具有较高的检测率。与现有的告警关联方法相比，本专利技术具有以下几点优势：1、基于告警记录所涵盖的信息维度对告警属性进行划分，然后基于属性的划分对原始告警信息进行高效关联，在保证关联信息有效广泛的同时，减少了冗余特征的生成。2、基于映射归约(MapReduce)计算框架进行特征生成，适合海量告警数据的情况。3、识别准确率高，通过在IEEEBigData2019Cup:SuspiciousNetworkEventRecognition数本文档来自技高网...

【技术保护点】
1.一种基于海量告警的攻击事件识别方法，其步骤包括：/n1)依据告警信息的属性列，将告警信息分为一局部特征组及若干全局特征组；/n2)获取局部特征组的局部特征键列组及全局特征组的全局特征键列组集合，计算局部特征表与全局特征表集合；/n3)拼接局部特征表与全局特征表集合，将得到的完整特征表输入堆叠模型，根据输出概率判定对应事件是否属于攻击事件。/n

【技术特征摘要】
1.一种基于海量告警的攻击事件识别方法，其步骤包括：
1)依据告警信息的属性列，将告警信息分为一局部特征组及若干全局特征组；
2)获取局部特征组的局部特征键列组及全局特征组的全局特征键列组集合，计算局部特征表与全局特征表集合；
3)拼接局部特征表与全局特征表集合，将得到的完整特征表输入堆叠模型，根据输出概率判定对应事件是否属于攻击事件。


2.如权利要求1所述的方法，其特征在于，局部特征组为事件标识组；事件标识组包含告警记录所归属的事件；全局特征组为网络标识属性组、安全设备属性组及告警描述属性组；网络标识组属性组包含告警记录所设计的网络信息；安全设备属性组包含告警记录所产生的安全设备的状态和属性；告警描述属性组包含告警记录的异常信息内容。


3.如权利要求2所述的方法，其特征在于，通过以下步骤生成全局特征键列组集合：
1)从网络标识属性组、安全设备属性组及告警描述属性组中任选两个属性组；
2)从两个属性组中各选一个具体属性列作为一全局特征键列；
3)遍历两个属性组，得到全部的全局特征键列，构成全局特征键列组集合。


4.如权利要求1所述的方法，其特征在于，通过以下步骤得到局部特征表与全局特征表集合：
1)以局部特征键列组为主键对告警信息进行映射操作，分别得到局部特征分组；对局部特征分组内的其他属性列进行归约操作，得到局部特征表；
2)以全局特征键列组集合内的每一个特征键列组为主键对告警信息进行映射操作，得到全局特征分组集合；对集合内...

【专利技术属性】
技术研发人员：卢志刚，董聪，韩冬旭，姜波，刘宝旭，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：北京;11