一种基于置信度的网络安全告警处理方法技术

本发明专利技术提出了一种基于置信度的网络安全告警处理办法，包括了置信度获取，告警分级剔除，告警聚合三个步骤。置信度获取步骤采用机器学习方法，通过机器学习模型获取到原始告警的置信度。然后利用置信度先对原始告警进行剔除和分级操作。分级完成后先对确认为攻击的告警进行告警聚合，得到高级告警。若得到的高级告警不足以满足分析需求，再对高度疑似的告警进行告警聚合得到更多的高级告警。

【技术实现步骤摘要】
一种基于置信度的网络安全告警处理方法
本专利技术提出了一种基于置信度的网络安全告警处理方法，用于剔除无用的，冗余的网络安全设备告警，提高网络安全入侵事件的分析效率。属于网络安全领域。
技术介绍
随着计算机信息通信技术的高速发展，网络安全攻击事件时有发生。现阶段下，企事业单位对于安全攻击事件的防御和复盘分析基本都依赖于安全设备，以及安全设备产生的日志。当前的网络安全设备普遍存在误报和漏报的情况，并且在互联网上充斥着大量的肉鸡，这些肉鸡经常性得被不法分子用作扫描器对全网进行扫描。因此网络安全设备还会产生大量的无用的告警。
技术实现思路
针对当前互联网中充斥着大量的肉鸡扫描器以及当前网络安全设备存在大量的误报漏报的情况。本专利技术了提出一种基于置信度的网络安全告警处理方法。其目的在于提高在网络安全入侵事件复盘分析时的效率，帮助安全分析人员更快速地定位攻击者得入口点，分析攻击者地攻击过程，评估攻击产生的影响。一种基于置信度的网络安全告警处理方法,包括以下步骤：步骤1：置信度获取，收集互联网上的常用的网络攻击的向量和Web系统正常的请求，然后利用机器学习方法搭建机器模型，接下来利用标注好的训练数据对机器模型进行训练，获取到具有分类效果的分类器；训练好的机器模型的输出是一个一维数组，数组中的数据代表的是请求为各类型攻击的概率，这里将正常的请求也看作是一种特殊的攻击；例如，对于一条输入的请求数据I，模型输出的一维数组0为[0.2,0.7,0.1]，数组中的数据代表的是请求为各类型攻击的概率，这里将正常的请求也看作是一种特殊的攻击。假设在训练模型时，数据的标签是按照正常请求、XSS请求、SQL注入请求这样的顺序进行排列的，即正常的请求的标签是[1,0,0]，XSS请求的标签是[0,1,0]，SQL注入请求标签为[0,0,1]；这样就可以知道请求i很有可能是一条XSS攻击请求，且模型判断i为XSS攻击请求的概率为0.7.然后将导致安全设备产生告警的原始请求输入到已经训练好的模型中进行打分评判，获取到模型输出的一维数组，保留一维数组中数值最大的数据α(0<α<1)，及其在数组中的位置P，α即为告警的置信度，P则代表告警的类型，获取到告警的置信度和告警的攻击类型。步骤2，告警剔除，依据模型的准确度和模型输出的告警置信度，将告警进行分类，告警可分为可直接剔除类，高度疑似类，和确认为攻击的三类告警。步骤3，告警聚合形成高级告警，告警聚合方法是，先按照告警时间进行告警排序，然后按照告警的类型，告警发生的时间，告警的源IP进行告警相似度计算，对于相似度大于0.75的两条告警，将其归属于同一个高级告警。上述技术方案中，告警进行分类包括如下步骤：分级方法是基于模型准确度f(0<f<1)和告警置信度进行分级的；告警的置信度为a，a>f或者f-a<0.1则，该告警归为确定为攻击类；0.1<＝f-a<＝0.25则告警归为高度疑似；f-a>0.25的归为直接剔除类；0.1和0.25是一个给定的阈值，可根据实际场景进行动态调整。模型准确度f如下式：f＝accuracy＝(TP+TN)/(TP+FN+FP+TN)(1.1)式中，TP：被模型预测为正的正样本；FP：被模型预测为正的负样本；FN：被模型预测为负的正样本；TN：被模型预测为负的负样本。因为本专利技术采用上述技术方案，因此具有以下有益效果：一、本专利技术首先利用机器学习技术，对告警的置信度进行量化，获取到告警的置信度。然后依据机器学习模型的准确度和告警的置信度，对告警进行分级处理，将告警分为可直接剔除类，高度疑似类，和确认为攻击的三类告警。然后首先仅对确定为攻击类的告警进行告警聚合形成超级告警，从而方便安全分析人员进行更为抽象的攻击事件分析。若仅用确定为攻击类的告警经过告警聚合形成的超级告警不足以满足安全人员的分析需求，则再将高度疑似类的告警进行告警聚合操作，以形成更多的超级告警。二、利用机器学习技术获取到告警的置信度，然后基于告警置信度和模型准确度对告警进行告警分级，可剔除掉安全设备产生的错误告警，减少告警聚合阶段的数据量，能够在不影响告警聚合准确度的情况下加快告警聚合的速度。附图说明图1为置信度获取的流程步骤；图2为为告警分类图；图3为聚合成高级告警流程图；图4为基于置信度的网络安全告警处理方法整体流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术，即所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。以下结合实施例对本专利技术的特征和性能作进一步的详细描述。本专利技术结合机器学习技术，通过使用机器学习模型评估分析网络安全设备产生的告警的置信度，将机器模型对告警请求的为攻击的预测值作为告警的置信度的量化。然后基于告警的置信度，将设备产生的原始告警进行分级，分为确定为攻击、高度疑似、可直接剔除类三个等级。对置信度低于阈值的可直接删除类的告警进行剔除。然后对确定为攻击类的告警进行聚合形成高级告警，一个高级告警即可代表攻击者的一个攻击步骤。通过这样方式来帮助分析人员快速进行网络安全攻击事件分析。若仅仅使用确定为攻击类的告警不满足事件分析的需求，则将高度疑似类的告警和确定为攻击类的告警一起进行告警聚合，形成更多的高级告警。具体的本专利技术提供了一种基于置信度的网络安全告警处理方法包括以下步骤：步骤一，收集互联网上的常用的网络攻击的向量(包括常用的XSS攻击的payload，SQL注入请求的payload，命令注入请求的payload)和Web系统正常的请求，然后利用机器学习方法搭建机器模型，接下来利用标注好的训练数据对模型进行训练，获取到具有分类本文档来自技高网...

【技术保护点】
1.一种基于置信度的网络安全告警处理方法,其特征在于，包括以下步骤：/n步骤1：置信度获取，收集互联网上的常用的网络攻击的向量和Web系统正常的请求，然后利用机器学习方法搭建机器模型，接下来利用标注好的训练数据对机器模型进行训练，获取到具有分类效果的分类器；/n训练好的机器学习模型的输出是一个一维数组,数组中的数据代表的是请求为各类型攻击的概率，这里将正常的请求也看作是一种特殊的攻击；/n然后将导致安全设备产生告警的原始请求输入到已经训练好的模型中进行打分评判，获取到模型输出的一维数组0，然后从一维数组0中获取到最大的数据值α(0<α<1)，及其在数组中的位置P，α即为告警的置信度，P则代表攻击的类型，从而获取到告警的置信度和告警的攻击类型；/n步骤2，告警剔除，依据模型的准确度和模型输出的告警置信度，将告警进行分类，告警为三类，可直接剔除类，高度疑似类，和确认为攻击的三类告警；/n步骤3，告警聚合形成高级告警，告警聚合方法是，先按照告警时间进行告警排序，然后按照告警的攻击类型，告警发生的时间，告警的源IP进行告警相似度计算，对于相似度大于0.75的两条告警，将其归属于同一个高级告警。/n...

【技术特征摘要】
1.一种基于置信度的网络安全告警处理方法,其特征在于，包括以下步骤：
步骤1：置信度获取，收集互联网上的常用的网络攻击的向量和Web系统正常的请求，然后利用机器学习方法搭建机器模型，接下来利用标注好的训练数据对机器模型进行训练，获取到具有分类效果的分类器；
训练好的机器学习模型的输出是一个一维数组,数组中的数据代表的是请求为各类型攻击的概率，这里将正常的请求也看作是一种特殊的攻击；
然后将导致安全设备产生告警的原始请求输入到已经训练好的模型中进行打分评判，获取到模型输出的一维数组0，然后从一维数组0中获取到最大的数据值α(0<α<1)，及其在数组中的位置P，α即为告警的置信度，P则代表攻击的类型，从而获取到告警的置信度和告警的攻击类型；
步骤2，告警剔除，依据模型的准确度和模型输出的告警置信度，将告警进行分类，告警为三类，可直接剔除类，高度疑似类，和确认为攻击的三类告警；
步骤3，告警聚合形成高级告警，告警聚合方法是，先按照告警时间进行告警排序，然...

【专利技术属性】
技术研发人员：张小松，牛伟纳，巫长勇，李婷，肖建安，邓建，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51