基于增量学习的异常告警识别方法、装置、服务器和存储介质制造方法及图纸

本发明专利技术涉及采用单分类支持向量机（One Class SVM）的异常检测，识别新的高危险告警领域，具体提供了一种基于增量学习的异常告警识别方法、装置、服务器和存储介质，该方法首先利用不纯净的原始数据集训练一个单分类支持向量机（One Class SVM）模型识别异常告警，然后安全运营人员定期对模型得到的异常告警进行标记，并基于增量学习对模型进行迭代优化，以提高模型检测性能，降低漏报和误报。

【技术实现步骤摘要】
基于增量学习的异常告警识别方法、装置、服务器和存储介质
本专利技术实施例涉及网络安全领域，特别涉及一种基于增量学习的异常告警识别方法、装置、服务器和存储介质。
技术介绍
企业的数据中心（IDC，InternetDataCenter）通常会部署大量的安全防护设备，以构建网络安全防护系统。这些安全设备基于镜像流量产生海量告警日志，最终汇聚到网络安全态势感知平台（NSSA，NetworkSecuritySituationAwareness）。企业安全运营人员难以对这些安全告警逐一地分析调查，也无法定位出真正高威胁的告警。使用关联规则可以筛选部分高优先级的安全事件，但也有它的局限性：一是规则的维护成本非常高，需要投入大量人力进行更新和修改；二是即使投入大量人力运营规则，但是仍然会存在规则覆盖不全的新场景。在这些海量告警中，绝大部分告警都是使用自动化工具发起的尝试性攻击，真正高威胁的攻击相对是比较少的。对于常见的普遍攻击行为，使用规则也可以很好地进行覆盖。与此同时，网络入侵呈现多样性，智能性，隐蔽性，告警日志更是随时间不断变化，导致训练数据集不足以完整地描述所有正常数据的特征，静态不变的模型很难适应新的网络攻击。因此，如何在初始检测模型中动态增加新的攻击告警以扩大检测范围，提升检测精度，增加模型可塑性成为亟待解决的问题。此外，针对不断增加的数据样本，如何在不损失准确度的前提下，有效提高训练性能，也成为该检测模型能否投入实际使用的重要标准。
技术实现思路
针对上述目前存在的问题，因此，本专利技术采用单分类支持向量机（OneClassSVM）的异常检测，识别新的高危险告警，提供了一种基于增量学习的异常告警识别方法、装置、服务器和存储介质，既有高危险告警又有误报，该方法首先利用不纯净的原始数据集训练一个单分类支持向量机（OneClassSVM）模型识别异常告警，然后安全运营人员定期对模型得到的异常告警进行标记，并基于增量学习对模型进行迭代优化，以提高模型检测性能，降低漏报和误报。一方面，一种基于增量学习的异常告警识别方法，包括：步骤S1、数据预处理：将态势感知系统中原始告警事件数据按IP聚合，生成给定时间窗口内的告警事件序列，每个IP给定时间区间内事件个数大于阈值则生成一个告警事件序列，作为异常检测样本。步骤S2、事件序列特征提取：计算每个事件序列的统计特征，将每个IP在给定时间窗口内发生的安全事件转化为一个特征向量，得到异常检测样本的特征向量集合。步骤S3、模型的构建、增量优化及异常告警检测：记为初始样本集即S2中得到的异常检测样本特征向量集合，初始样本集是上一步中的异常检测样本的特征向量集合，为每次增量数据集；步骤S4、告警统计分析及可视化展示：对S3中异常检测模型检测出的异常IP在对应时间段的告警事件进行去重和统计分析并将结果可视化展示。进一步可选的，所述步骤S3包括：记为初始样本集，为每次增量数据集；Step1：使用OneClassSVM对初始样本集进行训练，得到训练好的异常检测模型；Step2：使用最近一次迭代模型对网络安全设备发送的告警事件进行异常告警检测。按一定频率定时反馈异常告警事件，由安全专家标注其是否是攻击，得到增量数据；Step3：基于KKT条件筛选增量数据，得到增量样本。如果为空，则分类效果好，本次不需要重新训练模型，将加入到最近一次的样本集中，得到该次迭代样本，该次迭代模型不变。转到Step2继续检测。如果不为空，进行下一步；Step4：基于改进超球算法约减最近一次模型的样本集，得到历史样本。将历史样本和增量样本组合得到新的迭代训练样本集；Step5：使用OneClassSVM对迭代训练样本集进行训练，得到增量迭代后的异常检测模型；其中，Step3：基于KKT条件筛选增量数据，是为了提升模型性能。传统SVM增量学习在增量过程中，将所有新增数据集加入训练样本中，导致数据集过大，影响模型性能。本专利技术采用基于KKT条件筛选出新增数据集中可能成为支持向量的样本加入训练集中进行训练，减少无用样本。从而大大减低训练时间，提升模型性能。Step4:基于改进超球算法约减最近一次模型的样本集，是为了提升模型准确率。传统SVM增量学习在增量过程中丢掉除了支持向量以外的所有样本，而这些样本在增量过程中有可能成为支持向量，因此对准确率产生不小的影响。本专利技术采用改进超球算法设置自适应参数，约减历史数据集，除了支持向量外，自动根据模型在新样本上的效果，保留类边界附近可能成为支持向量的部分样本，提升模型准确率。Step6：按一定频率定时重复步骤Step2-5，持续更新异常检测模型并对网络安全设备发送的告警事件进行异常告警检测。进一步可选的，所述步骤S1中，态势感知系统汇聚各网络安全设备发送的告警事件，对每个IP的告警事件进行聚合，生成给定时间窗口内的告警事件序列，作为异常检测的样本，具体为：给定时间区间和滑动时间窗口，对日志中的安全告警事件根据源IP或者目的IP的发生时间进行排序，以最小时间戳为起点，当时间区间内的事件个数大于给定最小值即生成为一个事件序列，当前起点时间向后滑动一个事件窗口，继续生成事件序列，直到循环结束，将告警事件序列集合作为异常检测样本。进一步可选的，所述步骤S2具体为:得到异常检测样本后，计算样本中每个事件序列的统计特征，包括：告警数量，告警种类数量，高危告警数量，高危告警种类，对端IP数量，IP内外网属性，告警时间间隔，通过计算上述统计特征，将每个IP某段时间发生的安全事件转化为一个特征向量，得到异常检测样本的特征向量集合。进一步可选的，所述步骤S4中，所述去重和多维度的统计分析包括：告警事件，告警级别，内外网情况；并进行可视化展示。另一方面，一种基于增量学习的异常告警识别装置，包括：数据预处理模块：将态势感知系统中原始告警事件数据按IP聚合，生成给定时间窗口内的告警事件序列，每个IP给定时间区间内事件个数大于阈值则生成一个告警事件序列，作为异常检测样本；事件序列特征提取模块：计算每个事件序列的统计特征，将每个IP在给定时间窗口内发生的安全事件转化为一个特征向量，得到异常检测样本的特征向量集合；检测模块：模型的构建、增量优化及异常告警检测；分析模块：告警统计分析及可视化展示，对S3中异常检测模型检测出的异常IP在对应时间段的告警事件进行去重和统计分析并将结果可视化展示。又一方面，一种服务器，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一增量学习的异常告警识别方法。再一方面，一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述任一基于增量学习的异常告警识别方法。本专利技术与现有技术相比，具有如本文档来自技高网...

【技术保护点】
1.一种基于增量学习的异常告警识别方法，其特征在于，包括如下步骤：/n步骤S1、数据预处理：将态势感知系统中原始告警事件数据按IP聚合，生成给定时间窗口内的告警事件序列，每个IP给定时间区间内事件个数大于阈值则生成一个告警事件序列，作为异常检测样本；/n步骤S2、事件序列特征提取：计算每个事件序列的统计特征，将每个IP在给定时间窗口内发生的安全事件转化为一个特征向量，得到异常检测样本的特征向量集合；/n步骤S3、模型的构建、增量优化及异常告警检测；/n步骤S4、告警统计分析及可视化展示，对S3中异常检测模型检测出的异常IP在对应时间段的告警事件进行去重和统计分析并将结果可视化展示。/n

【技术特征摘要】
1.一种基于增量学习的异常告警识别方法，其特征在于，包括如下步骤：
步骤S1、数据预处理：将态势感知系统中原始告警事件数据按IP聚合，生成给定时间窗口内的告警事件序列，每个IP给定时间区间内事件个数大于阈值则生成一个告警事件序列，作为异常检测样本；
步骤S2、事件序列特征提取：计算每个事件序列的统计特征，将每个IP在给定时间窗口内发生的安全事件转化为一个特征向量，得到异常检测样本的特征向量集合；
步骤S3、模型的构建、增量优化及异常告警检测；
步骤S4、告警统计分析及可视化展示，对S3中异常检测模型检测出的异常IP在对应时间段的告警事件进行去重和统计分析并将结果可视化展示。


2.根据权利要求1所述的基于增量学习的异常告警识别方法，其特征在于，所述步骤S3包括：
记为初始样本集，为每次增量数据集；
Step1：使用OneClassSVM对初始样本集进行训练，得到训练好的异常检测模型；
Step2：使用最近一次迭代模型对网络安全设备发送的告警事件进行异常告警检测；按一定频率定时反馈异常告警事件，由安全专家标注其是否是攻击，得到增量数据；
Step3：基于KKT条件筛选增量数据，得到增量样本，如果为空，则分类效果好，本次不需要重新训练模型，将加入到最近一次的样本集中，得到该次迭代样本，该次迭代模型不变，转到Step2继续检测，如果不为空，进行下一步；
Step4：基于改进超球算法约减最近一次模型的样本集，得到历史样本，将历史样本和增量样本组合得到新的迭代训练样本集；
Step5：使用OneClassSVM对迭代训练样本集进行训练，得到增量迭代后的异常检测模型；
Step6：按预设频率定时重复步骤Step2-5，持续更新异常检测模型并对网络安全设备发送的告警事件进行异常告警检测。


3.根据权利要求1所述的基于增量学习的异常告警识别方法，其特征在于，所述步骤S1中，态势感知系统汇聚各网络安全设备发送的告警事件，对每个IP的告警事件进行聚合，生成给定时间窗口内的告警事件序列，作为异常检测的样本，具体为：给定时间区间和滑动时间窗口，对日志中的安全告警事件根据...

【专利技术属性】
技术研发人员：周文，曹瑜，李绪国，任柳江，董贵山，吴波，
申请(专利权)人：中国航空油料集团有限公司，成都卫士通信息安全技术有限公司，
类型：发明
国别省市：北京;11