一种告警预测方法及系统技术方案

本申请公开了一种告警预测方法及系统，包括：对历史告警信息进行预处理和数据集划分处理，得到样本特征向量集合；使用样本特征向量集合训练集成学习模型，得到训练好的预测模型；使用训练好的预测模型对网络安全设备发送的告警信息进行实时预测和告警；若实时预测结果中的误判数量超过更新阈值，则使用增量学习的方式更新预测模型，得到新的预测模型。基于集成学习模型的预测模型能够处理海量告警信息，并对高危告警进行实时预测；使用增量学习的方式更新预测模型，对安全设备的误报有鲁棒性，能够对源IP发生真实高危事件的情况做出及时准确预报，并将相关告警信息通报给运维人员，帮助运维人员提前判断处理。

【技术实现步骤摘要】
一种告警预测方法及系统
本申请涉及网络安全
，尤其涉及一种告警预测方法及系统。
技术介绍
入侵检测系统(Intrusion-detectionsystem，IDS)是一种对网络传输进行即时监视，在发现可疑传输时发出警报或采取主动反应措施的网络安全设备。与其他网络安全设备的不同之处在于，IDS使用的是一种积极主动的安全防护技术。威胁发现系统(Threatdetectionsystem，TDA)是一种用于威胁检测的网络安全设备，通过分析所有端口及多种通讯协议的应用来解析出定向性攻击、高级威胁以及勒索软件的攻击行为，能快速发掘并分析恶意文档、恶意软件、恶意网页、违规外连、勒索软件以及传统防护无法侦测到的内网攻击以及定向式攻击活动。以IDS、TDA为代表的网络安全设备通过分析网络流量，针对可能的异常流量产生告警信息。通过对网络安全设备产生的告警信息记录进行分析，可以帮助运维人员判断是否有需要处理的异常事件发生、了解设备运行状况等。由于在相对复杂的网络场景下，网络安全设备会持续产生大量的告警信息，其中包含了很多的无效甚至错误告警，给运维人员及时发现、处理异常事件带来了困难，仅依靠人工分析还容易产生遗漏、误判等问题。同时，从告警信息产生到运维人员作出处理有时间差，对异常事件的处理往往是事后查证，很难做到实时响应甚至提前预防。目前许多企业的IT运维管理任务需要耗费大量人力资源。传统的运维管理方式会等到终端设备故障出现后再由运维人员采取相应措施补救，经常让IT部门疲惫不堪，而且设备的故障经常给企业带来经济损失。现有方法往往使用告警记录关联规则的告警信息分析方法，基于人工定义或频繁模式挖掘算法对告警信息的事件名称进行处理，得到告警记录关联序列，帮助运维人员发现需要关注的记录序列。首先，从历史告警信息中，找到运维人员发现的真实高危告警信息；之后，对每一种真实高危告警，用频繁模式挖掘算法，从真实高危告警信息前的若干条记录组成的样本集合中，找出频繁出现的告警事件序列；在告警信息的实时处理中，对最近产生的若干条告警信息使用频繁模式挖掘，得到当前频繁告警事件序列。将当前频繁告警事件序列与真实高危告警的频繁告警事件序列进行比照，辅以根据人工经验确定的阈值，判定是否需要通报可能出现的真实高危告警。此类方法虽然能够有效整理告警记录序列，能够给出对真实高危告警的预测，但是不能做到对运维人员关注的异常事件的预报。此外，频繁模式挖掘算法效率低，难以处理海量告警信息，当安全设备误报率较高时，在信息记录中存在大量的误报，基于频繁模式挖掘算法会自动忽略出现频次低的告警信息，导致一些重要告警信息被忽略，无法找到真正有价值的，有实际意义的告警序列，且人工定义的规则无法主动发现新出现攻击或威胁类型对应的告警记录序列。因此，需要提供一种能够处理海量告警信息，对高危告警进行实时预测，且对安全设备的误报有鲁棒性的告警预测方法及系统。
技术实现思路
为解决以上问题，本申请提出了一种告警预测方法及系统。一方面，本申请提出一种告警预测方法，包括：对历史告警信息进行预处理和数据集划分处理，得到样本特征向量集合；使用样本特征向量集合训练集成学习模型，得到训练好的预测模型；使用训练好的预测模型对网络安全设备发送的告警信息进行实时预测和告警；若实时预测结果中的误判数量超过更新阈值，则使用增量学习的方式更新预测模型，得到新的预测模型。优选地，所述对历史告警信息进行预处理和数据集划分处理，得到样本特征向量集合，包括：将历史告警信息依据源IP分类，得到源IP告警信息集合；将源IP告警信息集合处理为多个等长时间段的段告警信息集合；对各段告警信息集合依次进行数据采样和时序特征提取，得到对应各源IP历史告警信息集合的特征向量集合；对特征向量集合进行数据集划分处理，得到样本特征向量集合。优选地，所述使用样本特征向量集合训练集成学习模型，得到训练好的预测模型，包括：将所述特征向量集合输入至所述集成学习模型；使用分类算法，对所述特征向量集合中的各时序特征向量进行预测分类；根据预测分类结果与各时序特征向量对应的源IP的标签，计算损失函数，对集成学习模型进行训练，得到训练好的预测模型。优选地，所述使用训练好的预测模型对网络安全设备发送的告警信息进行实时预测和告警，包括：对网络安全设备发送的实时告警信息集合进行预处理，得到对应各源IP的实时特征向量集合；对实时特征向量集合进行预测分类，得到预测分类结果；根据预测分类结果进行告警。优选地，在所述若实时预测结果中的误判数量超过更新阈值之前，还包括：获取各源IP的确认标签；将确认标签与预测分类结果不同的源IP作为误判样本；记录误判样本数量，得到误判数量根据预测分类结果与各时序特征向量对应的源IP的标签。优选地，所述使用增量学习的方式更新预测模型，得到新的预测模型，包括：更新历史告警信息，得到新的训练样本；使用新的训练样本训练预测模型，更新预测模型中的模型参数，得到新的预测模型。优选地，所述数据集划分包括：聚类检测和离群点检测。优选地，所述离群点检测包括单分类支持向量机，Robust协方差，孤立森林算法和局部异常因子算法中的全部四种离群点检测算法。第二方面，本申请提出一种告警预测系统，包括：样本管理模块，用于获取网络安全设备发送的历史告警信息，对历史告警信息进行预处理和数据集划分处理，得到样本特征向量集合；训练与更新模块，用于使用样本特征向量集合训练集成学习模型，得到训练好的预测模型；当实时预测结果中的误判数量超过更新阈值时，使用增量学习的方式更新预测模型，得到新的预测模型；告警预测模块，用于使用训练好的预测模型对网络安全设备发送的告警信息进行实时预测和告警。优选地，所述样本管理模块包括：预处理单元，用于将历史告警信息依据源IP分类，得到源IP告警信息集合；将源IP告警信息集合处理为多个等长时间段的段告警信息集合；对各段告警信息集合依次进行数据采样和时序特征提取，得到对应各源IP历史告警信息集合的特征向量集合；划分单元，用于对特征向量集合进行数据集划分处理，得到样本特征向量集合。本申请的优点在于：基于集成学习模型的预测模型能够处理海量告警信息，并对高危告警进行实时预测；使用增量学习的方式更新预测模型，对安全设备的误报有鲁棒性。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选事实方案的目的，而并不认为是对本申请的限制。而且在整个附图中，用同样的参考符号表示相同的部件。在附图中：图1是本申请提供的一种告警预测方法的步骤示意图；图2是本申请提供的一种告警预测方法的示意图；图3是本申请提供的一种告警预测系统的系统示意图。本文档来自技高网...

【技术保护点】
1.一种告警预测方法，其特征在于，包括：/n对历史告警信息进行预处理和数据集划分处理，得到样本特征向量集合；/n使用样本特征向量集合训练集成学习模型，得到训练好的预测模型；/n使用训练好的预测模型对网络安全设备发送的告警信息进行实时预测和告警；/n若实时预测结果中的误判数量超过更新阈值，则使用增量学习的方式更新预测模型，得到新的预测模型。/n

【技术特征摘要】
1.一种告警预测方法，其特征在于，包括：
对历史告警信息进行预处理和数据集划分处理，得到样本特征向量集合；
使用样本特征向量集合训练集成学习模型，得到训练好的预测模型；
使用训练好的预测模型对网络安全设备发送的告警信息进行实时预测和告警；
若实时预测结果中的误判数量超过更新阈值，则使用增量学习的方式更新预测模型，得到新的预测模型。


2.根据权利要求1所述的方法，其特征在于，所述对历史告警信息进行预处理和数据集划分处理，得到样本特征向量集合，包括：
将历史告警信息依据源IP分类，得到源IP告警信息集合；
将源IP告警信息集合处理为多个等长时间段的段告警信息集合；
对各段告警信息集合依次进行数据采样和时序特征提取，得到对应各源IP历史告警信息集合的特征向量集合；
对特征向量集合进行数据集划分处理，得到样本特征向量集合。


3.如权利要求1所述的方法，其特征在于，所述使用样本特征向量集合训练集成学习模型，得到训练好的预测模型，包括：
将所述特征向量集合输入至所述集成学习模型；
使用分类算法，对所述特征向量集合中的各时序特征向量进行预测分类；
根据预测分类结果与各时序特征向量对应的源IP的标签，计算损失函数，对集成学习模型进行训练，得到训练好的预测模型。


4.如权利要求1所述的方法，其特征在于，所述使用训练好的预测模型对网络安全设备发送的告警信息进行实时预测和告警，包括：
对网络安全设备发送的实时告警信息集合进行预处理，得到对应各源IP的实时特征向量集合；
对实时特征向量集合进行预测分类，得到预测分类结果；
根据预测分类结果进行告警。


5.如权利要求1所述的方法，其特征在于，在所述若实时预测结果中的误判数量超过更新阈...

【专利技术属性】
技术研发人员：赵文悦，钱越翡，黄宇晴，俞弘毅，
申请(专利权)人：浙江省北大信息技术高等研究院，杭州未名信科科技有限公司，
类型：发明
国别省市：浙江;33