一种流量异常检测方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种流量异常检测方法、装置、电子设备及存储介质，所述方法包括：获取待检测流量的第一IP信息；针对预先确定的每个流量趋势相似组，判断该流量趋势相似组的第二IP信息组中是否存在所述第一IP信息，如果是，将该流量趋势相似组作为命中流量趋势相似组；计算所述待检测流量的检测数据量与预先确定的每个命中流量趋势相似组对应的预测数据量的差值，当存在差值大于预设的阈值时，确定所述待检测流量为异常流量。本发明专利技术实施例解决了在全网大流量环境下因为无法配置阈值和业务归属导致无法进行流量异常检测的问题，提供了一种在大流量数据环境下，能够实现流量异常检测的有效方案。

【技术实现步骤摘要】
一种流量异常检测方法、装置、电子设备及存储介质
本专利技术涉及网络安全
，尤其涉及一种流量异常检测方法、装置、电子设备及存储介质。
技术介绍
现有的流量异常检测一般是针对单一的数据源环境的流量异常检测，例如针对现有的运营商的流量异常检测，客户相对了解自己网络环境中流量的趋势情况，因此能够对某些重点IP的相关流量趋势和特征进行分析，从而进行流量异常检测。现有的流量异常检测都是通过单机或者集群的盒子产品采集器，对流量数据的实时采集分析处理。随着日益增长的流量数据，特别是在5G时代，全网大流量数据环境下，由于存在流量趋势的波动性和多变性，流量异常类型的多样性等问题，全局分析网络流量中异常流量或者突发流量，一直为业界的重点研究技术难题。目前在大流量数据环境下，还没有一种能够实现流量异常检测的有效方案。
技术实现思路
本专利技术实施例提供了一种流量异常检测方法、装置、电子设备及存储介质，用以提供一种在大流量数据环境下，能够实现流量异常检测的有效方案。本专利技术实施例提供了一种流量异常检测方法，所述方法包括：获取待检测流量的第一IP信息；针对预先确定的每个流量趋势相似组，判断该流量趋势相似组的第二IP信息组中是否存在所述第一IP信息，如果是，将该流量趋势相似组作为命中流量趋势相似组；计算所述待检测流量的检测数据量与预先确定的每个命中流量趋势相似组对应的预测数据量的差值，当存在差值大于预设的阈值时，确定所述待检测流量为异常流量。进一步地，预先确定每个流量趋势相似组的过程包括：获取历史设定时长内的每条netflow流，按照异常类型将所述每条netflow流进行划分，得到每类的netflow流；针对所述每类的netflow流，对该类的netflow流进行聚类处理，得到该类的每个流量趋势相似组。进一步地，所述获取历史设定时长内的每条netflow流包括：获取距离当前时间最近的设定时长内的每条netflow流。进一步地，所述获取历史设定时长内的每条netflow流包括：将历史设定时长内的多源流量采集到开源大数据缓存队列组件KAFKA，基于所述KAFKA将所述多源流量进行包括七元组、数据量在内的流量统计，得到历史设定时长内的每条netflow流。进一步地，所述按照异常类型将所述每条netflow流进行划分包括：按照预设的异常类型以及支持可插拔式定义的异常类型将所述每条netflow流进行划分。进一步地，预先确定每个流量趋势相似组对应的预测数据量的过程包括：针对每个流量趋势相似组，基于长短期记忆网络LSTM模型对该流量趋势相似组进行时间序列的数据量预测，得到该流量趋势相似组对应的预测数据量。进一步地，所述对该类的netflow流进行聚类处理包括：对该类的netflow流进行特征提取，将该类的每条netflow流转化为每个特征向量，基于最邻近KNN算法对每个特征向量进行聚类处理。进一步地，所述将该类的每条netflow流转化为每个特征向量之后，基于最临近KNN算法对每个特征向量进行聚类处理之前，所述方法还包括：根据指令对所述每个特征向量进行降维处理，滤除所述每个特征向量中指定的特征值。另一方面，本专利技术实施例提供了一种流量异常检测装置，所述装置包括：获取模块，用于获取待检测流量的第一IP信息；第一确定模块，用于针对预先确定的每个流量趋势相似组，判断该流量趋势相似组的第二IP信息组中是否存在所述第一IP信息，如果是，将该流量趋势相似组作为命中流量趋势相似组；检测模块，用于计算所述待检测流量的检测数据量与预先确定的每个命中流量趋势相似组对应的预测数据量的差值，当存在差值大于预设的阈值时，确定所述待检测流量为异常流量。进一步地，所述装置还包括：第二确定模块，用于获取历史设定时长内的每条netflow流，按照异常类型将所述每条netflow流进行划分，得到每类的netflow流；针对所述每类的netflow流，对该类的netflow流进行聚类处理，得到该类的每个流量趋势相似组。进一步地，所述第二确定模块，具体用于获取距离当前时间最近的设定时长内的每条netflow流。进一步地，所述第二确定模块，具体用于将历史设定时长内的多源流量采集到KAFKA，基于所述KAFKA将所述多源流量进行包括七元组、数据量在内的流量统计，得到历史设定时长内的每条netflow流。进一步地，所述第二确定模块，具体用于按照预设的异常类型以及支持可插拔式定义的异常类型将所述每条netflow流进行划分。进一步地，所述装置还包括：第三确定模块，用于针对每个流量趋势相似组，基于长短期记忆网络LSTM模型对该流量趋势相似组进行时间序列的数据量预测，得到该流量趋势相似组对应的预测数据量。进一步地，所述第二确定模块，具体用于对该类的netflow流进行特征提取，将该类的每条netflow流转化为每个特征向量，基于最邻近KNN算法对每个特征向量进行聚类处理。进一步地，所述装置还包括：滤除模块，用于根据指令对所述每个特征向量进行降维处理，滤除所述每个特征向量中指定的特征值。另一方面，本专利技术实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述任一项所述的方法步骤。另一方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法步骤。本专利技术实施例提供了一种流量异常检测方法、装置、电子设备及存储介质，所述方法包括：获取待检测流量的第一IP信息；针对预先确定的每个流量趋势相似组，判断该流量趋势相似组的第二IP信息组中是否存在所述第一IP信息，如果是，将该流量趋势相似组作为命中流量趋势相似组；计算所述待检测流量的检测数据量与预先确定的每个命中流量趋势相似组对应的预测数据量的差值，当存在差值大于预设的阈值时，确定所述待检测流量为异常流量。由于在本专利技术实施例中，预先将全网大流量划分为多个流量趋势相似组，并且预先针对每个流量趋势相似组确定出了预测数据量，在进行实时流量异常检测时，根据待检测流量的第一IP信息以及每个流量趋势相似组的第二IP信息组，确定出命中流量趋势相似组。然后根据待检测流量的检测数据量与命中流量趋势相似组对应的预测数据量来检测待检测流量是否为异常流量。从而解决了在全网大流量环境下因为无法配置阈值和业务归属导致无法进行流量异常检测的问题，提供了一种在大流量数据环境下，能够实现流量异常检测的有效方案。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施本文档来自技高网...

【技术保护点】
1.一种流量异常检测方法，其特征在于，所述方法包括：/n获取待检测流量的第一IP信息；/n针对预先确定的每个流量趋势相似组，判断该流量趋势相似组的第二IP信息组中是否存在所述第一IP信息，如果是，将该流量趋势相似组作为命中流量趋势相似组；/n计算所述待检测流量的检测数据量与预先确定的每个命中流量趋势相似组对应的预测数据量的差值，当存在差值大于预设的阈值时，确定所述待检测流量为异常流量。/n

【技术特征摘要】
1.一种流量异常检测方法，其特征在于，所述方法包括：
获取待检测流量的第一IP信息；
针对预先确定的每个流量趋势相似组，判断该流量趋势相似组的第二IP信息组中是否存在所述第一IP信息，如果是，将该流量趋势相似组作为命中流量趋势相似组；
计算所述待检测流量的检测数据量与预先确定的每个命中流量趋势相似组对应的预测数据量的差值，当存在差值大于预设的阈值时，确定所述待检测流量为异常流量。


2.如权利要求1所述的方法，其特征在于，预先确定每个流量趋势相似组的过程包括：
获取历史设定时长内的每条netflow流，按照异常类型将所述每条netflow流进行划分，得到每类的netflow流；
针对所述每类的netflow流，对该类的netflow流进行聚类处理，得到该类的每个流量趋势相似组。


3.如权利要求2所述的方法，其特征在于，所述获取历史设定时长内的每条netflow流包括：
获取距离当前时间最近的设定时长内的每条netflow流。


4.如权利要求2或3所述的方法，其特征在于，所述获取历史设定时长内的每条netflow流包括：
将历史设定时长内的多源流量采集到开源大数据缓存队列组件KAFKA，基于所述KAFKA将所述多源流量进行包括七元组、数据量在内的流量统计，得到历史设定时长内的每条netflow流。


5.如权利要求2所述的方法，其特征在于，所述按照异常类型将所述每条netflow流进行划分包括：
按照预设的异常类型以及支持可插拔式定义的异常类型将所述每条netflow流进行划分。


6.如权利要求1所述的方法，其特征在于，预先确定每个流量趋势相似组对应的预测数据量的过程包括：
针对每个流量趋势相似组，基于长短期记忆网络LSTM模型对该流量趋势相似组进行时间序列的数据量预测，得到该流量趋势相似组对应的预测数据量。


7.如权利要求2所述的方法，其特征在于，所述对该类的netflow流进行聚类处理包括：
对该类的netflow流进行特征提取，将该类的每条netflow流转化为每个特征向量，基于最邻近KNN算法对每个特征向量进行聚类处理。


8.如权利要求7所述的方法，其特征在于，所述将该类的每条netflow流转化为每个特征向量之后，基于最临近KNN算法对每个特征向量进行聚类处理之前，所述方法还包括：
根据指令对所述每个特征向量进行降维处理，滤除所述每个特征向量中指定的特征值。


9.一种流量异常检测装置，其特征在于，所述装置包括：
获取模块，用于获取待检测流量的第一IP信息；
...

【专利技术属性】
技术研发人员：王飞，叶晓虎，万慧星，何坤，
申请(专利权)人：绿盟科技集团股份有限公司，北京神州绿盟科技有限公司，
类型：发明
国别省市：北京;11