流量异常检测方法、装置、设备及存储介质制造方法及图纸

技术编号:24176341 阅读:30 留言:0更新日期:2020-05-16 04:47
本发明专利技术公开了一种流量异常检测方法、装置、设备及存储介质。其中,该方法包括:包括:获取预测样本,所述预测样本包括:基于时间先后顺序排列的m个单位时长的流量数据;对所述预测样本基于流量预测模型进行预测,得到目标单位时长对应的流量基线;基于所述流量基线对所述目标单位时长内的流量进行异常检测,得到所述目标单位时长内流量是否异常的检测结果。本发明专利技术实施例不需要人工设定阈值,且流量基线基于预测样本和流量预测模型生成,可以适应流量的变化,泛化能力强,检测速度快,且能够满足流量异常检测的检测精度要求。

Flow anomaly detection method, device, equipment and storage medium

【技术实现步骤摘要】
流量异常检测方法、装置、设备及存储介质
本专利技术涉及网络安全领域,尤其涉及一种流量异常检测方法、装置、设备及存储介质。
技术介绍
流量是系统的重要指标之一,能够直观反映系统的运行状态。健康的系统流量通常平稳波动变化,当流量突然上涨或者下降时可能预示系统中存在故障。相关技术中,流量异常检测大多是基于阈值和统计的方法,也有少数基于深度学习的方法。基于阈值的方法通常是计算同比、环比波动幅度,比如同比波动20%、环比波动10%则触发异常报警;或者是设置一个水位线,低于(或高于)水位,则触发异常报警。这种方式实现简单,然而实际应用中,效果却不理想,阈值的设置依赖人们的经验,而且由于静态阈值没有适应变化的能力,需要人工维护。基于统计的方法往往假设数据服从正态分布或对数正态分布,通过计算均值和方差,把偏离均值n倍方差的流量视为异常。这种模型对数据的分布要求比较高,如果数据不服从假设的分布,则检测效果不好。有的统计方法是使用ARIMA模型(AutoregressiveIntegratedMovingAveragemodel,差分整合移动平均自本文档来自技高网...

【技术保护点】
1.一种流量异常检测方法,其特征在于,包括:/n获取预测样本,所述预测样本包括:基于时间先后顺序排列的m个单位时长的流量数据;/n对所述预测样本基于流量预测模型进行预测,得到目标单位时长对应的流量基线;/n基于所述流量基线对所述目标单位时长内的流量进行异常检测,得到所述目标单位时长内流量是否异常的检测结果;/n其中,m为大于或等于1的自然数。/n

【技术特征摘要】
1.一种流量异常检测方法,其特征在于,包括:
获取预测样本,所述预测样本包括:基于时间先后顺序排列的m个单位时长的流量数据;
对所述预测样本基于流量预测模型进行预测,得到目标单位时长对应的流量基线;
基于所述流量基线对所述目标单位时长内的流量进行异常检测,得到所述目标单位时长内流量是否异常的检测结果;
其中,m为大于或等于1的自然数。


2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取设定时长的历史流量数据;
对所述设定时长的历史流量数据根据所述单位时长进行划分,生成多个训练样本;其中,各所述训练样本包括:所述历史流量数据中基于时间先后顺序排列的m个单位时长的流量数据;
确定各所述训练样本的样本标签;所述样本标签为基于时间序列确定的相应训练样本中最后一个单位时长的下一个单位时长对应的流量数据;
基于所述多个训练样本及相应训练样本的样本标签,训练生成所述流量预测模型。


3.根据权利要求2所述的方法,其特征在于,所述基于所述多个训练样本及相应训练样本的样本标签,训练生成所述流量预测模型,包括:
根据回归树算法,对所述多个训练样本及相应训练样本的样本标签进行模型训练,得到所述流量预测模型。


4.根据权利要求2所述的方法,其特征在于,所述对所述设定时长的历史流量数据根据所述单位时长进行划分,生成多个训练样本之前,所述方法还包括:对所述设定时长的历史流量数据进行预处理,所述预处理包括:
基于流量分布确定所述设定时长的历史流量数据中的异常点,对确定的异常点进行处理,得到异常点处理后的历史流量数据。


5.根据权利要求4所述的方法,所述基于流量分布确定所述设定时长的历史流量数据中的异常点,包括:
将所述历史流量数据中的流量片段数据输入高斯分布函数,确定函数值小于设定阈值的流量片段数据为异常点。


6.根据权利要求4所述的方法,所述对确定的异常点进行处理,包括以下之一:
剔除异常点;
对异常点基于平均值进行修正。


7.根据权利要求4所述的方法,其特征在于,所述预处理还包括:
对异常点处理后的历史流量数据进行归一化处理,得到归一化的历史流量数据。


8.根据权利要求7所述的方法,其特征在于,所述对异常点处理后的历史流量数据进行归一化处理,包括以下之一:
对异常点处理后的历史流量数据中的流量片段数据通过线性变换,映射至设定的数据区间;
对异常点处理后的历史流量数据中的流量片段数据基于均值和标准差转换为归一化的数据。

<...

【专利技术属性】
技术研发人员:黄磊
申请(专利权)人:深信服科技股份有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1