一种基于历史时间取点法的网络流量异常检测方法技术

本发明专利技术公开了一种基于历史时间取点法的网络流量异常检测方法，包括下述步骤：1.在网络流量采集点部署端口镜像路由，捕获全流量数据包，形成网络流时序数据源；2.利用固定时间窗口对网络流时序数据源进行网络流量的行为特征统计，形成网络行为时序特征向量；3.把每个网络行为时序特征向量的维特向量作为输入，用历史时间取点法选择历史数据，使用绝对变化、相对变化和趋势变化的量化方法分别累积计算出异常偏离度值；4.用证据累积方法将异常偏离度值进行累积，根据异常偏离度数据分布趋势设定阈值，对当前时间窗口网络行为的状态实现异常决策。本发明专利技术实现了持续监控网络的威胁事件和趋势的同时降低了计算成本，提高了网络异常行为监控的准确性。

【技术实现步骤摘要】
一种基于历史时间取点法的网络流量异常检测方法
本专利技术涉及一种网络流量异常检测方法，具体地说，是涉及一种基于历史时间取点法的网络流量异常检测方法。
技术介绍
随着互联网的发展，网络环境越来越多样化、复杂化，除了网络正常流量以外，网络上的各种异常流量威胁着用户主机的安全和使用。如何对网络流量进行实时监测和管理，检测出网络异常行为，已经成为网络安全中需要解决的问题。然而，由于网络数据量的庞大，实时监控分析流量对于计算机的分析、存储、计算都有极高的要求，网络流量异常检测方法愈发重要，目前的网络流量异常检测技术大都存在一些缺点，如基于签名的异常检测技术，以分析和识别不期望的网络行为，而这种检测技术只能依赖预定义的签名规则库发现网络异常行为，无法监测未知的网络异常行为；同样应用广泛的基于机器学习算法，将网络流量分类为正常或者异常，然而这种分类方法面临获取训练样本难度大、计算成本高和误报率高等的问题，无法适应动态变化的复杂网络环境。
技术实现思路
本专利技术的目的在于提供一种基于历史时间取点法的网络流量异常检测方法，对网络流量进行实时的监控和分析检测，解决网络行为时序画像的突发变化和趋势变化的检测问题，同时采用的算法降低了计算成本，提高了网络异常行为监控的准确性。为实现上述目的，本专利技术采用的技术方案如下：一种基于历史时间取点法的网络流量异常检测方法，包括下述步骤：(1)在网络流量采集点部署端口镜像路由，捕获全流量数据包，形成网络流时序数据源；(2)利用固定时间窗口对网络流时序数据源进行网络流量的行为特征统计，形成网络行为时序特征向量，刻画出当前时间窗口的网络行为画像，通过多个时间窗口的网络行为时序特征向量构建出网络行为的时序画像；(3)把当前时间窗口网络行为时序特征向量的每个行为特征依次作为输入，用历史时间取点法选择历史数据，使用绝对变化量化方法、相对变化量化方法和趋势变化量化方法分别累积计算出当前时间窗口网络行为时序特征向量与对应的历史数据的网络行为时序特征向量的异常偏离度值，得出当前时间窗口网络行为画像的变化情况；(4)使用证据累积方法，将步骤(3)计算所得的异常偏离度值进行累积，得到行为时序画像偏离度，通过行为时序画像偏离度数据分布趋势设定阈值，对当前时间窗口网络行为的状态实现异常决策，并对异常流量发出警报。所述网络流量的多维行为特征包括通过网络流直接观察和统计得到的直接特征和通过对所述直接特征二次计算得到的间接特征。历史时间取点法将历史数据分为工作日数据和周末数据，分别在垂直时间轴和水平时间轴上进行取点；所述水平时间轴为固定一天内的数据，时间单位为小时或分钟；所述垂直时间轴以天为单位，其具体的取点方式为：将固定时间窗口的当前时间记为时间t，水平时间轴上取时间t相邻的连续的λ个点，其取点数据由符号1×λ表示；垂直时间轴上包括两种取点方式：第一种，取前k周时间t相邻的连续的λ个点，其取点数据由符号表示；第二种，取前一天时间t相邻的λ个点、取前一周，同一天时间t相邻的λ个点，分别构成两个子序列，其子序列由符号¤2×λ表示；其所述λ为大于1的自然数，所述k为大于2的自然数，所述λ和k根据实际环境进行设置。绝对变化量化方法把当前时间窗口网络行为时序特征向量的每个行为特征依次作为输入，累积计算出当前时间窗口网络行为时序特征向量与历史数据中水平时间轴取点的网络行为时序特征向量之间的异常偏离度值，其计算异常偏离度值的算法如下：其中|fi(t)-fi(x)|表示第i个特征在当前时间x的值与相邻时间特征值的绝对值，wi表示特征值i的权重，m表示行为特征个数。相对变化量化方法把当前时间窗口网络行为时序特征向量的每个行为特征依次作为输入，累积计算出当前时间窗口网络行为时序特征向量与历史数据中垂直时间轴第一种方式取点的网络行为时序特征向量之间的异常偏离度值，其计算异常偏离度值的算法如下：其中λ＝5，k＝3，fi(t)/max(fi(t),fi(t-1),L,fi(t-λ))表示第K周时间t相邻的前λ个数据点的最大值的比值，wi表示特征值i的权重，m表示行为特征个数。趋势变化量化方法把当前时间窗口网络行为时序特征向量的每个行为特征依次作为输入，累积计算出当前时间窗口网络行为时序特征向量与历史数据中垂直时间轴第二种方式取点的网络行为时序特征向量之间的异常偏离度值，其计算趋势变化的异常偏离度值的算法如下：其中表示当前时间t建立的特征值子序列，表示历史相同时间点的特征值子序列，表示与的相似性，w是特征的权重值，α是子序列距离当前子序列时间远近的权重。所述步骤(4)中使用证据累计方法将异常偏离度值进行累积的公式为：EA＝θ1EA(1)+θ2EA(2)+θ3EA(3)。与现有技术相比，本专利技术具有以下有益效果：(1)本专利技术通过历史时间取点法对历史数据进行取点，解决实时监测流量计算量庞大、存储要求高的问题，降低根据历史数据检测时序数据异常的计算成本和存储成本。(2)本专利技术通过绝对变化、相对变化和趋势变化的量化方法分别计算出相应的实时数据与历史数据的证据累积值，其绝对变化积累关注于相邻数据变化情况，旨在发现多维特征的突然增加或减少，解决网络行为轮廓突变的问题；相对变化积累关注于周期性相关数据变化情况，旨在减少误报、发现服务中断等情况，解决定时、周期性、集中性的用户访问行为导致的误报的问题；趋势变化积累关注趋势性、周期性数据变化情况，旨在发现不符合时间演化趋势的情况，解决攻击行为趋向于低频、低强度和慢速手段的问题。附图说明图1为本专利技术的流程框图。图2为本专利技术的历史时间取点法示意图(工作日)。图3为本专利技术的历史时间取点法示意图(周末)。具体实施方式下面结合附图说明和实施例对本专利技术作进一步说明，本专利技术的方式包括但不仅限于以下实施例。如图1所示，本专利技术公开的一种基于历史时间取点法的网络流量异常检测方法，所述方法包括下述步骤：(1)在网络流量采集点部署端口镜像路由，捕获全流量数据包，形成网络流时序数据源；(2)利用固定时间窗口对网络流时序数据源进行网络流量的行为特征统计，形成网络行为时序特征向量，刻画出当前时间窗口的网络行为画像，通过多个时间窗口的网络行为时序特征向量构建出网络行为的时序画像；这里主要按照时间窗口对流量进行统计，统计特征包括了端口号、数据包数、协议(TCP、UDP、ICMP等)、数据包长、TTL值、SYN包数等，主要分为通过网络流直接观察和统计得到的直接特征和通过对所述直接特征二次计算得到的间接特征。在每个时间窗口结束的时候，统一对行为画像的特征值进行计算。(3)把当前时间窗口网络行为时序特征向量的每个行为特征依次作为输入，用历史时间取点法选择历史数据，使用绝对变化量化方法、相对变化量化方法和趋势变化量化方法分别累积计算出当前时间窗口网络行为时序特征向量与对应的历史数据的网络行为时序特征向量的异常偏离度值，得出当前时间窗口网络行为画像的变化情况。如图2、图3所示，历史时间取点法将时序数据分为工作日数据和周末数据，分别在垂直时间轴和水平时间轴上进行取点。其垂直时间轴是以天为单位，且天是相同时间类型(同为工作日，或周末)构建垂直距离；水平时间轴是固定一天内的数据，时间单位可以根据需要定制为小时或分钟等。关注于相邻数据相关性，还有周期数据相关性本文档来自技高网...

【技术保护点】
1.一种基于历史时间取点法的网络流量异常检测方法，其特征在于，包括下述步骤：(1)在网络流量采集点部署端口镜像路由，捕获全流量数据包，形成网络流时序数据源；(2)利用固定时间窗口对网络流时序数据源进行网络流量的行为特征统计，多维行为特征形成网络行为时序特征向量，刻画出当前时间窗口的网络行为画像，通过多个时间窗口的网络行为时序特征向量构建出网络行为的时序画像；(3)把当前时间窗口网络行为时序特征向量的每个行为特征依次作为输入，用历史时间取点法选择历史数据，使用绝对变化量化方法、相对变化量化方法和趋势变化量化方法分别累积计算出当前时间窗口网络行为时序特征向量与对应的历史数据的网络行为时序特征向量的异常偏离度值，得出当前时间窗口网络行为画像的变化情况；(4)使用证据累积方法，将步骤(3)计算所得的异常偏离度值进行累积，得到行为时序画像偏离度，通过行为时序画像偏离度数据分布趋势设定阈值，对当前时间窗口网络行为的状态实现异常决策，并对异常流量发出警报。

【技术特征摘要】
1.一种基于历史时间取点法的网络流量异常检测方法，其特征在于，包括下述步骤：(1)在网络流量采集点部署端口镜像路由，捕获全流量数据包，形成网络流时序数据源；(2)利用固定时间窗口对网络流时序数据源进行网络流量的行为特征统计，多维行为特征形成网络行为时序特征向量，刻画出当前时间窗口的网络行为画像，通过多个时间窗口的网络行为时序特征向量构建出网络行为的时序画像；(3)把当前时间窗口网络行为时序特征向量的每个行为特征依次作为输入，用历史时间取点法选择历史数据，使用绝对变化量化方法、相对变化量化方法和趋势变化量化方法分别累积计算出当前时间窗口网络行为时序特征向量与对应的历史数据的网络行为时序特征向量的异常偏离度值，得出当前时间窗口网络行为画像的变化情况；(4)使用证据累积方法，将步骤(3)计算所得的异常偏离度值进行累积，得到行为时序画像偏离度，通过行为时序画像偏离度数据分布趋势设定阈值，对当前时间窗口网络行为的状态实现异常决策，并对异常流量发出警报。2.根据权利要求1所述的一种基于历史时间取点法的网络流量异常检测方法，其特征在于，所述网络流量的多维行为特征包括通过网络流直接观察和统计得到的直接特征和通过对所述直接特征二次计算得到的间接特征。3.根据权利要求2所述的一种基于历史时间取点法的网络流量异常检测方法，其特征在于，所述历史时间取点法将历史数据分为工作日数据和周末数据，分别在垂直时间轴和水平时间轴上进行取点。4.根据权利要求3所述的一种基于历史时间取点法的网络流量异常检测方法，其特征在于，所述水平时间轴为固定一天内的数据，时间单位为小时或分钟；所述垂直时间轴以天为单位，其具体的取点方式为：将固定时间窗口的当前时间记为时间t，水平时间轴上取时间t相邻的连续的λ个点，其取点数据由符号表示；垂直时间轴上包括两种取点方式：第一种，取前k周时间t相邻的连续的λ个点，其取点数据由符号￠K×λ表示；第二种，取前一天时间t相邻的连续的λ个点、取前一周，同一天时间t相邻的连续的λ个点，分别...

【专利技术属性】
技术研发人员：叶晓鸣，杨力，
申请(专利权)人：成都力鸣信息技术有限公司，
类型：发明
国别省市：四川,51