一种大规模网络流量异常侦测方法及系统技术方案

本发明专利技术提供一种大规模网络流量异常侦测方法及系统，该方法包括：实时获取大规模网络流量；对大规模网络流量分组S变换；大规模网络流量异常检测：重构各组起讫点流量中高频成分的时域信号，计算每组时域信号与其他各组时域信号的平均相关系数，若所述平均相关系数小于设定值，则大规模网络流量异常，否则，大规模网络流量正常。该系统包括：流量获取模块，用于实时获取大规模网络流量；S变换模块，用于对大规模网络流量分组S变换；异常检测模块，用于进行大规模网络流量异常检测。本发明专利技术考虑到网络拓扑信息和网络的流量，通过变换域分析，发现在变换域中异常网络流量具有一定的高频特性。将时间窗纳入大流量的网络分析中减少计算开销。

【技术实现步骤摘要】

本专利技术属于计算机通信网络
，具体是一种大规模网络流量异常侦测方法及系统。
技术介绍
流量异常表现出异常的网络行为，有许多原因会造成这样的结果。异常行为往往会引起网络流量的急剧变化，包括链路流量和起讫点流量。当网络运行异常时，网络流量会发生异常变化。所有这些行为都有对网络活动的影响。因此，网络流量异常检测对于网络管理和网络运行来说是一项重要的任务。然而，进行准确检测流量异常是一个挑战。网络流量很难处理，因为它包含许多内在性质。较大的变化往往导致故障和拥塞的网络。流量估计有助于捕获网络流量性质。网络流量异常反映了网络中出现的异常或恶意行为。发现确切的/实际的网络流量异常就是有效遏制这些反常的或恶意的损害网络的行为。与正常的普通流量相比，异常流量往往要小得多，而且被淹没在大的普通流量当中。因此，它是隐藏的、难以被发现的。另一方面，一些异常流量也具有突发特性和分布特性。所有上述特点都增加了检测异常网络流量的困难。为了克服这些问题，人们提出了许多方法来检测网络中的异常流量。如魏塞尔等人提出了一种可分解的PCA发现网络中的异常行为的方法。Paschalidis等人利用时空关联性来检测网络异常。徐等分析网络流量和网络流量行为特征。但由于流量异常的多样性，不同的异常有不同的行为特征，因此需要不同的方法来分析它们。Lakhina等利用流量特征分布提取网络异常。此外，他们还采用主成分分析法(PCA)来检测和诊断网络流量异常。黄等利用网络分析法对网络中断进行诊断。Singhal等调查网络探测和监测的最佳采样技术。基姆等研究了使用分组头数据来检测流量异常的统计方法。Nychis等人探讨利用熵技术检测交通异常的经验评价问题。网络的流量具有不同的固有特性，是难以预测和估计的。熵方法已被广泛用于检测流量异常。Nychis等人研究了多流量分布的熵分析对流量异常检测的影响。Lakhina等用熵来分析交通特征分布和捕捉异常。项等引入了广义熵度量和信息距离识别低速率DDoS攻击。然而，这些方法是很难捕捉到网络的广泛性。统计分析是一种有效的网络流量异常识别方法。Thatte等人用总流量统计来查找网络异常。费德里克等用一个稳定的一阶模型和一个广义似然比检验，以确定网络流量异常。主成分分析可以提取网络流量的主要特征。Lakhna等人利用主成分分析法对异常流量进行检测和诊断。他们分析了网络的异常流量。鲁宾斯坦等分析了骨干网中主成分子空间检测器的中毒和防御技术。魏塞尔等提出了可分解的PCA方法，但只能以较低的计算开销似是而非的流量检测。可见，目前对流量异常的各种侦测方法还不能够准确，都会存在一定的缺点。
技术实现思路
针对现有技术存在的不足，本专利技术提供一种大规模网络流量异常侦测方法及系统。本专利技术的技术方案是：一种大规模网络流量异常侦测方法，包括：实时获取大规模网络流量；对大规模网络流量分组S变换；大规模网络流量异常检测：重构各组起讫点流量中高频成分的时域信号，计算每组时域信号与其他各组时域信号的平均相关系数，若所述平均相关系数小于设定值，则大规模网络流量异常，否则，大规模网络流量正常。所述实时获取大规模网络流量，包括：根据网络拓扑信息和网络流量情况将物理拓扑转换为逻辑拓扑；根据逻辑拓扑建立网络中的起讫点节点对；提取所有起讫点节点对的端到端流量即大规模网络流量。所述对大规模网络流量分组S变换，包括：根据相同的源节点或者目的节点，将大规模网络流量进行分组；对各组起讫点流量在特定时间窗口进行S变换。所述大规模网络流量异常检测，包括：提取S变换后的各组起讫点流量中的高频成分；对所述高频成分执行反S变换，重构出所述高频成分的时域信号；通过滑动特定时间窗口，计算每组所述高频成分的时域信号与其他各组时域信号的平均相关系数；若所述平均相关系数小于设定值，则相应组起讫点流量异常，否则，相应组起讫点流量正常。本专利技术还提供一种大规模网络流量异常侦测系统，包括：流量获取模块，用于实时获取大规模网络流量；S变换模块，用于对大规模网络流量分组S变换；异常检测模块，用于进行大规模网络流量异常检测：重构各组起讫点流量中高频成分的时域信号，计算每组时域信号与其他各组时域信号的平均相关系数，若所述平均相关系数小于设定值，则大规模网络流量异常，否则，大规模网络流量正常。所述流量获取模块，包括：拓扑转换模块，用于根据网络拓扑信息和网络流量情况将物理拓扑转换为逻辑拓扑；节点对建立模块，用于根据逻辑拓扑建立网络中的起讫点节点对；流量提取模块，用于提取所有起讫点节点对的端到端流量即大规模网络流量。所述S变换模块，包括：分组模块，用于根据相同的源节点或者目的节点，将大规模网络流量进行分组；变换模块，用于对各组起讫点流量在特定时间窗口进行S变换。所述异常检测模块，包括：高频成分提取模块，用于提取S变换后的各组起讫点流量中的高频成分；反S变换模块，用于对所述高频成分执行反S变换，重构出所述高频成分的时域信号；计算模块，用于通过滑动特定时间窗口，计算每组所述高频成分的时域信号与其他各组时域信号的平均相关系数；判断模块，用于根据所述平均相关系数判断起讫点流量：若所述平均相关系数小于设定值，则相应组起讫点流量异常，否则，相应组起讫点流量正常。有益效果：通过分析变换域的特点，研究了网络流量的异常检测问题。作为链路级流量，端到端的网络流量不明显。它拥有许多隐藏的固有特性，很难发现。不同于以往的检测方法，很难发现隐藏在网络中的固有属性特征，本专利技术考虑到网络拓扑信息和网络的流量，能够从网络高度的视角准确地检测到异常流量。通过变换域分析，能够发现在变换域中，异常网络流量具有一定的高频特性。此外，在不同的时间窗口的变换分析，有一定的影响；将时间窗纳入到大流量的网络分析工作中去能够减少计算开销，并实现合理检测。因此本专利技术可以准确地检测出似是而非的异常网络流量，并且不同的时间窗口具有较好的检测能力，体现了较强的稳健性，并拥有比以前的方法更好的检测性能。附图说明图1为本专利技术具体实施方式中大规模网络流量异常侦测方法流程图；图2为本专利技术具体实施方式中大规模网络流量异常检测网络模型；图3为本专利技术具体实施方式中大规模网络流量异常侦测系统框图；图4为本专利技术具体实施方式中正常的大规模网络流量S变换，(a)、(b)分别为不同起讫点流量，(c)、(d)分别为(a)、(b)对应的S变换情况；图5为本专利技术非正常大规模网络流量S变换，在图4流量中注入了攻击流量而形成，(a)、(b)分别为不同起讫点流量中注入了攻击流量，(c)、(d)分别为(a)、(b)对应的S变换情况；图6为本专利技术不同尺寸的窗口的S变换，(a)为窗口尺寸为100情况下的大规模网络流量时间、频率二维的显示，(b)为窗口尺寸为500情况下的大规模网络流量时间、频率的二维显示，(c)为窗口尺寸为100情况下的大规模网络流量S变换结果三维显示，(d)为窗口尺寸为500情况下的大规模网络流量S变换结果三维显示；图7为本专利技术具体实施方式中步骤2的具体流程图；图8为本专利技术具体实施方式中不存在异常的大规模网络流量异常侦测结果，(a)为起讫点流量组29不存在异常的大规模网络流量异常侦测结果，(b)为起讫点流量组65不存在异常的大规模网络流量异常侦测结果，(c)为起讫点流量组1本文档来自技高网...

【技术保护点】
一种大规模网络流量异常侦测方法，其特征在于，包括：实时获取大规模网络流量；对大规模网络流量分组S变换；大规模网络流量异常检测：重构各组起讫点流量中高频成分的时域信号，计算每组时域信号与其他各组时域信号的平均相关系数，若所述平均相关系数小于设定值，则大规模网络流量异常，否则，大规模网络流量正常。

【技术特征摘要】
1.一种大规模网络流量异常侦测方法，其特征在于，包括：实时获取大规模网络流量；对大规模网络流量分组S变换；大规模网络流量异常检测：重构各组起讫点流量中高频成分的时域信号，计算每组时域信号与其他各组时域信号的平均相关系数，若所述平均相关系数小于设定值，则大规模网络流量异常，否则，大规模网络流量正常。2.根据权利要求1所述的方法，其特征在于，所述实时获取大规模网络流量，包括：根据网络拓扑信息和网络流量情况将物理拓扑转换为逻辑拓扑；根据逻辑拓扑建立网络中的起讫点节点对；提取所有起讫点节点对的端到端流量即大规模网络流量。3.根据权利要求1所述的方法，其特征在于，所述对大规模网络流量分组S变换，包括：根据相同的源节点或者目的节点，将大规模网络流量进行分组；对各组起讫点流量在特定时间窗口进行S变换。4.根据权利要求1所述的方法，其特征在于，所述大规模网络流量异常检测，包括：提取S变换后的各组起讫点流量中的高频成分；对所述高频成分执行反S变换，重构出所述高频成分的时域信号；通过滑动特定时间窗口，计算每组所述高频成分的时域信号与其他各组时域信号的平均相关系数；若所述平均相关系数小于设定值，则相应组起讫点流量异常，否则，相应组起讫点流量正常。5.一种大规模网络流量异常侦测系统，其特征在于，包括：流量获取模块，用于实时获取大规模网络流量；S变换模...

【专利技术属性】
技术研发人员：董宏宇，孟凡博，路俊海，赵宏昊，杜春辉，王维，何凌杰，王心贺，蒋定德，
申请(专利权)人：国网辽宁省电力有限公司阜新供电公司，国网辽宁省电力有限公司，东北大学，国家电网公司，
类型：发明
国别省市：辽宁;21