一种基于卷积神经网络的流量异常检测方法及系统技术方案

本发明专利技术涉及一种基于卷积神经网络的流量异常检测方法及系统。本发明专利技术从网管中心获取历史网络流量，并将所述历史网络流量表示为流量矩阵；以整流线性单位作为激活函数，以基于马氏距离的损失函数作为损失函数，构建卷积神经网络；根据所述流量矩阵，利用所述卷积神经网络预测网络流量，获得网络流量预测值；获取当前网络流量，结合所述网络流量预测值，利用贪心算法学习确定基于阈值的异常检测机制的误差阈值；根据所述当前网络流量、所述网络流量预测值和所述误差阈值，利用基于阈值的异常检测机制确定流量误差，实现网络流量的异常检测，提高了流量异常检测的准确性。

【技术实现步骤摘要】
一种基于卷积神经网络的流量异常检测方法及系统
本专利技术涉及无线通信
，特别是涉及一种基于卷积神经网络的流量异常检测方法及系统。
技术介绍
数据中心作为互联网重要的基础设施之一，为庞大的终端用户提供了丰富的网络服务和应用。作为一个高度开放的网络，为了更好的确保用户的隐私，网络运营商必须更加关注网络安全威胁，例如物理层欺骗、干扰和分布式拒绝服务攻击。在机器故障诊断、疾病检测、入侵检测、信用卡(或保险)欺诈检测以及身份辨识等领域，一般只存在符合期望(目标类或正常类)行为的数据模式，而不符合期望(异常类或反类)行为的数据模式由于采样代价高昂或者采样非常困难，使得对异常行为所知甚少甚至一无所知，但是异常行为中却蕴含了显著的(通常具有很大危害甚至致命性的)行为信息圈。目前的异常检测，一般均从已知的正常类数据中进行学习，建立正常行为的模型以进行异常检测。流量异常表示由各种元素(例如，网络中的恶意软件和故障节点)引起的网络异常行为。在过去的十年中，已经提出了许多方法来检测传统互联网服务提供商网络中的异常情况。例如，Nevat等人用广义似然比检验提出了异常检测问题。作者提出了两种低复杂度的高效算法来检测异常流量以及流中异常的属性，分别使用了交叉熵法和广义似然比检验。基于子空间的方法已广泛用于传统的大规模互联网服务提供商网络中以进行异常检测。通常，主成分分析方法首先使用聚合流，通过基于阈值的方法来计算正常子空间和异常子空间。然后，将观察到的交通数据投影到两个子空间上，以做出异常检测的决策。迄今为止，现有文献中已经提出了许多基于子空间的方法，以改进主成分分析方法。例如，Huang等人提出了一种基于距离的子空间方法来实现降维，然后将观测到的交通数据投影到异常子空间上进行异常检测。此外，针对实时在线异常检测，作者提出了一种基于分散子空间的方法，可以显着降低异常检测的计算复杂度。虽然提出了许多异常检测优化方法，但一个显著的问题是难以获得最优解，进而无法准确的进行异常检测。因此，提出一种提高异常检测准确性的方法是目前亟待解决的技术问题。
技术实现思路
本专利技术的目的是提供一种基于卷积神经网络的流量异常检测方法及系统，提高了流量异常检测的准确性。为实现上述目的，本专利技术提供了如下方案：一种基于卷积神经网络的流量异常检测方法，所述方法包括：从网管中心获取历史网络流量，并将所述历史网络流量表示为流量矩阵；以整流线性单位作为激活函数，以基于马氏距离的损失函数作为损失函数，构建卷积神经网络；根据所述流量矩阵，利用所述卷积神经网络预测网络流量，获得网络流量预测值；获取当前网络流量，结合所述网络流量预测值，利用贪心算法学习确定基于阈值的异常检测机制的误差阈值；根据所述当前网络流量、所述网络流量预测值和所述误差阈值，利用基于阈值的异常检测机制确定流量误差，实现网络流量的异常检测。可选的，所述从网管中心获取历史网络流量，并将所述历史网络流量表示为流量矩阵，具体包括：从网管中心获取历史网络流量，并将所述历史网络流量表示为流量矩阵X；所述流量矩阵X＝{xn,t}，xn,t表示第n个OD流在时隙t的传输控制协议数据包的均值，t＝1,2,3,...,T，T为流量矩阵X的长度，n＝1,2,3,...,N，N为OD流的数量；从流量矩阵X中收集具有B个时隙的连续流量数据集作为训练流量矩阵XB，将流量矩阵X中所述B个时隙的连续流量数据集以外的流量数据集作为预测输入流量矩阵为XA。可选的，所述基于马氏距离的损失函数为其中，Lm为损失函数，m为训练示例的索引，m＝1,2,…M，M为训练示例的数量，λ为额外相，Cm为马氏距离，hk,b(·)为卷积神经网络结构的输出函数，hk,b(X(m))为输入流量矩阵为X(m)时的卷积神经网络结构的输出流量矩阵，k为卷积核，b为偏差，训练示例为为第N′+1个均值向量，E为输出流量矩阵与均值向量的差值，ET为E矩阵的转置，P是关于hk,b(X(m))和的协方差矩阵，Sm为稀疏术语，Sm＝||hk,b(X(m))||1，||·||1为可以提取流量稀疏性的-范数。可选的，所述根据所述流量矩阵，利用卷积神经网络预测网络流量，获得网络流量预测值，之前还包括：对所述训练流量矩阵XB进行奇异值分解，获得特征流矩阵、对角矩阵和正交矩阵；利用所述特征流矩阵、所述对角矩阵和所述正交矩阵对所述卷积神经网络进行训练，获得训练后的卷积神经网络。可选的，所述对所述训练流量矩阵XB进行奇异值分解，获得特征流矩阵、对角矩阵和正交矩阵，具体包括：利用公式X0＝XB-Xmean对所述训练流量矩阵XB进行零均值处理，得到零均值化流量矩阵X0；将所述零均值化流量矩阵X0中的每列元素按照每列元素的平均值进行降序排列，获得排序后的零均值化流量矩阵；对所述排序后的零均值化流量矩阵进行奇异值分解，获得特征流矩阵、对角矩阵和正交矩阵；其中，Xmean为XB的均值矩阵，x1,1、x1,2和x1,B分别为第1个OD流在时隙1、时隙2和时隙B的传输控制协议数据包的均值，x2,1、x2,2和x2,B分别为第2个OD流在时隙1、时隙2和时隙B的传输控制协议数据包的均值，xN,1、xN,2和xN,B分别为第N个OD流在时隙1、时隙2和时隙B的传输控制协议数据包的均值，a1、a2和aN分别为Xmean的第一行元素、第二行元素和第N行元素。可选的，所述根据所述流量矩阵，利用所述卷积神经网络预测网络流量，获得网络流量预测值，具体包括：将预测输入流量矩阵为XA输入所述卷积神经网络，获得网络流量预测初始值；对所述网络流量预测初始值进行零均值处理，获得网络流量预测值。可选的，所述获取当前网络流量，结合所述网络流量预测值，利用贪心算法学习确定基于阈值的异常检测机制的误差阈值，具体包括：利用贪心算法计算候选阈值集合中每个阈值的平均奖励；选取所有阈值的平均奖励的最大值，并将所述最大值对应的阈值作为基于阈值的异常检测机制的误差阈值。可选的，所述利用贪心算法计算候选阈值集合中每个阈值的平均奖励，具体包括：利用贪心算法，生成所述候选阈值集合中第i个阈值的多个奖励；计算所述第i个阈值的多个奖励的平均值；根据所述当前网络流量和所述网络流量预测值，将所述第i个阈值代入基于阈值的异常检测机制中，获得所述第i个阈值的准确性其中，ki为第i个阈值，TP表示网络流量预测值与当前网络流量不同的错误数据已正确分类为错误的数量，FP表示网络流量预测值与当前网络流量相同的正确的数据被错误地分类为错误的数量，TN表示网络流量预测值与当前网络流量相同的正确的数据正确分类为正确的数量，FN表示网络流量预测值与当前网络流量不同的错误数据被错误地分类为正确的数量；利用所述第i个阈值的准确性更新所述第i个阈值的平均奖励，获得所述第i个阈值的更新后的平均奖励其中，Q′(ki)为第i个阈值的更新后的平均奖励，Q(ki本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的流量异常检测方法，其特征在于，所述方法包括：/n从网管中心获取历史网络流量，并将所述历史网络流量表示为流量矩阵；/n以整流线性单位作为激活函数，以基于马氏距离的损失函数作为损失函数，构建卷积神经网络；/n根据所述流量矩阵，利用所述卷积神经网络预测网络流量，获得网络流量预测值；/n获取当前网络流量，结合所述网络流量预测值，利用贪心算法学习确定基于阈值的异常检测机制的误差阈值；/n根据所述当前网络流量、所述网络流量预测值和所述误差阈值，利用基于阈值的异常检测机制确定流量误差，实现网络流量的异常检测。/n

【技术特征摘要】
1.一种基于卷积神经网络的流量异常检测方法，其特征在于，所述方法包括：
从网管中心获取历史网络流量，并将所述历史网络流量表示为流量矩阵；
以整流线性单位作为激活函数，以基于马氏距离的损失函数作为损失函数，构建卷积神经网络；
根据所述流量矩阵，利用所述卷积神经网络预测网络流量，获得网络流量预测值；
获取当前网络流量，结合所述网络流量预测值，利用贪心算法学习确定基于阈值的异常检测机制的误差阈值；
根据所述当前网络流量、所述网络流量预测值和所述误差阈值，利用基于阈值的异常检测机制确定流量误差，实现网络流量的异常检测。


2.根据权利要求1所述的基于卷积神经网络的流量异常检测方法，其特征在于，所述从网管中心获取历史网络流量，并将所述历史网络流量表示为流量矩阵，具体包括：
从网管中心获取历史网络流量，并将所述历史网络流量表示为流量矩阵X；所述流量矩阵X＝{xn,t}，xn,t表示第n个OD流在时隙t的传输控制协议数据包的均值，t＝1,2,3,...,T，T为流量矩阵X的长度，n＝1,2,3,...,N，N为OD流的数量；
从流量矩阵X中收集具有B个时隙的连续流量数据集作为训练流量矩阵XB，将流量矩阵X中所述B个时隙的连续流量数据集以外的流量数据集作为预测输入流量矩阵为XA。


3.根据权利要求1所述的基于卷积神经网络的流量异常检测方法，其特征在于，所述基于马氏距离的损失函数为



其中，Lm为损失函数，m为训练示例的索引，m＝1,2,…M，M为训练示例的数量，λ为额外相，Cm为马氏距离，hk,b(·)为卷积神经网络结构的输出函数，hk,b(X(m))为输入流量矩阵为X(m)时的卷积神经网络结构的输出流量矩阵，k为卷积核，b为偏差，训练示例为为第N′+1个均值向量，E为输出流量矩阵与均值向量的差值，ET为E矩阵的转置，P是关于hk,b(X(m))和的协方差矩阵，Sm为稀疏术语，Sm＝||hk,b(X(m))||1，||·||1为可以提取流量稀疏性的l1-范数。


4.根据权利要求2所述的基于卷积神经网络的流量异常检测方法，其特征在于，所述根据所述流量矩阵，利用卷积神经网络预测网络流量，获得网络流量预测值，之前还包括：
对所述训练流量矩阵XB进行奇异值分解，获得特征流矩阵、对角矩阵和正交矩阵；
利用所述特征流矩阵、所述对角矩阵和所述正交矩阵对所述卷积神经网络进行训练，获得训练后的卷积神经网络。


5.根据权利要求4所述的基于卷积神经网络的流量异常检测方法，其特征在于，所述对所述训练流量矩阵XB进行奇异值分解，获得特征流矩阵、对角矩阵和正交矩阵，具体包括：
利用公式X0＝XB-Xmean对所述训练流量矩阵XB进行零均值处理，得到零均值化流量矩阵X0；
将所述零均值化流量矩阵X0中的每列元素按照每列元素的平均值进行降序排列，获得排序后的零均值化流量矩阵；
对所述排序后的零均值化流量矩阵进行奇异值分解，获得特征流矩阵、对角矩阵和正交矩阵；
其中，Xmean为XB的均值矩阵，x1,1、x1,2和x1,B分别为第1个OD流在时隙1、时隙2和时隙B的传输控制协议数据包的均值，x2,1、x2,2和x2,B分别为第2个OD流在时隙1、时隙2和时隙B的传输控制协议数据包的均值，xN,1、xN,2和xN,B分别为第N个OD流在时隙1、时隙2和时隙B的传输控制协议数据包的均值，a1、a2和aN分别为Xmean的第一行元素、第二行元素和第N行元素。


6.根据权利要求2所述的基...

【专利技术属性】
技术研发人员：吴诒轩，尚润泽，孙文韬，聂来森，宁兆龙，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61