基于生成对抗网络的半监督网络流量异常检测方法技术

本发明专利技术提供了一种基于生成对抗网络的半监督网络流量异常检测方法，首先将网络流量特征进行工程化，即对于字符特征使用one

【技术实现步骤摘要】
基于生成对抗网络的半监督网络流量异常检测方法


[0001]本专利技术涉及网络异常检测
，具体但不限于涉及一种基于生成对抗网络的半监督网络流量异常检测方法。

技术介绍

[0002]随着互联网的快速发展，网络攻击事件也频频发生。隐私保护技术能让恶意攻击逃避深度报文检测。而传统机器学习算法通常需要人工选择特征，耗时费力。目前基于异常的网络流量研究多是有监督式深度学习，其存在无法识别未知流量和数据不平衡等局限性。而无监督式异常检测方法模型学习高维网络数据中的异常特征能力较弱，无法达到较好的识别效果。
[0003]针对上述问题，本专利以生成对抗网络、编码器和解码器的相关理论为基础，结合卷积神经网络和异常检测思想，设计了FlowADGAN(Flow Anomaly Detection Generative Adversarial Networks)异常检测模型，主要目的是解决有监督深度学习无法识别未知流量和无监督异常检测异常流量效果一般的问题，通过生成对抗网络的对抗学习的方法，从而提高模型学习特征能力，进而提升异常网络流量检测的精确度。
[0004]有鉴于此，确有必要提出一种基于生成对抗网络的半监督网络流量异常检测方法，来解决上述问题。

技术实现思路

[0005]针对现有技术中的一个或多个问题，本专利技术提出了一种基于生成对抗网络的半监督网络流量异常检测方法，通过将网络流量特征工程化，形成新特征进入生成对抗网络，计算重构误差来判断流量是否异常，有效地保留流量特征信息，解决了有监督深度学习无法识别未知流量的问题，提升了异常网络流量检测的精确度。
[0006]实现本专利技术目的的技术解决方案为：
[0007]一种基于生成对抗网络的半监督网络流量异常检测方法，包括：
[0008]步骤1，对网络流量数据进行流量计算，形成网络流量特征记录；
[0009]步骤2，对网络流量特征记录中的非数值型特征进行独热编码处理，对网络特征流量记录中的数值型特征进行归一化处理，得到网络流特征数据；
[0010]步骤3，将网络流特征数据输入生成器的特征聚合模块，对流特征向量进行多维度的特征空间映射至低维度的特征空间，得到聚合网络流量特征；
[0011]步骤4，将聚合网络流量特征映射到生成器的卷积空间，将聚合网络流量特征卷积压缩进入隐藏空间，得到聚合网络流量特征的隐藏特征向量；
[0012]步骤5，将隐藏特征向量对隐藏空间进行反卷积回溯，经过维度扩张后形成重构回溯空间；
[0013]步骤6，将重构回溯空间映射到生成器的卷积空间进行卷积压缩进入隐藏空间，重构回溯空间压缩后得到新的隐藏特征向量；
[0014]步骤7，计算步骤4得到的隐藏特征向量和步骤6得到的新的隐藏特征向量之间的欧式距离，若欧式距离＞阈值，则该网络流量是异常流量，若欧式距离≤阈值，则该网络流量是正常流量。
[0015]进一步的，本专利技术的基于生成对抗网络的半监督网络流量异常检测方法，步骤2中对数值型特征使用最值归一化处理，具体为：将数值型特征的最大值和最小值成比例映射入[0,1]范围中，公式如下：
[0016][0017]其中，为x经过最值归一化处理后的值，x为原始值，min(x)为数值型特征的最小值，max(x)为数值型特征的最大值。
[0018]进一步的，本专利技术的基于生成对抗网络的半监督网络流量异常检测方法，步骤3中的特征聚合模块包括一层编码器，所述编码器的神经元参数为77*32，将流特征向量映射为32维的特征向量。
[0019]进一步的，本专利技术的基于生成对抗网络的半监督网络流量异常检测方法，步骤4中的卷积空间包括两个卷积维度压缩模块和一个反卷积升维模块。
[0020]进一步的，本专利技术的基于生成对抗网络的半监督网络流量异常检测方法，所述卷积维度压缩模块包括四层卷积网络层，前三层卷积网络层的网络结构相同，卷积核的大小为4、BatchNorm1d和LeakyRelu，第四层卷积网络层的卷积核大小为4，卷积维度压缩模块输出batch*100*1的隐藏特征向量。
[0021]进一步的，本专利技术的基于生成对抗网络的半监督网络流量异常检测方法，所述反卷积升维模块包括四层反卷积网络层，前三层反卷积网络层的网络结构相同，卷积核的大小依次为4、BatchNorm1d和LeakyRelu，第四层反卷积网络层的卷积核是反卷积层加上Tanh函数，反卷积升维模块输出batch*1*32的回溯空间。
[0022]进一步的，本专利技术的基于生成对抗网络的半监督网络流量异常检测方法，步骤7中的欧式距离使用归一化均方误差计算，公式为：
[0023][0024]其中，y
i
代表第i个样本的特征值，代表第i个样本的最大特征值，代表第i个样本的最小特征值，表示第i号样本特征的均值，表示第i号样本特征的最小值，表示第i号样本特征的最大值，n表示样本的总数。
[0025]本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：
[0026]本专利技术基于生成对抗网络的半监督网络流量异常检测方法，提出的两个卷积编码层和一个反卷积解码层相结合组成一个生成对抗网络的生成器，将一个卷积编码层作为判别器，强化了模型学习网络流量特征的能力，解决了无法识别未知攻击、数据不平衡和标记困难的问题，提高了异常网络流量检测的精确度。
附图说明
[0027]附图用来提供对本专利技术的进一步理解，与说明描述一起用于解释本专利技术的实施
例，并不构成对本专利技术的限制。在附图中：
[0028]图1是本专利技术的基于生成对抗网络的半监督网络流量异常检测方法的流程图。
[0029]图2是本专利技术的基于生成对抗网络的半监督网络流量异常检测方法中流量特征模块对网络流量特征记录的处理流程图。
[0030]图3是本专利技术的基于生成对抗网络的半监督网络流量异常检测方法中异常检测算法模型示意图。
[0031]图4是本专利技术的基于生成对抗网络的半监督网络流量异常检测方法中卷积空间的参数示意图。
具体实施方式
[0032]为了进一步理解本专利技术，下面结合实施例对本专利技术优选实施方案进行描述，但是应当理解，这些描述只是为进一步说明本专利技术的特征和优点，而不是对本专利技术权利要求的限制。
[0033]该部分的描述只针对几个典型的实施例，本专利技术并不仅局限于实施例描述的范围。不同实施例的组合、不同实施例中的一些技术特征进行相互替换，相同或相近的现有技术手段与实施例中的一些技术特征进行相互替换也在本专利技术描述和保护的范围内。
[0034]本专利技术提出一种基于生成对抗网络的半监督网络流量异常检测方法，适用于网络防火墙上。主要包括网络流量特征工程和生成对抗网络算法。
[0035]如图1所示，整个异常检测方法的流程如下：
[0036]步骤1，网络流量数据预处理：首先网络流量pcap包做流量计算，完成预处理之后形成网络流量特征记录；
[0037]步骤2，网络流量特征工程化：将步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的半监督网络流量异常检测方法，其特征在于，包括：步骤1，对网络流量数据进行流量计算，形成网络流量特征记录；步骤2，对网络流量特征记录中的非数值型特征进行独热编码处理，对网络特征流量记录中的数值型特征进行归一化处理，得到网络流特征数据；步骤3，将网络流特征数据输入特征聚合模块，对流特征向量进行多维度的特征空间映射至低维度的特征空间，得到聚合网络流量特征；步骤4，聚合网络流量特征映射到卷积空间，将聚合网络流量特征卷积压缩进入隐藏空间，得到聚合网络流量特征的隐藏特征向量；步骤5，将隐藏特征向量对隐藏空间进行反卷积回溯，经过维度扩张后形成重构回溯空间；步骤6，将重构回溯空间进行卷积压缩进入隐藏空间，重构回溯空间压缩后得到新的隐藏特征向量；步骤7，计算步骤4得到的隐藏特征向量和步骤6得到的新的隐藏特征向量之间的欧式距离，若欧式距离＞阈值，则该网络流量是异常流量，若欧式距离≤阈值，则该网络流量是正常流量。2.根据权利要求1所述的基于生成对抗网络的半监督网络流量异常检测方法，其特征在于，步骤2中对数值型特征使用最值归一化处理，具体为：将数值型特征的最大值和最小值成比例映射入[0,1]范围中，公式如下：其中，为x经过最值归一化处理后的值，x为原始值，min(x)为数值型特征的最小值，max(x)为数值型特征的最大值。3.根据权利要求1所述的基于生成对抗网络的半监督网络流量异常检测方法，其特征在于，步骤3中的特征聚合模块...

【专利技术属性】
技术研发人员：王攀，李泽一，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：