一种基于二次特征提取的网络流量异常检测方法及系统技术方案

本发明专利技术公开了一种基于二次特征提取的网络流量异常检测方法及系统，通过使用双向长短期记忆网络学习网络流量数据之间的特征关系，完成网络流量数据的一次特征提取，并在此基础上，定义一种基于注意力机制的特征重要性权重评估规则，依据特征重要性大小对双向长短期记忆网络生成的特征向量给予相应的权重，完成数据的二次特征提取。最后，提出一种“先总分后细分”的设计思想构建网络流量数据检测模型，实现多分类网络流量数据的异常检测。本发明专利技术有效提高了网络流量数据异常检测的准确率、精确率、召回率和F1值，并且该模型并且具有良好的泛化能力。泛化能力。泛化能力。

【技术实现步骤摘要】
一种基于二次特征提取的网络流量异常检测方法及系统


[0001]本专利技术涉及网络流量异常检测领域，具体涉及一种基于二次特征提取的网络流量异常检测方法，还涉及一种基于二次特征提取的网络流量异常检测系统。

技术介绍

[0002]随着信息技术的发展，互联网已经深刻渗透到人们的工作和生活当中，然而伴随着互联网快速发展的同时，网络数据量的不断激增，网络环境的日益复杂，也导致网络安全问题的日渐突出。此外，在军事领域中，由于战场环境复杂、作战单元众多，以及持续有效的供给等实际需求，如果不能及时准确地检测出网络异常，将会造成不可估计的损失。因此，如何及时检测出网络异常，实时保障网络的正常运行，对于维护网络安全具有重要意义。维护网络安全是一个攻防博弈的过程，网络流量异常检测作为保障网络安全的先决条件，通过分析流量数据检测网络中的突发异常事件,检测到异常后做出应对措施，对于发现潜在网络威胁、降低网络攻击、减少网络损失提供有效的防护和帮助。
[0003]近年来，传统的机器学习算法已经广泛应用到网络流量异常检测中，如朴素贝叶斯、随机森林、支持向量机和K近邻算法。这些方法虽然在识别的准确率上有了一定的提升，但是统一存在表达复杂函数的能力有限、泛化能力较弱的问题。在面对复杂的网络环境和数据的爆炸性増长的情况下，模型的性能将会大大降低，因此不能较好地处理复杂分类问题。目前，由于深度学习优异的表示能力引起了人们的广泛关注，研究人员将深度学习的算法引入到异常检测领域。基于深度学习的算法主要有卷积神经网络(Convolutional Neural Networks,CNN)、循环神经网络(Recurrent Neural Network，RNN)、长短期记忆网络(Long Short
‑
Term Memory，LSTM)、注意力机制等。深度学习的神经网络层数很多，宽度很广，可以映射到任意函数，因此能够解决复杂的检测和分类问题；深度学习高度依赖数据，数据量越大，它的表现就越好。所以在如今数据量激增的网络环境下，使用深度学习的方法进行网络流量异常检测之取得了非常不错的效果。
[0004]虽然深度学习的算法在网络流量异常检测领域取得了不错的效果，但是仍然存在以下不足：使用网络流量数据作为RNN或者LSTM的输入，会导致模型无法编码从后到前的信息。当在更细粒度的分类时，不能更好地获取流量前后之间特征的关系；2)进行网络流量异常检测时，对数据的特征提取是至关重要的，研究人员还未考虑到对网络流量数据进行二次特征提取，对网络流量的关键特征给予更高的关注度，获得更加重要的流量特征；3)目前大多数数据集大多存在样本分布不均衡的问题，即正常样本的数量多，异常样本的数量少，使用这样的数据集会影响检测效率。

技术实现思路

[0005]本专利技术目的：在于提供一种基于二次特征提取的网络流量异常检测方法及系统，通过使用双向长短期记忆网络学习网络流量数据之间的特征关系，完成网络流量数据的一次特征提取，并在此基础上，定义一种基于注意力机制的特征重要性权重评估规则，依据特
征重要性大小对双向长短期记忆网络生成的特征向量给予相应的权重，完成数据的二次特征提取。最后，提出一种“先总分后细分”的设计思想构建网络流量数据检测模型，实现多分类网络流量数据的异常检测。本专利技术有效提高了网络流量数据异常检测的准确率、精确率、召回率和F1值，并且该模型并且具有良好的泛化能力。
[0006]为实现以上功能，本专利技术设计一种基于二次特征提取的网络流量异常检测方法，执行以下步骤S1
‑
步骤S6，构建并训练异常网络流量数据检测模型，并应用训练好的异常网络流量数据检测模型，完成各待检测网络流量数据的检测：
[0007]执行如下步骤S1
‑
步骤S4，构建异常网络流量数据检测待训练模型：
[0008]步骤S1：分别采集各种类的网络流量数据样本，包括正常网络状态下的正常网络流量数据样本和各预设类型异常网络状态下的异常网络流量数据样本；
[0009]步骤S2：分别对各网络流量数据样本进行预处理，预处理包括数据清洗、数值化、归一化，以经过预处理的各网络流量数据样本构建网络流量数据集；
[0010]步骤S3：构建双向长短期记忆网络
‑
注意力机制二次特征提取模型，以网络流量数据集中的各网络流量数据作为双向长短期记忆网络的输入，基于双向长短期记忆网络对各网络流量数据进行特征提取，获得各网络流量数据的特征向量，以各种类的网络流量数据的特征向量所组成的总特征向量作为双向长短期记忆网络的输出；其中，针对双向长短期记忆网络的每一层加入批归一化算法，以使双向长短期记忆网络保持输入的网络流量数据分布的一致性；
[0011]基于注意力机制，计算各网络流量数据与总特征向量之间的相关性，即针对总特征向量中的各特征向量赋予相应的权重，通过计算总特征向量中的各特征向量的加权和，获得各网络流量数据对应的重要特征；
[0012]步骤S4：基于softmax分类器函数，对步骤S3所获得的重要特征进行二层分类，第一层分类为二分类，将各网络流量数据中的正常网络流量数据、异常网络流量数据分开；第二层分类为多分类，将各异常网络流量数据按照其所属的各预设类型进行分类；
[0013]步骤S5：基于步骤S1
‑
步骤S4所构建的异常网络流量数据检测待训练模型，以各网络流量数据样本为输入，以各网络流量数据样本所对应的正常或异常分类结果，以及各异常网络流量数据样本所对应的预设类型为输出，对异常网络流量数据检测待训练模型进行训练，获得训练好的异常网络流量数据检测模型；
[0014]步骤S6：应用异常网络流量数据检测模型，针对实时输入的各待检测网络流量数据，完成各待检测网络流量数据的异常检测，针对待检测网络流量数据中的异常网络流量数据，根据预设类型对其进行分类。
[0015]作为本专利技术的一种优选技术方案：步骤S3的具体步骤如下：
[0016]步骤S31：将经过步骤S2预处理的网络流量数据集X＝{x1,x2,
…
,x
t
,
…
,x
n
}输入双向长短期记忆网络，其中x
t
为网络流量数据集X中第t个网络流量数据，n为网络流量数据总数，双向长短期记忆网络通过更新门信息对各网络流量数据进行特征提取，具体如下式：
[0017][0018][0019][0020]双向长短期记忆网络由一个前向LSTM层和一个后向LSTM层组成，两个LSTM层分别为从左到右处理序列、从右到左处理序列，式中，分别为输入x
t
所对应的前向LSTM层、后向LSTM层的输出，分别代表网络隐藏层的参数，分别为前向LSTM层、后向LSTM层的偏置值，W U
和W V
分别是对应于前向和后向矩单位状态的权重系数，C
t
为双向长短期记忆网络输出的特征向量；
[0021]步骤S32：针对双向长短期记忆网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于二次特征提取的网络流量异常检测方法，其特征在于，执行以下步骤S1
‑
步骤S6，构建并训练异常网络流量数据检测模型，并应用训练好的异常网络流量数据检测模型，完成各待检测网络流量数据的检测：执行如下步骤S1
‑
步骤S4，构建异常网络流量数据检测待训练模型：步骤S1：分别采集各种类的网络流量数据样本，包括正常网络状态下的正常网络流量数据样本和各预设类型异常网络状态下的异常网络流量数据样本；步骤S2：分别对各网络流量数据样本进行预处理，预处理包括数据清洗、数值化、归一化，以经过预处理的各网络流量数据样本构建网络流量数据集；步骤S3：构建双向长短期记忆网络
‑
注意力机制二次特征提取模型，以网络流量数据集中的各网络流量数据作为双向长短期记忆网络的输入，基于双向长短期记忆网络对各网络流量数据进行特征提取，获得各网络流量数据的特征向量，以各种类的网络流量数据的特征向量所组成的总特征向量作为双向长短期记忆网络的输出；其中，针对双向长短期记忆网络的每一层加入批归一化算法，以使双向长短期记忆网络保持输入的网络流量数据分布的一致性；基于注意力机制，计算各网络流量数据与总特征向量之间的相关性，即针对总特征向量中的各特征向量赋予相应的权重，通过计算总特征向量中的各特征向量的加权和，获得各网络流量数据对应的重要特征；步骤S4：基于softmax分类器函数，对步骤S3所获得的重要特征进行二层分类，第一层分类为二分类，将各网络流量数据中的正常网络流量数据、异常网络流量数据分开；第二层分类为多分类，将各异常网络流量数据按照其所属的各预设类型进行分类；步骤S5：基于步骤S1
‑
步骤S4所构建的异常网络流量数据检测待训练模型，以各网络流量数据样本为输入，以各网络流量数据样本所对应的正常或异常分类结果，以及各异常网络流量数据样本所对应的预设类型为输出，对异常网络流量数据检测待训练模型进行训练，获得训练好的异常网络流量数据检测模型；步骤S6：应用异常网络流量数据检测模型，针对实时输入的各待检测网络流量数据，完成各待检测网络流量数据的异常检测，针对待检测网络流量数据中的异常网络流量数据，根据预设类型对其进行分类。2.根据权利要求1所述的一种基于二次特征提取的网络流量异常检测方法，其特征在于，步骤S3的具体步骤如下：步骤S31：将经过步骤S2预处理的网络流量数据集X＝{x1,x2,
…
,x
t
,
…
,x
n
}输入双向长短期记忆网络，其中x
t
为网络流量数据集X中第t个网络流量数据，n为网络流量数据总数，双向长短期记忆网络通过更新门信息对各网络流量数据进行特征提取，具体如下式：双向长短期记忆网络通过更新门信息对各网络流量数据进行特征提取，具体如下式：C
t
＝W
U
C
t
+W
V
C
t
双向长短期记忆网络由一个前向LSTM层和一个后向LSTM层组成，两个L...

【专利技术属性】
技术研发人员：潘成胜，李志祥，杨雯升，蔡凌云，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：