一种基于混合神经网络的异常流量检测方法及系统技术方案

本发明专利技术涉及一种基于混合神经网络的异常流量检测方法及系统，首先采集网络流量数据，并以网络流为粒度进行特征提取与数据预处理；然后通过卷积神经网络学习网络流量数据中的空间特征；再将这些包含空间信息的特征输入到双向长短时记忆网络进一步学习其时序特征；最后输出检测结果。本发明专利技术相比于目前的机器学习与深度学习异常流量检测方法能更好的挖掘高维特征，提升入侵检测模型的准确性。本发明专利技术设计合理，所得分类模型精确率、检测率和准确率均较高。

An Abnormal Flow Detection Method and System Based on Hybrid Neural Network

【技术实现步骤摘要】
一种基于混合神经网络的异常流量检测方法及系统
本专利技术涉及计算机网络安全
，特别是一种基于混合神经网络的异常流量检测方法及系统。
技术介绍
网络流量异常检测作为实现网络入侵检测的一种有效方法，不仅能够检测未知的网络攻击，还可以为网络态势感知提供重要支持。网络的异常流量对网络可用状态影响较大，甚至导致用户无法正常访问互联网。引起网络流量异常的原因主要有：一是网络性能原因，主要指网络拓扑结构设计不合理或用户操作不当造成的异常流量，例如网络管理员网络策略设置不当、网络设备故障等；二是网络安全原因，主要指网络恶意攻击行为造成的异常流量，例如拒绝服务攻击（Dos）、远程访问攻击（R2L）、探针攻击（Probe）等。网络安全原因引起的网络流量异常是目前研究和检测的重点。传统机器学习方法属于浅层学习，主要包括：支持向量机、决策树、随机森林、k-means等。无法有效学习到网络流量数据中的高维特征，存在入侵检测准确率较低、误报率较高的问题。已有入侵检测深度学习模型只利用了网络流量数据中的部分特征，存在一定的局限性。
技术实现思路
有鉴于此，本专利技术的目的是提出一种基于混合神经网络的异常流量检测方法及系统，综合了网络流量数据中的空间特征与时间特征，能够有效提升模型的检测率，并降低误报率。本专利技术采用以下方案实现：一种基于混合神经网络的异常流量检测方法，包括离线训练环节与实时检测环节；所述离线训练环节具体为：采集流量数据并按网络流为粒度进行特征提取，对数据进行标注，经数据预处理后生成训练集，经过多轮模型训练得到异常流量检测模型；所述实时检测环节具体为：采集固定时间窗口内的流量数据并按网络流为粒度进行特征提取，进行数据预处理后将数据输入训练好的异常流量检测模型中进行检测，并根据检测结果做不同的处理。进一步地，所述离线训练环节与所述实时检测环节中的特征提取从网络流中提取的特征包括但不限于：网络流的持续时间、源IP发送的字节数、目的IP发送的字节数、源IP发送的数据包个数、目的IP发送的数据包个数、源IP发送的IP层字节数、以及目的IP发送的IP层字节数。进一步地，所述离线训练环节与所述实时检测环节中的数据预处理包括以下步骤：步骤S11：将字符型特征与攻击类别转换为对应的十进制数值；步骤S12：对每一条数据中存在的缺失值，在同类别数据中取平均值补齐；步骤S13：采用max-min方法归一化数据。进一步地，所述模型训练具体包括以下步骤：步骤S21：将经过预处理后的训练集数据输入卷积神经网络中(CNN)，提取网络流量中的空间特征；步骤S22：将步骤S21处理过的数据输入双向长短时记忆网络中(LSTM)，提取网络流量中的时序特征；步骤S23：将经过步骤S22处理过的数据输入softmax分类器中，输出最终检测结果。较佳的，本专利技术还提供了一种基于上文所述的异常流量检测方法的系统，包括存储器以及执行器，所述存储器中存储有权利要求1中的方法指令，所述执行器在运行时执行存储器中的方法指令。具体的，本专利技术的系统具体包括以下功能模块：网络流量数据捕获模块：从网络链路上利用tcpdump工具采集流量数据并存储为PCAP文件，接着以网络流为粒度提取流量数据中的特征，生成流量特征矩阵；数据预处理模块：对网络流量数据捕获模块中提取的特征，进行符号属性转换与属性归一化等预处理；核心分析模块：在离线训练环节中，输入预处理后的流量特征数据来训练基于CNN与双向LSTM混合神经网络的异常流量检测模型。其中所述异常流量检测模型包括：正常与异常的二分类检测模型、正常与多种异常的多分类检测模型。在实时检测环节中，输入预处理后的实时流量特征数据，利用异常流量检测模型进行实时检测，产生最终检测结果；应急响应模块：收到核心分析模块产生的最终检测结果，如果检测结果为非异常流量，则告知用户该网络数据流不存在异常流量；如果检测结果为异常流量，则根据检测出的异常流量种类进行处理，并将异常流量中的敏感信息如：源IP地址、目的IP地、payload信息等，显示给用户。与现有技术相比，本专利技术有以下有益效果：本专利技术相较于现有技术中的几种检测方法均具有更佳的检测率和检测精度，算法扩展性能好、效率高，可适应网络流量剧增所带来的检测压力，具有很强的实用性和广阔的应用前景。附图说明图1为本专利技术实施例的系统框架示意图。图2为本专利技术实施例的基于混合神经网络的异常流量检测的二分类模型。图3为本专利技术实施例的基于混合神经网络的异常流量检测的多分类模型。图4为本专利技术实施例的应急响应模块流程图。图5为本专利技术实施例的检测结果示意图1。图6为本专利技术实施例的检测结果示意图2。具体实施方式下面结合附图及实施例对本专利技术做进一步说明。应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。如图1至图4所示，本实施例提供了一种基于混合神经网络的异常流量检测方法，包括离线训练环节与实时检测环节；所述离线训练环节具体为：采集流量数据并按网络流为粒度进行特征提取，对数据进行标注，经数据预处理后生成训练集，经过多轮模型训练得到异常流量检测模型；所述实时检测环节具体为：采集固定时间窗口内的流量数据并按网络流为粒度进行特征提取，进行数据预处理后将数据输入训练好的异常流量检测模型中进行检测，并根据检测结果做不同的处理。在本实施例中，所述离线训练环节与所述实时检测环节中的特征提取从网络流中提取的特征包括但不限于：网络流的持续时间、源IP发送的字节数、目的IP发送的字节数、源IP发送的数据包个数、目的IP发送的数据包个数、源IP发送的IP层字节数、以及目的IP发送的IP层字节数。在本实施例中，所述离线训练环节与所述实时检测环节中的数据预处理包括以下步骤：步骤S11：将字符型特征与攻击类别转换为对应的十进制数值；步骤S12：对每一条数据中存在的缺失值，在同类别数据中取平均值补齐；步骤S13：采用max-min方法归一化数据。在本实施例中，所述模型训练具体包括以下步骤：步骤S21：将经过预处理后的训练集数据输入卷积神经网络中(CNN)，提取网络流量中的空间特征；步骤S22：将步骤S21处理过的数据输入双向长短时记忆网络中(LSTM)，提取网络流量中的时序特征；步骤S23：将经过步骤S22处理过的数据输入softmax分类器中，输出最终检测结果。较佳的，本实施例还提供了一种基于上文所述的异常流量检测方法的系统，包括存储器以及执行器，所述存储器中存储有权利要求1中的方法指令，所述执行器在运行时执行存储器中的方法指令。具体的，本实施例的系统具体包括以下功能模块：网络流量数据捕获模块：从网络链路上利用tcpdump工具采集流量数据并存储为PCAP文件，接着以网络流为粒度提取流量数据中的特征，生成流量特征矩阵；数据预处理模块：对网络流量数据捕获模本文档来自技高网...

【技术保护点】
1.一种基于混合神经网络的异常流量检测方法，其特征在于，包括离线训练环节与实时检测环节；所述离线训练环节具体为：采集流量数据并按网络流为粒度进行特征提取，对数据进行标注，经数据预处理后生成训练集，经过多轮模型训练得到异常流量检测模型；所述实时检测环节具体为：采集固定时间窗口内的流量数据并按网络流为粒度进行特征提取，进行数据预处理后将数据输入训练好的异常流量检测模型中进行检测，并根据检测结果做不同的处理。

【技术特征摘要】
1.一种基于混合神经网络的异常流量检测方法，其特征在于，包括离线训练环节与实时检测环节；所述离线训练环节具体为：采集流量数据并按网络流为粒度进行特征提取，对数据进行标注，经数据预处理后生成训练集，经过多轮模型训练得到异常流量检测模型；所述实时检测环节具体为：采集固定时间窗口内的流量数据并按网络流为粒度进行特征提取，进行数据预处理后将数据输入训练好的异常流量检测模型中进行检测，并根据检测结果做不同的处理。2.根据权利要求1所述的一种基于混合神经网络的异常流量检测方法，其特征在于，所述离线训练环节与所述实时检测环节中的特征提取从网络流中提取的特征包括但不限于：网络流的持续时间、源IP发送的字节数、目的IP发送的字节数、源IP发送的数据包个数、目的IP发送的数据包个数、源IP发送的IP层字节数、以及目的IP发送的IP层字节数。3.根据权利要求1所述的一种基于混合神经网络的异常流量检测方法...

【专利技术属性】
技术研发人员：郭文忠，连鸿飞，张浩，谢麟，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建,35