一种网络异常识别检测方法及装置制造方法及图纸

本发明专利技术提供的网络异常识别检测方法及装置，使用了分布式框架来处理大量的即时网络数据，提高了数据处理速度，在普通特征值之间丰富了特征值间的联系，并且在检测时，加入了网络流量在时间上的联系，可以有效的提高网络异常的检测率，相比较普通的简单地把流量分成正常和异常流量，可以识别出网络异常流量的具体种类。

【技术实现步骤摘要】
一种网络异常识别检测方法及装置
本专利技术涉及网络信息安全领域，特别涉及一种网络异常识别检测方法及装置。
技术介绍
近年来，网络规模不断扩大，各种网络应用快速普及。网络给人们的生活、工作和学习带来了极大的便利，人们对网络的依赖性日益增强，但是，同时，规模庞大的网络、复杂多样的设备以及各种新应用的加入也带来了一系列的问题，网络安全问题日益显著，这对保证网络的正常运行提出了更大的挑战。网络异常情况会占用带宽资源造成网络拥塞，引起网络丢包、时延增大，情况严重时甚至会导致网络痛疾；还会浪费大量的网络资源，使正常信息无法得到及时的处理。在每天的巨大的网络流量中，有一些不是正常的网络流量，它们可能是攻击性流量，会对于整个网络造成危害。因此，通过监控实时的网络流量来发现那些异常的网络流量是很重要的。网络异常出现在很大一部分网络流量中并且对于整个网络的性能有很大的影响，可能是由于网络拓扑结构的改变和网络的非正常使用所引起的。同样，网络流量的异常也可能是设备故障和一些网络攻击所引起的，对于这种事件的早期检测是特别有用的，因为它们可能损害网络的安全和可靠的操作。网络异常检测的目的是检测给定网络流量数据中不符合既定正常模式的行为。这些异常可能会浪费网络资源，导致网络设备和终端主机的性能下降，并导致所有互联网用户的安全问题。因此，准确地检测此类异常已经成为网络社区需要解决的一个重要问题，从大量的数据中区分不同的异常模式是一个挑战。我们可以发现，对于网络流量进行监控并且能发现其中的异常流量对于网络安全是很有意义的。更进一步来说，如果能将异常流量进行分类，将每种异常流量对应到具体的系统故障或者网络攻击，那么对于网络的日常管理和运营维护将会有很大的帮助。已有检测算法多侧重于对网络异常情况的发现而忽略了对异常行为的进一步分析，比如异常时刻定位、异常类型分析、多节点情形分析等等，恰恰这些分析工作更有利于异常行为的预防和异常源的定位等网络安全问题。吴巍等人的《一种基于深度学习的移动自组织网络入侵检测方法与设备》提出了一种用卷积神经网络和用深度信念网络来检测移动自组网入侵的方法。在中国专利申请公告号为CN101610516A、专利技术名称为“自组织网络中的入侵检测方法与设备”的专利文件中公开了一种基于信息增益将网络特征分类，采用支持向量机从分组中筛选最优特征子集，判断网络是否被入侵的入侵检测方法。但是该方法只能检测到网络中是否存在入侵，不能识别出入侵类型，只是一种异常检测技术；该方法使用的是一种浅层神经网络学习模型，不具有深度学习的优势。对于流量检测方面，大部分已有工作只注重了用异常流量本身的特征来判断流量是否异常，却忽略了网络流量在时间上的联系。对于正常流量来说，虽然在短时间内可能没有时间上的规律，但是在一周内或者一天内的网络流量，也是有一定的规律可循的。而对于攻击来说，很多攻击其实也是循序渐进的，一种攻击作为另外一种攻击的铺垫，最后一步步的达成目的。所以无论对于正常流量和异常流量，时间上的联系都是存在的。
技术实现思路
有鉴于此，本专利技术实施例提供了一种网络异常识别检测方法及装置，使用深度神经网络模型在普通特征值的基础上利用普通特征值之间的联系提取出更加丰富的特征值，并且在检测时，加入网络流量在时间上的联系，可以有效的提高网络异常的检测率。第一方面，本专利技术提供一种网络异常识别检测方法，所述方法包括：实时采集训练所需的第一实时网络流量，将所述第一实时网络流量转换为训练用流量数据包；对所述训练用流量数据包进行预处理得到特征值数据；利用所述特征值数据对深度神经网络模型进行训练直至稳定；实时采集使用阶段的第二实时网络流量，将所述第二实时网络流量转换为检测用流量数据包；利用深度神经网络模型对所述检测用流量数据包进行检测并输出结果。作为一种可选的方案，所述对所述训练用流量数据包进行预处理得到特征值数据，具体包括：捕获目标训练网络的训练用流量数据包；对捕获的训练用流量数据包在分布式系统中进行预处理；对预处理完的训练用流量数据包使用卷积神经网络进行第一行为特征值数据提取并且将所述第一行为特征值数据进行分类标记；将所述第一行为特征值数据拆分分成训练数据和测试数据。作为一种可选的方案，所述利用所述特征值数据对深度神经网络模型进行训练直至稳定，具体包括：初始化深度神经网络模型的模型参数，所述模型参数包括学习率、深度和每一层的神经元个数；将所述训练数据输入深度神经网络模型中对LSTM长短期记忆网络进行训练，深度神经网络模型自动调整神经元之间的连接权重，得到对所述训练数据的抽象表达；使用所述测试数据测试深度神经网络模型，对所述模型参数进行优化直至达到目标效果；将优化完成的深度神经网络模型进行本地化存储。作为一种可选的方案，所述测试数据包括网络正常行为数据和网络入侵行为数据，所述使用所述测试数据测试深度神经网络模型，对所述模型参数进行优化直至达到目标效果，包括：将所述网络正常行数据和所述网络入侵行为数据分别输入深度神经网络模型，测试模型检测效果，优化调整模型参数直至检测效果达到目标效果。作为一种可选的方案，所述实时采集使用阶段的第二实时网络流量，将所述第二实时网络流量转换为检测用流量数据包，具体包括：实时采集使用阶段的第二实时网络流量并转换为检测用流量数据包；对捕获的检测用流量数据包在分布式系统中进行预处理；对预处理完的检测用流量数据包使用卷积神经网络进行第二行为特征值数据提取。作为一种可选的方案，所述利用深度神经网络模型对所述检测用流量数据包进行检测并输出结果，具体包括：当深度神经网络模型对所述第二行为特征值数据进行检测的输出结果为正常时，对所述第二实时网络流量进行放行；当深度神经网络模型对所述第二行为特征值数据进行检测的输出结果为异常时，对所述第二实时网络流量进行异常处理。作为一种可选的方案，所述当深度神经网络模型对所述第二行为特征值数据进行检测的输出结果为异常时，对所述第二实时网络流量进行异常处理，具体包括：对深度神经网络模型对所述第二行为特征值数据进行检测，若符合已知入侵类型，则输出结果为告警所述类型入侵；对深度神经网络模型对所述第二行为特征值数据进行检测，若不符合已知入侵类型，则将所述第二行为特征值数据作为新网络入侵特征向量进行存储，当深度神经网络模型可以识别存储的新网络入侵特征向量则使用聚类算法对所述第二行为特征值数据进行聚类划分，将聚类后的新网络入侵特征向量训练深度神经网络模型，以使得此类入侵类型再次发生时被检测识别。作为一种可选的方案，所述对所述第二实时网络流量进行异常处理，包括：当所述第二实时网络流量的异常为外部攻击行为时进行拦截；当所述第二实时网络流量的异常为内部工作异常时提醒相应管理人员。作为一种可选的方案，所述分布式系统采用MapReduce框架。第二方面，本专利技术提供一种网络异常识别检测装置，所述装置包括：转换单元，用于实时采集训练所需的第一实时网络流量，将所述第一实时网络流量转换为训练用流量数据包；预处理单元，用于对所述训练用流量数据包进行预处理得到特征值数据；训练单元，用于利用所述特征值数据对深度神经网络模型进行训练直至稳定；所述转换单元还用于实时采集使用阶段的第二实时网络流量，将所述第二实时网络流量转换为检测用流量数据包；处理单元，本文档来自技高网...

【技术保护点】
1.一种网络异常识别检测方法，其特征在于，所述方法包括：实时采集训练所需的第一实时网络流量，将所述第一实时网络流量转换为训练用流量数据包；对所述训练用流量数据包进行预处理得到特征值数据；利用所述特征值数据对深度神经网络模型进行训练直至稳定；实时采集使用阶段的第二实时网络流量，将所述第二实时网络流量转换为检测用流量数据包；利用深度神经网络模型对所述检测用流量数据包进行检测并输出结果。

【技术特征摘要】
1.一种网络异常识别检测方法，其特征在于，所述方法包括：实时采集训练所需的第一实时网络流量，将所述第一实时网络流量转换为训练用流量数据包；对所述训练用流量数据包进行预处理得到特征值数据；利用所述特征值数据对深度神经网络模型进行训练直至稳定；实时采集使用阶段的第二实时网络流量，将所述第二实时网络流量转换为检测用流量数据包；利用深度神经网络模型对所述检测用流量数据包进行检测并输出结果。2.根据权利要求1所述的网络异常识别检测方法，其特征在于，所述对所述训练用流量数据包进行预处理得到特征值数据，具体包括：捕获目标训练网络的训练用流量数据包；对捕获的训练用流量数据包在分布式系统中进行预处理；对预处理完的训练用流量数据包使用卷积神经网络进行第一行为特征值数据提取并且将所述第一行为特征值数据进行分类标记；将所述第一行为特征值数据拆分分成训练数据和测试数据。3.根据权利要求2所述的网络异常识别检测方法，其特征在于，所述利用所述特征值数据对深度神经网络模型进行训练直至稳定，具体包括：初始化深度神经网络模型的模型参数，所述模型参数包括学习率、深度和每一层的神经元个数；将所述训练数据输入深度神经网络模型中对LSTM长短期记忆网络进行训练，深度神经网络模型自动调整神经元之间的连接权重，得到对所述训练数据的抽象表达；使用所述测试数据测试深度神经网络模型，对所述模型参数进行优化直至达到目标效果；将优化完成的深度神经网络模型进行本地化存储。4.根据权利要求3所述的网络异常识别检测方法，其特征在于，所述测试数据包括网络正常行为数据和网络入侵行为数据，所述使用所述测试数据测试深度神经网络模型，对所述模型参数进行优化直至达到目标效果，包括：将所述网络正常行数据和所述网络入侵行为数据分别输入深度神经网络模型，测试模型检测效果，优化调整模型参数并重新训练模型直至检测效果达到目标效果。5.根据权利要求1所述的网络异常识别检测方法，其特征在于，所述实时采集使用阶段的第二实时网络流量，将所述第二实时网络流量转换为检测用流量数据包，具体包括：实时采集使用阶段的第二实时网络流量并转换为检测用流量数据包；对捕获的检测用流量数据包在分布式...

【专利技术属性】
技术研发人员：叶可江，朱明一，须成忠，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：广东,44