大规模网络突发流量识别模型、方法及模型的训练方法技术

本申请提供一种大规模网络突发流量识别模型、方法及模型的训练方法，模型通过TensorFlowOnSpark框架搭建于Spark上，包括依次连接的输入层、第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、第四卷积层、第五卷积层、第三最大池化层、全连接层和输出层；输入层接收32*32的数据输入形式；第一卷积层采用96个5*5的卷积核、步长设为1；第二卷积层采用192个5*5的卷积核、步长设为1；第三卷积层和第四卷积层均采用384个3*3的卷积核、步长设为1；第五卷积层采用256个3*3的卷积核、步长设为1；每个最大池化层的池化窗口均为2*2、步长均为2；全连接层采用1024个节点；输出层包含2个节点。

【技术实现步骤摘要】
大规模网络突发流量识别模型、方法及模型的训练方法
本申请涉及神经网络模型领域，具体而言，涉及一种大规模网络突发流量识别模型、方法及模型的训练方法。
技术介绍
随着互联网的迅速发展，给人们的生活带来了极大的便利，但同时也为网络管理带来了巨大挑战，因此网络流量识别区分变得越来越重要。因为它在解决容量规划、流量工程、故障诊断、应用性能、异常检测以及网络趋势分析等方面都有着巨大的潜力。网络运营商可以根据实时网络流量识别结果来动态的部署QoS(QualityofService，服务质量)，同时还能根据分析结果改进网络体系架构，从而避免网络堵塞，提高网络的利用率。根据CNNIC(ChinaInternetNetworkInformationCenter，中国互联网络信息中心)第45次《中国互联网络发展状况统计报告》：截至2020年，我国网民规模为9.04亿，互联网普及率达64.5％。大部分网络应用的用户规模较2018年底增幅均达10％以上，尤其是在线教育，与2018年相比增加110.2％，占网民整体的46.8％。随着网络应用业务的不断丰富，网络资源本文档来自技高网...

【技术保护点】
1.一种大规模网络突发流量识别模型，其特征在于，包括依次连接的输入层、第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、第四卷积层、第五卷积层、第三最大池化层、全连接层和输出层，且所述大规模网络突发流量识别模型通过TensorFlowOnSpark框架搭建于Spark上，/n所述输入层，接收32*32的数据输入形式，用于接收网络流量数据，其中，所述网络流量数据为网络流量原始数据经过预处理后得到；/n所述第一卷积层采用96个5*5的卷积核、步长设为1，用于对所述网络流量数据进行卷积处理，并将本次处理后的数据输出至所述第一最大池化层；/n所述第一最大池化层的池化窗口为2*2、步长...

【技术特征摘要】
1.一种大规模网络突发流量识别模型，其特征在于，包括依次连接的输入层、第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、第四卷积层、第五卷积层、第三最大池化层、全连接层和输出层，且所述大规模网络突发流量识别模型通过TensorFlowOnSpark框架搭建于Spark上，
所述输入层，接收32*32的数据输入形式，用于接收网络流量数据，其中，所述网络流量数据为网络流量原始数据经过预处理后得到；
所述第一卷积层采用96个5*5的卷积核、步长设为1，用于对所述网络流量数据进行卷积处理，并将本次处理后的数据输出至所述第一最大池化层；
所述第一最大池化层的池化窗口为2*2、步长为2，用于对所述第一卷积层输入的数据进行最大池化处理，并将本次处理后的数据输出至第二卷积层；
所述第二卷积层采用192个5*5的卷积核、步长设为1，用于对所述第一最大池化层输入的数据进行卷积处理，并将本次处理后的数据输出至第二最大池化层；
所述第二最大池化层的池化窗口为2*2、步长为2，用于对所述第二卷积层输入的数据进行最大池化处理，并将本次处理后的数据输出至所述第三卷积层；
所述第三卷积层采用384个3*3的卷积核、步长设为1，用于对所述第二最大池化层输入的数据进行卷积处理，并将本次处理后的数据输出至所述第四卷积层；
所述第四卷积层采用384个3*3的卷积核、步长设为1，用于对所述第三卷积层输入的数据进行卷积处理，并将本次处理后的数据输出至所述第五卷积层；
所述第五卷积层采用256个3*3的卷积核、步长设为1，用于对所述第四卷积层输入的数据进行卷积处理，并将本次处理后的数据输出至所述第三最大池化层；
所述第三最大池化层的池化窗口为2*2、步长为2，用于对所述第五卷积层输入的数据进行最大池化处理，并将本次处理后的数据输出至所述全连接层；
所述全连接层采用1024个节点，用于对所述第三最大池化层输入的数据进行全连接处理，并将本次处理后得到的向量输出至所述输出层；
所述输出层包含2个节点，用于基于所述全连接层输入的向量进行分类并输出分类结果，以实现对所述网络流量原始数据的识别，其中，所述网络流量原始数据为正常流量数据或异常流量数据。


2.根据权利要求1所述的大规模网络突发流量识别模型，其特征在于，所述输出层的激活函数为softmax，所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷积层和所述第五卷积层的激活函数均为ReLu。


3.根据权利要求1所述的大规模网络突发流量识别模型，其特征在于，在所述全连接层与所述输出层之间还设有Dropout层。


4.一种大规模网络突发流量识别方法，其特征在于，所述方法包括：
获取网络流量原始数据，其中，所述网络流量原始数据为正常流量数据或异常流量数据；
对所述网络流量原始数据进行预处理，得到经预处理后的网络流量数据；
将所述网络流量数据输入权利要求1至3中任一项所述的大规模网络突发流量识别模型，并接收所述大规模网络突发流量识别模型基于所述网络流量数据确定并输出的分类结果；
基于所述分类结果实现对所述网络流量原始数据的分类识别。


5.根据权利要求4所述的大规模网络突发流量识别方法，其特征在于，所述网络流量原始数据为Pcap文件，包括第一部分、第二部分和第三部分，所述第一部分包括多条数据包，每条数据包包含数据包序列号、捕获时间、源协议地址、目的协议地址和传输协议，所述第二部分为每条数据包的具体字段内容，所述第三部分为每条数据包的十六进制信息，所述对所述网络流量原始数据进行预处理，得到经预处理后的网络流量数据，包括：
利用Python的scapy库对Pcap文件进行提取解析，获得所述Pcap文件中每条...

【专利技术属性】
技术研发人员：云本胜，孙雨璐，方科彬，钱亚冠，吴淑慧，
申请(专利权)人：浙江科技学院，
类型：发明
国别省市：浙江;33