流量分类系统、模型训练方法、设备和存储介质技术方案

本发明专利技术公开了一种流量分类系统、模型训练方法、设备和存储介质，所述方法包括：获取用于模型训练的网络流量序列数据，和所述网络流量序列数据中的每一网络流所属类别；根据每个所述类别对应的样本数量确定所述类别对应的损失函数；根据所述损失函数和所述网络流量序列数据对预设的神经网络模型进行训练，得到网络流量分类模型，所述神经网络模型由编码器、卷积神经网络和分类器组成。本发明专利技术训练得到的网络流量分类模型更加准确。络流量分类模型更加准确。络流量分类模型更加准确。

【技术实现步骤摘要】
流量分类系统、模型训练方法、设备和存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种流量分类系统、模型训练方法、设备和存储介质。

技术介绍

[0002]互联网的快速发展过程中出现了大量的应用和服务，并带来了海量的网络流量数据，这些庞大且复杂的数据导致网络管理的复杂化。需要根据不同类型流量的使用情况来进行网络资源调度，实现带宽资源的合理利用，为用户提供良好的网络服务。然而不同类别的网络流量数据量差异巨大，数据不平衡问题会严重影响分类效果。目前，解决类别不平衡问题是对数据集进行采样，使数据集重新趋于平衡。数据采样技术主要分为欠采样和过采样两种，欠采样通过选择一部分多数类样本丢弃使各类别样本达到平衡，过采样方法通过生成新的少数类别样本来使数据集重新达到类别平衡，但是数据的丢弃或者生成会引入误差，导致模型训练出现误差。

技术实现思路

[0003]本专利技术的主要目的在于提供一种流量分类系统、模型训练方法、设备和存储介质，旨在解决如何提高模型训练的准确率的问题。
[0004]为实现上述目的，本专利技术提供的一种流量分类系统，所述流量分类系统包括：
[0005]编码器，用于提取网络流量序列数据的时序特征；
[0006]卷积神经网络，所述卷积神经网络与所述编码器连接，用于提取所述网络流量序列数据的空间特征；
[0007]分类器，用于根据所述时序特征和空间特征，确定所述网络流量序列数据中的每一网络流所属的类别，以及所述网络流属于所述类别的概率值；
[0008]损失值平衡模块，用于根据所述概率值以及所述类别对应的类别权重，确定流量分类系统的损失值，并根据预设的反向传播算法和所述损失值更新所述编码器和所述卷积神经网络的参数，所述类别权重由所述类别的样本数量确定。
[0009]在一实施例中，所述卷积神经网络包括卷积层、池化层和全连接层，所述卷积层和所述池化层用于提取多维度的空间特征，所述全连接层与分类器连接，所述全连接层用于将多纬度的空间特征转换为预设维度的空间特征，所述预设维度由类别的数量确定。
[0010]为实现上述目的，本专利技术提供的一种模型训练方法，所述模型训练方法包括以下步骤：
[0011]获取用于模型训练的网络流量序列数据，以及所述网络流量序列数据中的每一网络流所属类别；
[0012]根据每个所述类别对应的样本数量确定所述类别对应的损失函数；
[0013]根据所述损失函数和所述网络流量序列数据对预设的神经网络模型进行训练，得到网络流量分类模型，所述神经网络模型由编码器、卷积神经网络和分类器组成。
[0014]在一实施例中，所述根据每个所述类别对应的样本数量确定所述类别对应的损失函数的步骤包括：
[0015]根据预设的平滑系数、所述类别对应的样本数量和样本总数确定平滑处理后的网络流；
[0016]根据所述平滑处理后的网络流确定类别权重；
[0017]根据所述类别权重确定所述损失函数。
[0018]在一实施例中，所述获取用于模型训练的网络流量序列数据的步骤包括：
[0019]获取每一所述网络流中按照时间排序的多个数据包；
[0020]根据预设数量的数据包生成所述网络流对应的特征向量；
[0021]根据每一所述网络流的所述特征向量确定所述网络流量序列数据。
[0022]在一实施例中，所述获取每一所述网络流中按照时间排序的多个数据包的步骤之前，还包括：
[0023]获取原始流量数据；
[0024]当所述原始流量数据为单向流时，确定所述原始流量数据的五元组信息，所述五元组信息包括源IP地址、目的IP地址、源端口号、目的端口号和传输协议；
[0025]根据所述五元组信息确定原始流量数据中的网络流。
[0026]在一实施例中，所述获取原始流量数据的步骤还包括：
[0027]当所述原始流量数据为双向流时，确定所述原始流量数据的五元组信息，所述五元组信息包括源IP地址、目的IP地址、源端口号、目的端口号和传输协议；
[0028]将所述五元组信息和交互地址原始流量数据包中的网络流。
[0029]在一实施例中，所述根据所述损失函数和所述网络流量序列数据对预设的神经网络模型进行训练，得到网络流量分类模型的步骤包括：
[0030]将所述网络流量序列数据输入预设的编码器，得到所述时序特征；
[0031]根据所述网络流量序列数据确定特征图像，将所述特征图像输入预设的卷积神经网络，得到所述空间特征；
[0032]将所述时序特征和所述空间特征输入预设的分类器，得到网络流量序列数据的类别和概率值；
[0033]根据预设的反向传播算法和所述损失函数更新所述编码器和所述卷积神经网络的参数。
[0034]为实现上述目的，本专利技术还提供一种模型训练设备，所述模型训练设备包括存储器、处理器以及存储在所述存储器并可在所述处理器上执行的模型训练程序，所述模型训练程序被所述处理器执行时实现如上所述的模型训练方法的各个步骤。
[0035]为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有模型训练程序，所述模型训练程序被处理器执行时实现如上所述的模型训练方法的各个步骤。
[0036]本专利技术提供的一种流量分类系统、模型训练方法、设备和存储介质，获取用于模型训练的网络流量序列数据，以及网络流量序列数据中的每一网络流所属类别；根据每个类别对应的样本数量确定类别对应的损失函数；根据损失函数和网络流量序列数据对预设的神经网络模型进行训练，得到网络流量分类模型，神经网络模型由编码器、卷积神经网络和
分类器组成。通过每一类别对应的样本数量确定损失函数，并根据损失函数和网络流量序列数据训练得到网络流量分类模型，使得模型在训练过程中对不同类别的网络流均有关注，使得训练得到的网络流量分类模型更加准确。
附图说明
[0037]图1为本专利技术实施例涉及的模型训练设备的硬件结构示意图；
[0038]图2为本专利技术流量分类系统的一实施例的结构示意图；
[0039]图3为本专利技术模型训练方法的一实施例的流程示意图；
[0040]图4为本专利技术模型训练方法的数据包生成特征向量的示意图；
[0041]图5为本专利技术模型训练方法的网络流中的数据包的封装结构的示意图；
[0042]图6为本专利技术模型训练方法的又一实施例的步骤S30的细化流程示意图。
[0043]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0044]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0045]本专利技术实施例的主要解决方案是：获取用于模型训练的网络流量序列数据，以及网络流量序列数据中的每一网络流所属类别；根据每个类别对应的样本数量确定类别对应的损失函数；根据损失函数和网络流量序列数据对预设的神经网络模型进行训练，得到网络流本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种流量分类系统，其特征在于，所述流量分类系统包括：编码器，用于提取网络流量序列数据的时序特征；卷积神经网络，所述卷积神经网络与所述编码器连接，用于提取所述网络流量序列数据的空间特征；分类器，用于根据所述时序特征和空间特征，确定所述网络流量序列数据中的每一网络流所属的类别，以及所述网络流属于所述类别的概率值；损失值平衡模块，用于根据所述概率值以及所述类别对应的类别权重，确定流量分类系统的损失值，并根据预设的反向传播算法和所述损失值更新所述编码器和所述卷积神经网络的参数，所述类别权重由所述类别的样本数量确定。2.如权利要求1所述的流量分类系统，其特征在于，所述卷积神经网络包括卷积层、池化层和全连接层，所述卷积层和所述池化层用于提取多维度的空间特征，所述全连接层与分类器连接，所述全连接层用于将多纬度的空间特征转换为预设维度的空间特征，所述预设维度由类别的数量确定。3.一种模型训练方法，其特征在于，应用于如权利要求1
‑
2中任一项所述的流量分类系统，所述模型训练方法包括：获取用于模型训练的网络流量序列数据，以及所述网络流量序列数据中的每一网络流所属类别；根据每个所述类别对应的样本数量确定所述类别对应的损失函数；根据所述损失函数和所述网络流量序列数据对预设的神经网络模型进行训练，得到网络流量分类模型，所述神经网络模型由编码器、卷积神经网络和分类器组成。4.如权利要求3所述的模型训练方法，其特征在于，所述根据每个所述类别对应的样本数量确定所述类别对应的损失函数的步骤包括：根据预设的平滑系数、所述类别对应的样本数量和样本总数确定平滑处理后的网络流；根据所述平滑处理后的网络流确定类别权重；根据所述类别权重确定所述损失函数。5.如权利要求3所述的模型训练方法，其特征在于，所述获取用于模型训练的网络流量序列数据的步骤包括：获取每一所述网络流中按照时间排序的多个数据包；根据预设数量的...

【专利技术属性】
技术研发人员：宋明泽，刘聪，蒋健，王晓征，
申请(专利权)人：中国移动浙江创新研究院有限公司中国移动通信集团有限公司，
类型：发明
国别省市：