【技术实现步骤摘要】
本申请涉及大数据网络流量检测，特别是涉及一种用于动态恶意流量分类的增量学习方法、装置和电子设备。
技术介绍
1、网络流量分类是网络管理和安全中的一项重要任务。它将网络流量分类为预定义的类别，例如正常或异常流量。同时，流量分类是识别网络中可能发生的不同异常或恶意活动(例如ddos、atp、challenge collapsar等)的第一步，在识别恶意网络活动中起着至关重要的作用。
2、经典的流量分类方法基于端口、有效负载和机器学习。近年来，凭借强大的自动提取特征的能力，基于深度学习(dl)的技术已成为主流策略。从本质上讲，这种基于深度学习的方法主要是从静态流数据集中学习特征。现有的基于深度学习的流量分类技术主要是从静态数据集中学习特征，要么是精度较差的微调要么是数据使用量较大的重新训练。然而，互联网上的流量数据是动态且连续到达的，在这种情况下，使得现有的基于深度学习的网络流量分类模型无法增量地学习即将到来的网络流量。
3、增量学习能够通过从数据流中增量地、持续地学习新特征来更新模型，实现了深度学习模型的知识不断累积和迭代更新。但是对于恶意流量分类，增量学习仍面临如下三个挑战：首先，增量学习技术主要是为计算机视觉任务设计的；但是，网络流量数据是由数据包头和有效负载组成的原始数据包，采用pcap格式，与图像的数据格式有很大不同，导致现有的增量学习技术无法直接应用于网络流量分类；其次，用新数据更新深度学习模型可能会影响以前学到的知识，如何避免潜在的灾难性遗忘效应仍然具有挑战性；第三，流量分类是一个典型的多类不平衡
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种用于动态恶意流量分类的增量学习方法、装置和电子设备。
2、一种用于动态恶意流量分类的增量学习方法，该方法包括：
3、获取原始网络流量，并将原始网络流量作为训练样本。
4、根据训练样本对用于动态恶意流量分类的增量学习模型进行训练，得到t-1时刻训练好的增量学习模型，增量学习模型包括：流量特征转换模块、动态可扩展特征提取模块以及分类学习模块；流量特征转换模块用于将训练样本转换为基于特征的双向流，将双向流转换为图像格式的流量数据；动态可扩展特征提取模块包括：若干个特征提取器；动态可扩展特征提取模块用于从图像格式的流量数据中提取可扩展特征；分类学习模块用于根据可扩展特征进行预测，得到动态恶意流量分类结果；其中t为整数，t的初始值为2。
5、如果没有新类别数据到来时，则采用t-1时刻训练好的增量学习模型对网络流量数据进行分类，得到动态恶意流量分类结果。
6、如果有新类别数据到来时，则从t-1时刻的训练样本中选择示例集，将所有新类别的数据和示例集组合，得到t时刻的训练样本。
7、将构建的新特征提取器扩展到t-1时刻的动态可扩展特征提取模块上，构建t时刻动态可扩展特征提取模块，得到t时刻的增量学习模型。
8、冻结t-1时刻的动态可扩展特征提取模块的参数，采用t时刻的训练样本对t时刻的增量学习模型进行训练，得到t时刻训练好的增量学习模型；将t的值增加1，继续判断是否有新类别数据到来，直到收到终止指令。
9、一种用于动态恶意流量分类的增量学习装置，该装置包括：
10、训练样本获取模块，用于获取原始网络流量，并将原始网络流量作为训练样本。
11、模型初始训练模块，用于根据训练样本对用于动态恶意流量分类的增量学习模型进行训练，得到t-1时刻训练好的增量学习模型，增量学习模型包括：流量特征转换模块、动态可扩展特征提取模块以及分类学习模块；流量特征转换模块用于将训练样本转换为基于特征的双向流，将双向流转换为图像格式的流量数据；动态可扩展特征提取模块包括：若干个特征提取器；动态可扩展特征提取模块用于从图像格式的流量数据中提取可扩展特征；分类学习模块用于根据可扩展特征进行预测，得到动态恶意流量分类结果；其中t为整数，t的初始值为2。
12、动态恶意流量分类模块，用于如果没有新类别数据到来时，则采用t-1时刻训练好的增量学习模型对网络流量数据进行分类，得到动态恶意流量分类结果。
13、动态可扩展特征模型训练模块，用于如果有新类别数据到来时，则从t-1时刻的训练样本中选择示例集，将所有新类别的数据和示例集组合，得到t时刻的训练样本；将构建的新特征提取器扩展到t-1时刻的动态可扩展特征提取模块上，构建t时刻动态可扩展特征提取模块，得到t时刻的增量学习模型；采用t时刻的训练样本对t时刻的增量学习模型进行训练，得到t时刻训练好的增量学习模型；将t的值增加1，继续判断是否有新类别数据到来，直到收到终止指令。
14、一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一方法的步骤。
15、上述用于动态恶意流量分类的增量学习方法、装置和电子设备，该方法构建了用于动态恶意流量分类的增量学习模型，该模型包括：用于将原始流量转换为图像格式的流量特征转换模块、用于从图像格式的数据中提取可扩展特征的动态可扩展特征提取模块、分类器学习模块；采用原始网络流量对增量学习模型进行初步训练；持续判断是否有新类别数据到来，如果有，则将新特征提取器扩展到现有动态可扩展特征提取模块，冻结现有动态可扩展特征提取模块，采用新类别数据和原训练样本的示例集对当前时刻增量学习模型进行训练；如果没有，则对网络流量数据进行分类。本方法在不忘记以前学到的旧知识的情况下逐步获得新知识，保持了高性能和稳定的持续学习能力。
本文档来自技高网...【技术保护点】
1.一种用于动态恶意流量分类的增量学习方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，采用t时刻的训练样本对t时刻的增量学习模型进行训练，得到t时刻训练好的增量学习模型，包括：
3.根据权利要求2所述的方法，其特征在于，将t时刻的训练样本输入到所述流量特征转换模块中，得到一组图像格式的流量数据，包括：
4.根据权利要求3所述的方法，其特征在于，对所述双向流进行过滤、剪裁后，得到预设格式的数据文件，包括：
5.根据权利要求3所述的方法，其特征在于，预设格式的数据文件为1*784格式的数据文件；1*784格式的数据文件由一系列十六进制字节组成；
6.根据权利要求2所述的方法，其特征在于，构建可扩展表示损失函数，所述可扩展表示损失函数为：
7.根据权利要求6所述的方法，其特征在于，所述可扩展表示损失函数为：
8.根据权利要求2所述的方法，其特征在于，分类学习模块包括：全连接层、Softmax激活函数；
9.一种用于动态恶意流量分类的增量学习装置，其特征在于，所述装
10.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法。
...【技术特征摘要】
1.一种用于动态恶意流量分类的增量学习方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，采用t时刻的训练样本对t时刻的增量学习模型进行训练，得到t时刻训练好的增量学习模型，包括：
3.根据权利要求2所述的方法，其特征在于，将t时刻的训练样本输入到所述流量特征转换模块中，得到一组图像格式的流量数据，包括：
4.根据权利要求3所述的方法，其特征在于，对所述双向流进行过滤、剪裁后，得到预设格式的数据文件，包括：
5.根据权利要求3所述的方法，其特征在于，预设格式的数据文件为1*784格式的数据文件；1*784...
【专利技术属性】
技术研发人员：张千桢，陈锐，郭得科，王晓东，罗来龙，任棒棒，李妍，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。