基于对抗生成DQN的网络加密流量威胁样本生成机制方法技术

本发明专利技术公开了基于对抗生成DQN的网络加密流量威胁样本生成机制方法，通过数据预处理，将原始网络加密流量数据包中的数据转换为对抗生成DQN威胁样本生成模型所需数据格式；将所得的数据输入到类别标注处理程序中进行类别标注；对网络加密流量威胁样本生成方法，将其分解为一系列模块，最后一步为输出生成的网络加密流量威胁样本数据；其中改进样本生成模块根据初始候选环境所相关的信息选择相应的下一步行动，然后再根据行动选择下一个和原始的网络加密流量数据相近的候选环境，将行动经验存入经验空间进行神经网络的训练学习，重复以上步骤直到改进样本生成模块能产生和原始的网络加密流量数据相似的网络加密流量威胁样本数据。样本数据。样本数据。

【技术实现步骤摘要】
基于对抗生成DQN的网络加密流量威胁样本生成机制方法


[0001]本专利技术涉及网络安全技术等领域，具体的说，是基于对抗生成DQN的网络加密流量威胁样本生成机制方法。

技术介绍

[0002]随着互联网技术的不断发展和应用需求的增长，许多互联网应用在数据传输过程中都选择对网络通信流量进行加密，经过这些加密方法后，网络流量数据包中的许多明文信息变得不再可见，传统的网络流量识别方法准确率不再如从前，加密方法的不断改进和发展，给网络流量识别方法带来了巨大的挑战，深度学习由于其较强的学习能力和广泛的适用性很快应用到了网络流量识别领域。
[0003]多层感知机是一种神经网络，由输入层、输出层和若干隐层神经元组成，每一层都有几个密集连接到相邻层的神经元，模型的网络结构如图1所示。神经元获取其输入数据的加权和，并通过非线性激活函数产生输出。由于多层感知机模型需要学习大量参数，该模型通常非常复杂、效率低下，并且难以针对复杂问题进行训练。目前网络流量识别领域已不再单独使用深度多层感知机，只将其中的几层全连接神经元用作其它模型的一小部分。对于识别网络加密流量中具有威胁特征的数据，多层感知器模型由于其复杂性而需要大量的网络加密流量威胁样本数据。
[0004]与多层感知机类似，卷积神经网络也由具有可学习参数的若干层神经元组成。由于多层感知机模型不能很好地处理高维输入，导致隐藏层中有大量参数，卷积神经网络模型通过使用卷积层解决了这个问题。卷积层使用一组具有少量参数的卷积核，在整个输入上使用相同的一组卷积核来产生下一层的输出。通过在一层中使用相同的卷积核集合，显著减少了参数的数量，使用卷积核还有助于模型具有平移不变性和旋转不变性，在一个或多个卷积层之后使用池化层进行采样，并在最后的隐藏层后连接一个全连接层。
[0005]循环神经网络是包含循环结构以存储序列信息的神经网络，循环神经网络专为序列数据设计，其输出数据不仅取决于最后一个输入数据，还取决于先前的输入数据。循环神经网络已成功应用于语音识别、时间序列预测、翻译和语言建模。梯度消失和梯度爆炸使得学习相距很远时间的输入之间的依赖性变弱是传统循环神经网络遇到的挑战，长短期循环神经网络通过添加一组控制何时存储或删除信息的门解决了这一问题。
[0006]自动编码器也是一种神经网络模型，与输入层和输出层相比，其隐藏层明显更小，模型的网络结构如图2所示，自动编码器的内部编码表示可用于数据压缩或维数减少。多层感知机、卷积神经网络和循环神经网络都可以用作自动编码器模型的一部分，自动编码器广泛用于初始化深层神经网络的权重。自动编码器有一些变体，例如去噪自动编码器，通过输入不完整的样本数据来训练以输出完整的输入样本，迫使模型具有更强的鲁棒性；以及变分自动编码器，为了从目标数据分布生成虚拟数据。更复杂的自动编码器结构称为堆叠式自动编码器，堆叠了多个自动编码器，其中每个自动编码器的输出都是下一个自动编码器的输入，整个模型以贪心的方法逐层进行训练。
[0007]使用深度学习进行网络加密流量样本识别，虽然可以解决传统网络流量识别方法遇到的很多问题，但仍存在一定的限制，如网络加密流量中特征不断发生改变；或网络加密流量数据集中类别不平衡，某种类别的网络加密流量数据数量是另一类别数据的几倍，使得识别模型为提高识别率将所有的小类别样本全部识别为大类别样本，使得模型没有较好的泛化性；只有通过不同的方法根据已有的网络加密流量数据生成尽可能相似的网络加密流量威胁样本数据，将网络加密流量威胁样本数据的数量进行增加，进而才能提升识别模型对网络加密流量威胁样本数据真正的识别率。

技术实现思路

[0008]本专利技术的目的在于提供基于对抗生成DQN的网络加密流量威胁样本生成机制方法，将对抗生成神经网络与DQN结合起来，充分利用对抗生成神经网络在小样本数据集生成方面的优势，结合DQN算法在行动决策优化上的长处。
[0009]本专利技术通过下述技术方案实现：基于对抗生成DQN的网络加密流量威胁样本生成机制方法，包括下述步骤：
[0010]1)通过数据预处理，将原始网络加密流量数据包中的数据转换为对抗生成DQN威胁样本生成模型所需数据格式；
[0011]2)将步骤1)所得的数据输入到类别标注处理程序中进行类别标注；
[0012]3)经步骤2)后，采用样本生成模块作为网络加密流量威胁样本数据生成的工具，基于当前的小样本网络加密流量数据生成网络加密流量威胁样本数据；
[0013]4)样本生成模块主要包含数据生成子模块及分辨子模块，数据生成子模块利用不同的噪声参数生成网络加密流量威胁样本数据，将生成的网络加密流量威胁样本数据和原始的网络加密流量数据一同再送入分辨子模块，分辨子模块对输入的数据进行特征提取，判断输入的数据是原始的网络加密流量数据还是生成的网络加密流量威胁样本数据，同时训练样本生成模块中的分辨子模块和数据生成子模块，直到两个子模块的损失函数趋近于稳定；
[0014]5)将原始的网络加密流量数据和生成的网络加密流量威胁样本数据一起输入到基于对抗生成DQN的改进样本生成模块进行训练学习，以不断探索和识别的机制与环境进行交互，通过最大化最终期望的奖励值实现尽可能相似的网络加密流量威胁样本数据的生成；
[0015]6)判断是否满足对抗生成DQN威胁样本生成模型训练学习结束条件，如果不满足则从步骤3)开始进行下一次训练和学习，重复多次训练继续生成不同的网络加密流量威胁样本数据，满足则检测完成并输出最终生成的网络加密流量威胁样本数据。
[0016]进一步的为更好地实现本专利技术所述的基于对抗生成DQN的网络加密流量威胁样本生成机制方法，特别采用下述设置方式：所述基于当前的小样本网络加密流量数据生成网络加密流量威胁样本数据，具体为：利用网络协议(如UDP、TCP、FTP或HTTP)、应用程序(如腾讯QQ、微信或浏览器)、流量类型(如浏览视频、下载文件或聊天)、交互网站、用户行为(如提交表单请求或发送消息)、操作系统、浏览器在内的已有网络加密流量数据包信息，动态生成网络加密流量威胁样本数据。
[0017]进一步的为更好地实现本专利技术所述的基于对抗生成DQN的网络加密流量威胁样本
生成机制方法，特别采用下述设置方式：所述基于当前的小样本网络加密流量数据生成网络加密流量威胁样本数据，其输入还包括以下输入特征：数据包的报头及时间序列、有效载荷、统计特征，由于时间序列特征几乎不受流量加密的影响，所以该特征被广泛应用到网络加密流量数据生成中；在网络加密流量数据中，包含协议握手信息的前几个数据包通常未加密，也被应用到网络加密流量数据生成；统计特征的数量及输入维度是有限的，根据生成的网络加密流量数据类型选择不同的统计特征。
[0018]进一步的为更好地实现本专利技术所述的基于对抗生成DQN的网络加密流量威胁样本生成机制方法，特别采用下述设置方式：所述数据生成子模块的起始位置连接有一个随机噪声生成器，其作用是生成一组随机的噪声参数，并和输入数据一起进行网络加密流量威胁样本数据的生成，然后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于对抗生成DQN的网络加密流量威胁样本生成机制方法，其特征在于：包括下述步骤：1)通过数据预处理，将原始网络加密流量数据包中的数据转换为对抗生成DQN威胁样本生成模型所需数据格式；2)将步骤1)所得的数据输入到类别标注处理程序中进行类别标注；3)经步骤2)后，采用样本生成模块作为网络加密流量威胁样本数据生成的工具，基于当前的小样本网络加密流量数据生成网络加密流量威胁样本数据；4)样本生成模块主要包含数据生成子模块及分辨子模块，数据生成子模块利用不同的噪声参数生成网络加密流量威胁样本数据，将生成的网络加密流量威胁样本数据和原始的网络加密流量数据一同再送入分辨子模块，分辨子模块对输入的数据进行特征提取，判断输入的数据是原始的网络加密流量数据还是生成的网络加密流量威胁样本数据，同时训练样本生成模块中的分辨子模块和数据生成子模块，直到两个子模块的损失函数趋近于稳定；5)将原始的网络加密流量数据和生成的网络加密流量威胁样本数据一起输入到基于对抗生成DQN的改进样本生成模块进行训练学习，以不断探索和识别的机制与环境进行交互，通过最大化最终期望的奖励值实现尽可能相似的网络加密流量威胁样本数据的生成；6)判断是否满足对抗生成DQN威胁样本生成模型训练学习结束条件，如果不满足则从步骤3)开始进行下一次训练和学习，重复多次训练继续生成不同的网络加密流量威胁样本数据，满足则检测完成并输出最终生成的网络加密流量威胁样本数据。2.根据权利要求1所述的基于对抗生成DQN的网络加密流量威胁样本生成机制方法，其特征在于：所述基于当前的小样本网络加密流量数据生成网络加密流量威胁样本数据，具体为：利用网络协议、应用程序、流量类型、交互网站、用户行为、操作系统、浏览器在内的已有网络加密流量数据包信息，动态生成网络加密流量威胁样本数据。3.根据权利要求1或2所述的基于对抗生成DQN的网络加密流量威胁样本生成机制方法，其特征在于：所述基于当前的小样本网络加密流量数据生成网络加密流量威胁样本数据，其输入还包括以下输入特征：数据包的报头及时间序列、有效载荷、统计特征。4.根据权利要求1所述的基于对抗生成DQN的网络加密流量威胁样本生成机制方法，其特征在于：所述数据生成子模块的起始位置连接有一个随机噪声生成器，其作用是生成一组随机的噪声参数，并和输入数据一起进行网络加密流量威胁样本数据的生成，然后数据生成子模块根据噪声参数和分辨子模块中输出的判断结果更新神经网络中各个神经元的参数，生成网络加密流量威胁样本数据。5.根据权利要求1或2所述的基于对抗生成DQN的网络加密流量威胁样本生成机制方法，其特征在于：所述分辨子模块是通过输入的原始网络加密流量数据训练出的网络结构，对...

【专利技术属性】
技术研发人员：杨进，梁炜恒，梁刚，朱云飞，陈晨，李果，
申请(专利权)人：四川大学，
类型：发明
国别省市：