基于多阶段混合时空融合的网络流量异常检测方法及系统技术方案

本发明专利技术公开了一种基于多阶段时空融合的网络流量深度异常检测方法及系统，首先使用图注意力网络和门控时间卷积网络分别提取网络流量的时空特征，然后采用双仿射模块对时空特征进行深度融合，并提出了多阶段逐层传播机制来增强模型对原始数据的特征提取，提高模型的异常识别能力，再通过对自编码器采用对抗训练的方式来放大异常的重构误差，增加了双解码器对异常样本的区分能力。本发明专利技术有效的提高了模型的泛化能力和拟合能力，同时对中间潜变量特征表示运用K

【技术实现步骤摘要】
基于多阶段混合时空融合的网络流量异常检测方法及系统


[0001]本专利技术涉及网络流量异常检测
，具体涉及一种基于多阶段时空融合的网络流量深度异常检测方法及系统。

技术介绍

[0002]物联网充分利用了云或无线网络与其他设备交换数据的简洁和高效，一切都与互联网相连，如智能传感器、健身移动应用程序、恒温器、光伏系统和空调等，通过互联网连接节点、智能城市、系统、框架和传感器，实现通信、数据共享和控制。然而，最初设计时几乎没有安全机制的物联网设备却很容易被恶意用户(如攻击者)破坏，这可能导致恶意入侵。随着物联网设备与互联网的融合越来越深，物联网设备也越来越容易受到不法分子的攻击。例如网络攻击者通过僵尸网络病毒、蠕虫木马注入等方式袭击智能家居、智能电表等设备来获取用户的隐私数据；又或者攻击国家电网等重要基础设施，导致其无法正常工作，造成大面积范围停电，影响人们正常生活，并对相关电力设施造成永久性损害。因此，物联网系统和框架正在开发和实施多种防御机制和策略，以保护信息，但由于异构性、资源受限和连接性等问题，传统互联网企业的入侵检测系统可能因效率较低而不适合物联网系统。而且由于这些安全解决方案的复杂性、成本等原因，此类企业安全解决方案不适合部署在物联网环境中。网络流量异常检测通过对网络流量进行分析，检测出与正常流量明显不同的流量，因其不依赖于静态特征码，被看作检测未知新攻击的有效手段。
[0003]研究人员针对异常网络流量的检测提出了许多方案，主要包括基于传统机器学习的异常检测方法、基于深度学习的异常检测方法。传统机器学习的网络入侵检测方法，通常需要较高的存储和计算资源，且这些方法依赖于手工设计的流量识别特征，导致这类方法的准确性和推广能力受到限制。另一方面由于现在网络攻击更加隐蔽，恶意通信量和可以捕获的威胁检测样本相对较少，很容易导致模型的学习过程太短和训练不足，使得传统的网络入侵检测方法具有较低准确率和较高虚警率。而深度学习网络入侵检测方法能够有效处理大规模网络流量数据，相较于传统机器学习方法，深度学习具备更强的表征性能，可有效提升网络流量异常检测的效率及准确率，使基于深度学习的网络流量异常检测成为当前网络攻击的有效防护手段。但现有的网络流量异常检测大多不考虑网络流量之间的时空关系或者仅对学习到的时空关系进行简单的拼接，这忽略了非相邻时空信息之间的深层联系，并且仅使用简单的方法来合并时空信息不利于获得长期的深度时空依赖。

技术实现思路

[0004]针对上述现有技术的不足，本专利技术提供一种基于多阶段时空融合的网络流量深度异常检测方法及系统，首先使用图注意力网络和门控时间卷积网络分别提取网络流量的时空特征，然后采用双仿射模块对时空特征进行深度融合，并提出了多阶段逐层传播机制来增强模型对原始数据的特征提取，提高模型的异常识别能力，再通过对自编码器采用对抗训练的方式来放大异常的重构误差，增加了双解码器对异常样本的区分能力，有效的提高
了模型的泛化能力和拟合能力，同时对中间潜变量特征表示运用K
‑
means算法进行特征聚类，将特征与簇心的最大距离作为判断异常的标准之一，有效的减少了模型的虚警率。
[0005]为实现上述技术目的，本专利技术采取的技术方案为：
[0006]一种基于多阶段混合时空融合的网络流量异常检测方法，所述网络流量异常检测方法包括以下步骤：
[0007]S1，对生成的网络流量数据中的离散型特征进行One
‑
hot编码将其转换为数值型特征，采用最小
‑
最大归一化方法对网络流量特征进行归一化处理，采用图注意力神经网络捕获网络流量特征之间的相关性，提取得到网络流量数据的空间特征；
[0008]S2，使用门控时间卷积网络的因果扩张卷积机制从不同时间层次捕获网络流量的时间依赖性和频率特征，采用多层堆叠的门控时间卷积网络自适应地选择相应信息传递给下一层，多层堆叠的门控时间卷积网络由叠加的门控时间卷积层和输出层组成，门控时间卷积网络由两个并行的时间卷积层组成，提取得到网络流量数据的时间特征；
[0009]S3，采用双仿射模块对网络流量数据的空间特征和时间特征进行时空信息深度融合，将融合的信息按序传递给后续单元，将经过逐层传播和双仿射变换的时空信息合并生成最终时空特征表示，并通过门控循环单元网络对最终时空特征表示进行编码生成潜变量；
[0010]S4，在重构阶段解码器通过对潜变量进行重构得到当前时间戳的重构值，通过计算重构值与当前时间戳的真实值的差异进行异常诊断，对双编码器模型进行训练；
[0011]S5，在异常检测阶段利用训练好的双编码器模型重构测试数据得到重构得分，并对低维潜在表示进行聚类得到聚类中心，计算测试集低维潜在表示与聚类中心的最大距离得分，结合重构得分来判断时间序列中任意一个时间戳为异常的可能性，实现网络流量异常检测。
[0012]进一步地，步骤S1中，提取得到网络流量数据的空间特征的过程包括以下步骤：
[0013]S11，基于分组特征、基于流特征和基于内容特征提取得到原始物联网络流量中的包含协议、服务和状态在内的离散型特征，采用One
‑
hot编码将离散型特征转换为数值型特征；
[0014]S12，采用最小
‑
最大归一化方法对网络流量特征的每个维度进行归一化处理：
[0015][0016]其中，min(S
train
)和max(S
train
)分别是网络流量数据集中训练集的最大值和最小值，表示归一化处理后的网络流量数据；
[0017]S13，通过长度为N的滑动窗口生成固定长度的输入，表示为Wt＝{x
t
‑
N+1
，
…
，x
t
‑1，x
t
}，x
t
表示第t个时间戳的数据；将网络流量多元时间序列视为一个完全图，其中每个节点代表某个特征，每条边表示两个对应特征之间的关系，通过图注意力神经网络来捕捉相邻节点之间的关系，其中每个节点可以用一个序列向量s
i
＝{s
i，n
|n∈[0，N)}表示，总共有K个节点；式中，N是滑动窗口大小，K为多元时间序列特征的总数，s
i，n
表示节点i在滑动窗口中第n个数据；图注意力网络计算每个节点特征表示为：
[0018][0019]其中，表示每个节点i的输出表示，与节点i序列向量s
i
有相同的形状；σ表示sigmoid激活函数；α
ij
表示注意力得分，用来衡量节点i和相邻节点j直接的相关性，J表示节点i的相邻节点个数；注意力得分α
ij
表示为：
[0020][0021][0022]式中，表示两个节点的拼接；是可学习的列向量，其中N是滑动窗口大小，exp表示以自然常数e为底的指数函数，LeakyReLU是非线性激活函数，s
i
和s
...

【技术保护点】

【技术特征摘要】
1.一种基于多阶段混合时空融合的网络流量异常检测方法，其特征在于，所述网络流量异常检测方法包括以下步骤：S1，对生成的网络流量数据中的离散型特征进行One
‑
hot编码将其转换为数值型特征，采用最小
‑
最大归一化方法对网络流量特征进行归一化处理，采用图注意力神经网络捕获网络流量特征之间的相关性，提取得到网络流量数据的空间特征；S2，使用门控时间卷积网络的因果扩张卷积机制从不同时间层次捕获网络流量的时间依赖性和频率特征，采用多层堆叠的门控时间卷积网络自适应地选择相应信息传递给下一层，多层堆叠的门控时间卷积网络由叠加的门控时间卷积层和输出层组成，门控时间卷积网络由两个并行的时间卷积层组成，提取得到网络流量数据的时间特征；S3，采用双仿射模块对网络流量数据的空间特征和时间特征进行时空信息深度融合，将融合的信息按序传递给后续单元，将经过逐层传播和双仿射变换的时空信息合并生成最终时空特征表示，并通过门控循环单元网络对最终时空特征表示进行编码生成潜变量；S4，在重构阶段解码器通过对潜变量进行重构得到当前时间戳的重构值，通过计算重构值与当前时间戳的真实值的差异进行异常诊断，对双编码器模型进行训练；S5，在异常检测阶段利用训练好的双编码器模型重构测试数据得到重构得分，并对低维潜在表示进行聚类得到聚类中心，计算测试集低维潜在表示与聚类中心的最大距离得分，结合重构得分来判断时间序列中任意一个时间戳为异常的可能性，实现网络流量异常检测。2.根据权利要求1所述的基于多阶段混合时空融合的网络流量异常检测方法，其特征在于，步骤S1中，提取得到网络流量数据的空间特征的过程包括以下步骤：S11，基于分组特征、基于流特征和基于内容特征提取得到原始物联网络流量中的包含协议、服务和状态在内的离散型特征，采用One
‑
hot编码将离散型特征转换为数值型特征；S12，采用最小
‑
最大归一化方法对网络流量特征的每个维度进行归一化处理：其中，min(S
train
)和max(S
train
)分别是网络流量数据集中训练集的最大值和最小值，表示归一化处理后的网络流量数据；S13，通过长度为N的滑动窗口生成固定长度的输入，表示为Wt＝{x
t
‑
N+1
，
…
，x
t
‑1，x
t
}，x
t
表示第t个时间戳的数据；将网络流量多元时间序列视为一个完全图，其中每个节点代表某个特征，每条边表示两个对应特征之间的关系，通过图注意力神经网络来捕捉相邻节点之间的关系，其中每个节点可以用一个序列向量s
i
＝{s
i，n
|n∈[0，N)}表示，总共有K个节点；式中，N是滑动窗口大小，K为多元时间序列特征的总数，s
i，n
表示节点i在滑动窗口中第n个数据；图注意力网络计算每个节点特征表示为：其中，表示每个节点i的输出表示，与节点i序列向量s
i
有相同的形状；σ表示sigmoid激活函数；α
ij
表示注意力得分，用来衡量节点i和相邻节点j直接的相关性，J表示节点i的相邻节点个数；注意力得分α
ij
表示为：
式中，表示两个节点的拼接；是可学习的列向量，其中N是滑动窗口大小，exp表示以自然常数e为底的指数函数，LeakyReLU是非线性激活函数，s
i
和s
j
分别表示节点i序列向量和节点j序列向量。3.根据权利要求1所述的基于多阶段混合时空融合的网络流量异常检测方法，其特征在于，步骤S2中，提取得到网络流量数据的时间特征的过程包括以下步骤：使用门控时间卷积网络的因果扩张卷积机制从不同时间层次捕获网络流量的时间依赖性和频率特征，扩张因子表示为：D＝{20，21，...，2
d
‑1}式中，第d
‑
1层的时间卷积网络的扩张因子为2
d
‑1，因果扩张卷积表示为：其中，F(t)为t时刻的数据输出，f(m)表示第m个滤波器，x
t
‑
D
·
m
为第t
‑
D
·
m个时间戳的数据输入，D为扩张因子，与网络层数成指数关系，M为滤波器的大小；TCN运算表示为：其中，TCN(x
t
)表示第t个时间戳的数据x
t
记过TCN变化后的输出，表示时间卷积网络内部的一系列因果扩张卷积和激活函数组成的运算，ReLU表示激活函数；采用多层堆叠的门控时间卷积网络自适应地选择相应信息传递给下一层，通过残差连接和跳跃连接来避免模型训练时的梯度消失和过拟合问题，门控时间卷积网络公式表示为：为：其中，θ1、θ2、b1和b2为TCN模型参数，是元素乘积，g是输出的激活函数，σ是sigmoid函数用来决定保留到下一层的信息的比例，W是线性层的权重，b是线性层的偏置，x
t
表示第t个时间戳的数据，表示单层门控时间卷积网络的输出，表示多层堆叠门控时间卷积网络最终输出。4.根据权利要求1所述的基于多阶段混合时空融合的网络流量异常检测方法，其特征在于，步骤3中，基于逐层传播和双仿射变换的时空特征融合的过程包括以下步骤：采用双仿射变换对时空信息之间进行特征交换，并将交换后的特征作为初始分别输入到下个时空融合单元的图注意力网络和时间卷积网络中，通过多层时空融合单元之间的逐层传播机制实现特征之间的深度融合，双仿射变换如下：层传播机制实现特征之间的深度融合，双仿射变换如下：其中，和分别是第1层时间卷积网络模型和图注意力网络模型经过双仿射模块的输出，W1和W2是可学习的权重矩阵，通过和之间多次逐层传播双仿射操作，实
现时空特征深度融合；将经过逐层传播和双仿射变换的时空信息合并生成最终时空特征表示并通过门控循环单元网络对特征进行编码生成最终潜变量z：其中，z
t
表示第t个时间戳最终生成的潜变量，h
t
‑1表示门控循环单元在第t
‑
1个时间戳生成的隐藏状态，表示经过多层时空融合的在第t个时间戳的输出。5.根据权利要...

【专利技术属性】
技术研发人员：胡游君，刘金锁，邱玉祥，刘军，邹徐熹，沈耀威，顾亚林，李马峰，张俊杰，邱文元，施健，刘皓，谢伟，唐跃中，张王俊，卢士达，张露维，冯天波，何旭东，卲佳炜，王虹岚，时宽治，李静，羊麟威，
申请(专利权)人：国网电力科学研究院有限公司国网上海市电力公司南京航空航天大学国家电网有限公司，
类型：发明
国别省市：