一种网络异常检测方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种网络异常检测方法、装置及存储介质，属于网络安全领域。一种网络异常检测方法，包括以下步骤：定义正常节点时间序列特征与异常节点时间序列特征，利用网络模型学习正常节点时间序列特征分布；根据异常节点时间特征分布模型，优化正常节点时间特征分布；所述网络模型择一地为检测节点标记正常标签或异常标签；根据优化正常节点时间特征分布的结果以及定义的正常节点时间序列特征，评估所述正常标签的准确度；构建节点之间的关联子图，利用随机游走更新节点标签的准确度。

【技术实现步骤摘要】
一种网络异常检测方法、装置及存储介质
本专利技术涉及网络安全领域，具体涉及一种网络异常检测方法、装置及存储介质。
技术介绍
异常检测通过分析网络流量，检测出发起异常攻击的源节点(异常节点)，为从源头上抑制网络攻击行为提供重要依据，是维护网络安全的重要方法。传统的网络运维方法是基于固定的脚本和阈值的，因而难以适应如今海量、复杂、多变的大规模网络环境，无法根据网络态势动态调整阈值、发现异常节点。异常检测能够通过机器学习的方法，快速地从海量数据中发现与大多数正常数据不同的异常数据，已被广泛应用于多个领域。面对持续的、海量的网络流量，极少量的、变化多端的异常节点在大多数情况下表现正常、难以检测。
技术实现思路
针对现有技术的不足，本专利技术提出了一种网络异常检测方法、装置及存储介质。本专利技术的目的可以通过以下技术方案实现：一种网络异常检测方法，包括以下步骤：步骤1：定义正常节点时间序列特征与异常节点时间序列特征，利用网络模型学习正常节点时间序列特征分布；步骤2：根据异常节点时间特征分布模型，优化正常节点时间特征分布；所述网络模型择一地为检测节点标记正常标签或异常标签；步骤3：根据优化正常节点时间特征分布的结果以及定义的正常节点时间序列特征，评估所述正常标签的准确度；步骤4：构建节点之间的关联子图，利用随机游走更新节点标签的准确度。可选地，所述正常节点时间序列特征与异常节点时间序列特征具有相同尺寸的时间窗口。可选地，在所述步骤1中，所述网络模型训练捕获正常节点时间序列特征分布的生成器与能够将所述正常节点时间序列特征映射为生成器的数据组合，以及真实数据的组合，加入判别器中，获得能够捕获正常节点行为的训练模型。可选地，在所述步骤2中，根据所述异常节点时间序列特征组成的真实数据组合与所述生成器的数据组合，获得能够捕获异常节点行为的训练模型；将所述的能够捕获异常节点行为的训练模型与能够捕获正常节点行为的训练模型整合为目标函数。可选地，构建关联子图的步骤包括：根据历史数据集的发生攻击的节点连接关系，筛选异常节点；训练所述历史数据集的注意力模型，计算所述异常节点的时间间隙权重，提取时间间隙最大的连接关系，构建所述关联子图。可选地，通过编码器获得所述的能够将所述正常节点时间序列特征映射为生成器的数据。可选地，所述网络模型配置为采用长短记忆网络网络结构。可选地，所述游走的方式包括正向连接、反向连接与自连接。一种计算机可读的存储介质，存储有指令，执行所述指令时实现上述的任一网络异常检测方法一种网络异常检测装置，包括处理器与存储器，所述处理器能够执行所述存储器的指令，实现上述任一网络异常检测方法。本专利技术的技术效果：与现有技术相比，本申请的网络异常检测方法能够根据时间特征分布识别出异常节点，并能够评估节点的正常与异常的标签，进一步地提高识别的准确度。附图说明下面结合附图对本专利技术作进一步的说明。图1为本专利技术的一些示例中正常节点特征建模和标签清洗的迭代框架示意图；图2为本专利技术的一些示例的多步关联与多跳关联的示意图；图3为本专利技术的一些示例的潜在关联子图；图4为本专利技术的一些示例的多步关联与多跳关联的关联子图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。在本专利技术的一些示例中，公开了一种网络异常检测方法，由于待检测节点(或测试集中的节点)行为特征收集的时间比历史节点(或训练集中的节点)要短得多，因此，在本专利技术的一些示例中，可以划分统一的时间窗口长度，为节点ni构建在时间窗口t的时间序列特征(包含m维特征在w个时间间隙中的值)。同时，异常节点在未发动攻击的时间窗口中，其行为特征和正常节点是相同的，因而节点的标注也是基于时间窗口的，若节点ni在时间窗口t的时间序列中一个或多个时间间隙发动了攻击，则被标注为异常，即也就是说，由于待检测的节点行为特征收集的时间短，为了在新的时间窗口中及时、准确地识别出异常节点，也需要在训练的过程中将训练集中将准确的识别出来，并定义异常节点时间序列特征正常节点时间序列特征在本专利技术的一些示例中，利用对抗生成网络模型训练捕捉特征分布的生成器1和估计样本是否来自真实数据集的判别器4，在图1中以及下述的函数中均以D表示，最终得到能够重现正常节点特征分布的生成器1。在本专利技术的一些示例中，还增加了编码器2，训练到的编码器能够将特征矩阵X映射为生成器的输入Z，以缩小学习特征分布的总时间。用正常节点的特征向量Xu作为输入训练编码器2得到E(Xu)，将随机噪声Z加入生成器1生成G(Z)，最终将真实数据集的组合(E(Xu)，Xu)和来自生成器的组合(Z，G(Z))加入判别器4。生成器和判别器具有相反的目标，但却能够相互激励和促进，在对抗的过程中逐渐学习到了正常节点的模式特征。训练过程中的目标函数如下：其中，pNu为正常节点特征值的概率分布，意味着正常节点特征向量代入[.]求得的期望值。同样的，pz为随机噪声值的概率分布，意味着将随机噪声加入[.]求得的期望值。为了学习正常节点时间序列特征中特征随着时间的变化，本专利技术在网络结构中采用长短记忆网络(LongShort-TermMemory,LSTM)网络结构，利用它们内部的记忆能力处理时间序列，捕捉正常节点的行为模式。正常节点和异常节点在时间特征分布上存在明显差异，可用于指导正常节点时间序列特征的学习，在本专利技术的一些示例中，引入分类器3，在图1中以及下述的函数中均以C表示，学习异常节点时间序列特征分布，使得异常节点特征Xl组成的真实数据组合C(E(Xl),Xl)趋向于1，来自正常节点的生成器1构成的组合结果C(G(Z),Z)趋向于0，即：其中，pNl为异常节点特征值的概率分布，意味着异常节点特征向量代入[.]求得的期望值。需要注意的是，基于正常节点特征的生成器1和编码器2与异常节点的分布不同，所以这里生成器1和编码器2与分类器3不存在对抗关系。还可以将将异常节点特征分布学习的目标函数V(G,E,C)加入到对抗生成模型V(G,E,D)的训练中，即目标函数转化为αV(G,E,D)-βV(G,E,C)，可以进一步约束正常节点时间序列特征的学习过程，减小正常节点特征分布与已有异常节点特征分布的交集。这样，通过异常节点的特征辅助正常节点特征分布的学习，消除单一数据集带来的误差，提高正常节点特征学习的准确度。由于正常节点数目繁多且异常节点行为模式复杂多变，所以很可能存在着异常节点被错误地标注为“正常”，而由于异常节点可以参考具体的攻击行为或观察攻击造成的影响，所以我们假设异常节点被准确标注，本文档来自技高网...

【技术保护点】
1.一种网络异常检测方法，其特征在于，包括以下步骤：/n步骤1：定义正常节点时间序列特征与异常节点时间序列特征，利用网络模型学习正常节点时间序列特征分布；/n步骤2：根据异常节点时间特征分布模型，优化正常节点时间特征分布；所述网络模型择一地为检测节点标记正常标签或异常标签；/n步骤3：根据优化正常节点时间特征分布的结果以及定义的正常节点时间序列特征，评估所述正常标签的准确度；/n步骤4：构建节点之间的关联子图，利用随机游走更新节点标签的准确度。/n

【技术特征摘要】
1.一种网络异常检测方法，其特征在于，包括以下步骤：
步骤1：定义正常节点时间序列特征与异常节点时间序列特征，利用网络模型学习正常节点时间序列特征分布；
步骤2：根据异常节点时间特征分布模型，优化正常节点时间特征分布；所述网络模型择一地为检测节点标记正常标签或异常标签；
步骤3：根据优化正常节点时间特征分布的结果以及定义的正常节点时间序列特征，评估所述正常标签的准确度；
步骤4：构建节点之间的关联子图，利用随机游走更新节点标签的准确度。


2.根据权利要求1所述的网络异常检测方法，其特征在于，所述正常节点时间序列特征与异常节点时间序列特征具有相同尺寸的时间窗口。


3.根据权利要求1所述的网络异常检测方法，其特征在于，在所述步骤1中，所述网络模型训练捕获正常节点时间序列特征分布的生成器与能够将所述正常节点时间序列特征映射为生成器的数据组合，以及真实数据的组合，加入判别器中，获得能够捕获正常节点行为的训练模型。


4.根据权利要求3所述的网络异常检测方法，其特征在于，在所述步骤2中，根据所述异常节点时间序列特征组成的真实数据组合与所述生成器的数据组合，获得能够捕获异常节点行为的...

【专利技术属性】
技术研发人员：孟绪颖，梁志民，张玉军，
申请(专利权)人：网络通信与安全紫金山实验室，
类型：发明
国别省市：江苏;32