一种异常流量检测方法、系统和存储介质技术方案

本发明专利技术涉及一种异常流量检测方法、系统和存储介质，所述方法包括：对原始流量样本数据集进行预处理，得到并对第一流量样本数据集进行数据降维，得到第二流量样本数据集；采用预设检测模型对第二流量样本数据集进行迭代训练，得到目标检测模型；根据待检测流量数据和目标异常流量检测模型，生成待检测流量数据的检测结果。本发明专利技术通过迭代训练的方式最小化了检测模型的损失函数，通过联合数据降维和密度估计进行约束训练，消除了训练目标不一致的问题，提高了异常流量检测的精准性。提高了异常流量检测的精准性。提高了异常流量检测的精准性。

【技术实现步骤摘要】
一种异常流量检测方法、系统和存储介质


[0001]本申请涉及网络安全
，尤其涉及一种异常流量检测方法、系统和存储介质。

技术介绍

[0002]互联网的高速发展不仅给网络用户带来了极大地便捷，同时也带来了许多的安全威胁。端口扫描、SQL注入攻击、分布式拒绝服务(Distributed Denial of Service，DDoS)攻击、APT等网络恶意攻击产成的异常流量使得网络产生异常甚至崩溃，最终无法对外提供正常服务。网络流量是网络信息交互和传输的载体，对其进行精准的检测成为了网络安全的重要环节。网络异常流量检测通过对网络流量进行分析，可尽早地检测出网络中是否存在破坏或攻击行为，为网络安全管理提供决策依据，并且对于保证网络整体正常运行和维护整个网络空间安全起到了重要的保障作用。
[0003]随着人工智能和大数据技术的发展，机器学习在网络异常流量检测领域内发挥着越来越重要的作用。从数据有无标签的概念分，机器学习算法可分为无监督学习和监督学习，考虑到实际生活中网络流量大多是无标签数据，因此无监督学习具有更好的应用前景。传统的无监督异常检测方法可以分成三种：基于重构的方法、One
‑
Class分类、聚类分析，但其应用于网络异常流量检测领域依然存在着一些问题，比如网络流量高维数据特征学习不全面、两阶段训练优化目标不一致等问题。

技术实现思路

[0004]为解决上述技术问题，本专利技术提供了一种异常流量检测方法、系统和存储介质。
[0005]本专利技术的一种异常流量检测方法的技术方案如下：
[0006]S1、对原始流量样本数据集进行预处理，得到并对第一流量样本数据集进行数据降维，得到第二流量样本数据集；
[0007]S2、采用预设检测模型对所述第二流量样本数据集进行迭代训练，得到目标检测模型；
[0008]S3、根据待检测流量数据和所述目标异常流量检测模型，生成所述待检测流量数据的检测结果。
[0009]本专利技术的一种异常流量检测方法的有益效果如下：
[0010]本专利技术的方法通过对原始流量样本数据集进行数据降维并采用预设检测模型进行迭代训练，得到并根据目标检测模型对待检测流量数据进行检测，得到检测结果。本专利技术的方法根据迭代训练的方式最小化了检测模型的损失函数，通过联合数据降维和密度估计进行约束训练，消除了训练目标不一致的问题，提高了异常流量检测的精准性。
[0011]在上述方案的基础上，本专利技术的一种异常流量检测方法还可以做如下改进。
[0012]进一步，所述原始流量样本数据集为：原始数字特征数据集和原始符号特征数据集，所述第一流量样本数据集为：第一数字特征数据集和第二数字特征数据集；
[0013]所述对原始流量样本数据集进行预处理，得到第一流量样本数据集，具体包括：
[0014]采用one
‑
hot编码对所述原始符号特征数据集中的每一原始符号特征数据进行转化，得到所述第一数字特征数据集；
[0015]采用最大最小归一化法对所述原始数字特征数据集中的每一原始数字特征数据进行处理，得到所述第二数字特征数据集。
[0016]进一步，所述对第一流量样本数据集进行数据降维，得到第二流量样本数据集，具体包括：
[0017]采用卷积自编码器对所述第一流量样本数据集中的每一流量样本数据进行低维特征提取，得到压缩编码数据集；
[0018]对所述第一流量样本数据集中的每一流量样本数据进行数据重构，得到重构流量样本数据集，并根据所述重构流量样本数据集与所述第一流量样本数据集，得到重构误差数据集；
[0019]将所述压缩编码数据集和所述重构误差数据集通过append进行连接，得到所述第二流量样本数据集。
[0020]进一步，所述重构误差数据集包括：相对欧几里得距离误差和余弦相似度误差；
[0021]所述根据所述重构流量样本数据集与所述第一流量样本数据集，得到重构误差数据集，具体包括：
[0022]根据所述重构流量样本数据集、所述第一流量样本数据集和第一预设计算公式，得到所述相对欧几里得距离误差；
[0023]根据所述重构流量样本数据集、所述第一流量样本数据集和第二预设计算公式，得到所述余弦相似度误差；
[0024]将所述相对欧几里得距离误差和所述余弦相似度误差进行连接，得到所述重构误差数据集；
[0025]其中，所述第一预设计算公式为：所述第二预设计算公式为：为所述相对欧几里得距离误差，为所述余弦相似度误差，x为所述第一流量样本数据集，为所述重构流量样本数据集，x
i
为所述第一流量样本数据集中第i个流量样本数据，为所述所述重构流量样本数据集中第i个重构流量样本数据，且与x
i
为同一流量样本数据重构前后的样本数据，N为所述第一流量样本数据集中的流量样本数据的总数量。
[0026]进一步，所述预设检测模型包括：预设多层神经网络模型和预设高斯混合模型；
[0027]所述S2具体包括：
[0028]S21、采用所述预设多层神经网络计算所述第二流量样本数据集在所述预设高斯混合模型中的多个子分布概率；
[0029]S22、依次利用所述第二流量样本数据集和每个子分布概率，得到并根据每个子分布的混合概率均值和协方差生成第一高斯混合模型；
[0030]S23、采用所述第一高斯混合模型作为所述预设高斯混合模型，并返回执行S21，直
至所述第一高斯混合模型中的参数达到收敛时，根据所述第一高斯混合模型得到所述目标检测模型。
[0031]进一步，所述预设检测模型还包括：预设损失函数；所述第一高斯混合模型中的参数达到收敛时，根据所述第一高斯混合模型得到所述目标检测模型，具体包括：所述第一高斯混合模型中的所述预设损失函数达到收敛时，根据所述第一高斯混合模型得到所述目标检测模型；
[0032]其中，所述预设损失函数为：其中，所述预设损失函数为：J(θ
e
，θ
d
，θ
m
)为所述预设损失函数，θ
e
为所述卷积自编码器的编码器参数，θ
d
为所述卷积自编码器的解码器参数，θ
m
为所述预设高斯混合模型参数，λ1为所述预设检测模型的第一元参数，、λ2为所述预设检测模型的第二元参数，
[0033]其中，E(z
i
)为所述预设高斯混合模型对应的能量值函数，)为所述预设高斯混合模型对应的能量值函数，E(z
i
)为所述第二流量样本数据集中第i个流量样本数据的能量值；流量样本数据的能量值；p＝MLN(z；θ
m
)，z为所述第二流量样本数据集。
[0034]进一步，所述S3具体包括：
[0035]S31、根据所述待检测流量数据和所述目标检测模型中的能量值函数，得到检测能量值；
[0036]S32、判断所述检测能量值是否大于判别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异常流量检测方法，其特征在于，包括：S1、对原始流量样本数据集进行预处理，得到并对第一流量样本数据集进行数据降维，得到第二流量样本数据集；S2、采用预设检测模型对所述第二流量样本数据集进行迭代训练，得到目标检测模型；S3、根据待检测流量数据和所述目标异常流量检测模型，生成所述待检测流量数据的检测结果。2.根据权利要求1所述的异常流量检测方法，其特征在于，所述原始流量样本数据集为：原始数字特征数据集和原始符号特征数据集，所述第一流量样本数据集为：第一数字特征数据集和第二数字特征数据集；所述对原始流量样本数据集进行预处理，得到第一流量样本数据集，具体包括：采用one
‑
hot编码对所述原始符号特征数据集中的每一原始符号特征数据进行转化，得到所述第一数字特征数据集；采用最大最小归一化法对所述原始数字特征数据集中的每一原始数字特征数据进行处理，得到所述第二数字特征数据集。3.根据权利要求1所述的异常流量检测方法，其特征在于，所述对第一流量样本数据集进行数据降维，得到第二流量样本数据集，具体包括：采用卷积自编码器对所述第一流量样本数据集中的每一流量样本数据进行低维特征提取，得到压缩编码数据集；对所述第一流量样本数据集中的每一流量样本数据进行数据重构，得到重构流量样本数据集，并根据所述重构流量样本数据集与所述第一流量样本数据集，得到重构误差数据集；将所述压缩编码数据集和所述重构误差数据集通过append进行连接，得到所述第二流量样本数据集。4.根据权利要求3所述的异常流量检测方法，其特征在于，所述重构误差数据集包括：相对欧几里得距离误差和余弦相似度误差；所述根据所述重构流量样本数据集与所述第一流量样本数据集，得到重构误差数据集，具体包括：根据所述重构流量样本数据集、所述第一流量样本数据集和第一预设计算公式，得到所述相对欧几里得距离误差；根据所述重构流量样本数据集、所述第一流量样本数据集和第二预设计算公式，得到所述余弦相似度误差；将所述相对欧几里得距离误差和所述余弦相似度误差进行连接，得到所述重构误差数据集；其中，所述第一预设计算公式为：所述第二预设计算公式为：式为：为所述相对欧几里得距离误
差，为所述余弦相似度误差，x为所述第一流量样本数据集，为所述重构流量样本数据集，x
i
为所述第一流量样本数据集中第i个流量样本数据，为所述所述重构流量样本数据集中第i个重构流量样本数据，且与x
i
为同一流量样本数据重构前后的样本数据，N为所述第一流量样本数据集中的流量样本数据的总数量。5.根据权利要求1所述的异常流量检测方法，其特征在于，所述预设检测模型包括：预设多层神经网络模型和预设高斯混合模型；所述S2具体包括：S21、采用所述预设多层神经网络计算所述第二流量样本数据集在所述预设高斯混合模型中的多个子分布概率；S22、依次利用所述第二流量样本数据集和每个子分布概率，得...

【专利技术属性】
技术研发人员：赵经宇，温嘉骏，王金梅，
申请(专利权)人：南京国腾创兴科技有限公司，
类型：发明
国别省市：