一种基于多模型融合的分级网络流量异常检测方法及系统技术方案

本发明专利技术公开了一种基于多模型融合的分级网络流量异常检测方法及系统，通过设置多层网络流量异常检测模型，实现了分级筛选的效果，将检测过程分为多个阶段，依复杂度逐级提升，从而确保检测的高效和实时性，同时，通过将第一异常网络流量数据、第二异常网络流量数据和第三异常网络流量数据进行比对，得到最终的异常网络流量数据，能够保证网络异常数据检测的准确性。准确性。准确性。

【技术实现步骤摘要】
一种基于多模型融合的分级网络流量异常检测方法及系统


[0001]本专利技术涉及网络流量异常检测
，尤其涉及一种基于多模型融合的分级网络流量异常检测方法及系统。

技术介绍

[0002]随着网络技术的发展，网络流量的数据量和复杂性都在不断增加，网络流量异常检测是网络安全中的一个重要问题，传统的基于规则或者统计的异常检测方法在处理大规模和复杂的网络流量数据时面临很多问题，因此，人们开始探索使用更复杂和强大的方法，如机器学习和深度学习等，来进行网络流量异常检测，现有技术包括基于多模型融合的流式并行异常检测方法、采用多阶段异常检测框架进行异常检测和基于深度学习的异常检测方法，然而，现有技术存在以下缺陷：
[0003]基于多模型融合的流式并行异常检测方法虽然可以处理大量的数据流，但是由于其复杂性，它依赖于强大的硬件支持和专业的技术团队，例如，需要大量的处理器和内存来执行并行计算，还需要精通大数据平台(如Hadoop)的人员来管理和调优，此外，这种方法中使用的黑名单匹配检测方式可能无法及时适应新出现的网络流量异常模式，当遇到未曾见过的异常流量(也就是未被列入黑名单的)时，该方法可能会失效；
[0004]多阶段异常检测框架进行异常检测主要的问题是它可能未能充分利用各种异常检测方法的优势，例如，它可能只是简单地把基于规则的方法和机器学习方法并列使用，而没有充分考虑这些方法之间的相互关系和作用，这样的话，它可能会错过一些只有在结合使用多种方法时才能检测出的异常流量。此外，这种框架可能忽视了基于行为分析的方法；/>[0005]基于深度学习的异常检测方法主要问题是它们通常需要大量的标记数据，在网络流量异常检测中，获取标记数据通常很困难，因为需要专业的网络安全分析师去判断每一条网络流量是否异常，并对其进行标记，此外，深度学习方法通常需要高性能的计算资源，例如GPU，来进行模型训练和推理，这可能会增加部署和运行的成本，当数据稀疏或者标记数据难以获得的情况下，这些方法可能效果并不理想。

技术实现思路

[0006]有鉴于此，本专利技术提出一种基于多模型融合的分级网络流量异常检测方法及系统，可以有效解决现有技术存在的缺陷。
[0007]本专利技术的技术方案是这样实现的：
[0008]一种基于多模型融合的分级网络流量异常检测方法，具体包括：
[0009]构建网络流量数据集；
[0010]设置多层网络流量异常检测模型，其中，所述多层网络流量异常检测模型包括初步筛选模型、二次检测模型和深度检测模型；
[0011]将网络流量数据集输入初步筛选模型进行初步检测，得到第一异常网络流量数据；
[0012]将网络流量数据集输入二次检测模型进行二次检测，得到第二异常网络流量数据；
[0013]将网络流量数据集输入深度检测模型进行检验，得到第三异常网络流量数据；
[0014]将第一异常网络流量数据、第二异常网络流量数据和第三异常网络流量数据进行比对，得到最终的异常网络流量数据。
[0015]作为所述基于多模型融合的分级网络流量异常检测方法的进一步可选方案，所述构建网络流量数据集，具体包括：
[0016]依据网络嗅探工具或网络流量监控系统收集网络流量数据；
[0017]对网络流量数据进行预处理，得到网络流量数据集。
[0018]作为所述基于多模型融合的分级网络流量异常检测方法的进一步可选方案，所述将网络流量数据集输入初步筛选模型进行初步检测，得到第一异常网络流量数据，具体包括：
[0019]依据异常检测函数对网络流量数据集进行检测，得到网络流量数据为异常网络流量数据的概率；
[0020]对异常网络流量数据的概率进行平滑和过滤处理，得到可能存在异常的网络流量数据。
[0021]作为所述基于多模型融合的分级网络流量异常检测方法的进一步可选方案，所述将网络流量数据集输入二次检测模型进行二次检测，得到第二异常网络流量数据，具体包括：
[0022]将网络流量数据集输入基于多层注意力机制的深度神经网络模型进行检测，得到携带布尔变量的网络流量数据；
[0023]将携带布尔变量的网络流量数据进行汇总，得到第二异常网络流量数据。
[0024]作为所述基于多模型融合的分级网络流量异常检测方法的进一步可选方案，所述将网络流量数据集输入深度检测模型进行检验，得到第三异常网络流量数据，具体包括：
[0025]将网络流量数据集输入深度检测模型中，得到网络流量数据的分数值；
[0026]将网络流量数据的分数值与预设的异常分数阈值进行比较，得到第三异常网络流量数据。
[0027]作为所述基于多模型融合的分级网络流量异常检测方法的进一步可选方案，所述方法还包括评估步骤，具体包括：
[0028]依据评估函数对得到最终的异常网络流量数据进行评估，得到评估结果；
[0029]依据评估结果对多层网络流量异常检测模型进行调整。
[0030]一种基于多模型融合的分级网络流量异常检测系统，包括：
[0031]构建模块，用于构建网络流量数据集；
[0032]设置模块，用于设置多层网络流量异常检测模型，其中，所述多层网络流量异常检测模型包括初步筛选模型、二次检测模型和深度检测模型；
[0033]初步检测模块，用于将网络流量数据集输入初步筛选模型进行初步检测，得到第一异常网络流量数据；
[0034]二次检测模块，用于将网络流量数据集输入二次检测模型进行二次检测，得到第二异常网络流量数据；
[0035]深度检测模块，用于将网络流量数据集输入深度检测模型进行检验，得到第三异常网络流量数据；
[0036]比对模块，用于将第一异常网络流量数据、第二异常网络流量数据和第三异常网络流量数据进行比对，得到最终的异常网络流量数据。
[0037]作为所述基于多模型融合的分级网络流量异常检测系统的进一步可选方案，所述构建模块包括：
[0038]收集模块，用于依据网络嗅探工具或网络流量监控系统收集网络流量数据；
[0039]预处理模块，用于对网络流量数据进行预处理，得到网络流量数据集。
[0040]作为所述基于多模型融合的分级网络流量异常检测系统的进一步可选方案，所述初步检测模块包括：
[0041]异常检测函数检测模块，用于依据异常检测函数对网络流量数据集进行检测，得到网络流量数据为异常网络流量数据的概率；
[0042]平滑过滤处理模块，用于对异常网络流量数据的概率进行平滑和过滤处理，得到可能存在异常的网络流量数据；
[0043]所述二次检测模块包括：
[0044]深度神经网络模型，用于将网络流量数据集输入基于多层注意力机制的深度神经网络模型进行检测，得到携带布尔变量的网络流量数据；
[0045]汇总模块，用于将携带布尔变量的网络流量数据进行汇总，得到第二异常网络流量数据；
[0046]所述深度检测模块包括：
[0047]分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模型融合的分级网络流量异常检测方法，其特征在于，具体包括：构建网络流量数据集；设置多层网络流量异常检测模型，其中，所述多层网络流量异常检测模型包括初步筛选模型、二次检测模型和深度检测模型；将网络流量数据集输入初步筛选模型进行初步检测，得到第一异常网络流量数据；将网络流量数据集输入二次检测模型进行二次检测，得到第二异常网络流量数据；将网络流量数据集输入深度检测模型进行检验，得到第三异常网络流量数据；将第一异常网络流量数据、第二异常网络流量数据和第三异常网络流量数据进行比对，得到最终的异常网络流量数据。2.根据权利要求1所述的一种基于多模型融合的分级网络流量异常检测方法，其特征在于，所述构建网络流量数据集，具体包括：依据网络嗅探工具或网络流量监控系统收集网络流量数据；对网络流量数据进行预处理，得到网络流量数据集。3.根据权利要求2所述的一种基于多模型融合的分级网络流量异常检测方法，其特征在于，所述将网络流量数据集输入初步筛选模型进行初步检测，得到第一异常网络流量数据，具体包括：依据异常检测函数对网络流量数据集进行检测，得到网络流量数据为异常网络流量数据的概率；对异常网络流量数据的概率进行平滑和过滤处理，得到可能存在异常的网络流量数据。4.根据权利要求3所述的一种基于多模型融合的分级网络流量异常检测方法，其特征在于，所述将网络流量数据集输入二次检测模型进行二次检测，得到第二异常网络流量数据，具体包括：将网络流量数据集输入基于多层注意力机制的深度神经网络模型进行检测，得到携带布尔变量的网络流量数据；将携带布尔变量的网络流量数据进行汇总，得到第二异常网络流量数据。5.根据权利要求4所述的一种基于多模型融合的分级网络流量异常检测方法，其特征在于，所述将网络流量数据集输入深度检测模型进行检验，得到第三异常网络流量数据，具体包括：将网络流量数据集输入深度检测模型中，得到网络流量数据的分数值；将网络流量数据的分数值与预设的异常分数阈值进行比较，得到第三异常网络流量数据。6.根据权利要求5所述的一种基于多模型融合的分级网络流量异常检测方法，其特征在于，所述方法还包括评估步骤，具体包括：依据评估函数对得到最终的异常网络流量数据进行评估，得到评估结果；依据评估结果对多层...

【专利技术属性】
技术研发人员：邱然，马晓亮，张峰玮，
申请(专利权)人：广州广大通电子科技有限公司，
类型：发明
国别省市：