基于流量交互图的隐蔽恶意流量检测方法和装置制造方法及图纸

本发明专利技术公开了基于流量交互图的隐蔽恶意流量检测方法和装置，其中，该方法包括：通过工作在网关的检测系统监听通过所述网关的流量；对监听到的流量进行数据包粒度的特征抽取，得到数据包粒度特征；根据数据包粒度特征构建流量交互图，利用流量交互图的图结构表示流量的长期交互模式；基于流量交互图，通过图学习的检测算法检测流量交互图上的异常局部结构，并将异常局部结构标记为对应的隐蔽恶意流量。本发明专利技术具有检测吞吐高、低时延、高精度等优点，在兼顾计算开销和存储开销的同时，保证了在高带宽的场景下的实时隐蔽恶意流量自动识别。宽的场景下的实时隐蔽恶意流量自动识别。宽的场景下的实时隐蔽恶意流量自动识别。

Hidden malicious traffic detection method and device based on traffic interaction graph

【技术实现步骤摘要】
基于流量交互图的隐蔽恶意流量检测方法和装置


[0001]本专利技术涉及网络安全
，尤其涉及一种基于流量交互图的隐蔽恶意流量检测方法和装置。

技术介绍

[0002]近几年，网络安全、互联网安全建设在国家安全建设当中的重要地位。然而，每年都有大量的新型网络攻击被提出，这些新型网络攻击通常十分隐蔽，其具备低速率、加密等特征。如何快速检测新型隐蔽的网络攻击成为了网络安全研究领域的一个重要问题。
[0003]本项技术解决高带宽场景下的实时隐蔽恶意流量检测问题。在骨干网或企业网关这类高带宽场景下，实时检测并拦截隐蔽恶意流量可以保护大量的合法网络用户。此外，高速地检测与分析广域网高带宽流量的工具可以帮助安全研究人员发现隐蔽的新型网络攻击，促进互联网安全的研究进展。
[0004]区别于传统的洪范明文恶意流量(例如，分布式拒绝服务攻击流量、扫描攻击流量)，新型隐蔽网络攻击通常包含加密流量和低速率流量，这导致这些隐蔽攻击难以被检测。其一，新型网络攻击通常采用加密恶意流量，加密消除了大部分的流量特征使其更接近于正常流量。其二，新型隐蔽攻击通常仅产生低速率的恶意流量，其不具备传统拒绝服务攻击典型的洪范特性。其三，新型隐蔽恶意流量的模式是未知的，因而无法依赖于领域知识为其设计专用的检测手段。
[0005]因此，传统的恶意流量检测方案不适用于新型隐蔽恶意流量检测。基于深度包检测的网络入侵检测系统对加密的新型隐蔽恶意流量无效，因为其无法从加密的负载当中读取威胁信息。近年来基于机器学习的恶意流量检测方案被提出并被使用。然而，新型隐蔽恶意流量通常为低速和加密的，这些正常流量的特性可以欺骗机器学习算法误判其为正常流量，进而绕过各种拦截手段。

技术实现思路

[0006]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0007]为此，本专利技术的目的在于解决高带宽场景下的实时隐蔽恶意流量检测问题，提出了一种基于流量交互图的隐蔽恶意流量检测方法，可以有效检测出新型隐蔽的网络攻击。
[0008]本专利技术的另一个目的在于提出一种基于流量交互图的隐蔽恶意流量检测装置。
[0009]为达上述目的，本专利技术一方面提出了一种基于流量交互图的隐蔽恶意流量检测方法，包括以下步骤：
[0010]通过工作在网关的检测系统监听通过所述网关的流量；对监听到的所述流量进行数据包粒度的特征抽取，得到数据包粒度特征；根据所述数据包粒度特征构建流量交互图，利用所述流量交互图的图结构表示所述流量的长期交互模式；基于所述流量交互图，通过图学习的检测算法检测所述流量交互图上的异常局部结构，并将所述异常局部结构标记为对应的隐蔽恶意流量。
[0011]本专利技术实施的基于流量交互图的隐蔽恶意流量检测方法，可以利用图结构对隐蔽恶意流量的长期交互模式进行实时有效地表示，并使用图学习算法对图上表征异常交互模式的局部结构进行挖掘，进而识别与之关联的隐蔽恶意流量。该方案的优点包含了检测吞吐高、检测时延低，可以在高带宽场景下精准地检测出未知新型隐蔽的网络攻击。
[0012]另外，根据本专利技术上述实施例的基于流量交互图的隐蔽恶意流量检测方法还可以具有以下附加的技术特征：
[0013]进一步地，在本专利技术的一个实施例中，所述根据所述数据包粒度特征构建流量交互图，包括：进行长短流分类、短流聚集和长流分布拟合；所述图学习包括：进行连通性分析、边的预聚类、关键节点识别和不正常交互模式的识别。
[0014]进一步地，在本专利技术的一个实施例中，所述进行长短流分类，包括：根据链接四元组将经过所述特征抽取得到的数据包序列组装成为流；根据所述流中包含的数据包数量，将所述流分为长流和短流；分别处理所述长流和短流，以将所述长流和短流构建为所述流量交互图上的边。
[0015]进一步地，在本专利技术的一个实施例中，所述进行短流聚集，包括：基于所述短流，对预设数量的相似的短流进行聚合操作，以将所述相似的短流划归短流组；基于所述短流组构造表示短流的边；其中，每一条所述短流的边对应一组所述相似的短流，表示所述短流的边保存一份逐包特征序列和每一条短流链接的四元组，以及链接开始的时间戳。
[0016]进一步地，在本专利技术的一个实施例中，所述进行长流分布拟合，包括：对于所述长流，利用直方图拟合长流当中的包特征分布，并构造所述流量交互图上对应于长流的边；其中，对于一条所述长流，表示所述长流的边保存其链接的四元组和时间戳，以及对应各种包特征近似概率分布的直方图。
[0017]进一步地，在本专利技术的一个实施例中，所述进行连通性分析，包括：利用深度优先搜索算法得到所述流量交互图的强连通分量，并根据所述强连通分量分割所述流量交互图；基于对所述流量交互图的分割，抽取每个所述强连通分量的粗粒度的统计特征，利用所述统计特征对所述强连通分量进行聚类，将偏离聚类中心的强连通分量作为异常强联通分量进行处理。
[0018]进一步地，在本专利技术的一个实施例中，所述进行边的预聚类，包括：对于每一个所述异常强连通分量当中的边进行预聚类，对每一条边抽取图结构特征，利用DBSCAN算法对所述图结构特征进行聚类得到系列簇；对于所述系列簇中的每一个簇，选取所述每一个簇的聚类中心对应的边代表这一个簇当中其余的边参与后续的处理。
[0019]进一步地，在本专利技术的一个实施例中，所述进行关键节点识别，包括：对于每一个所述强连通分量上的节点和每一个通过所述预聚类选取的边构成的子图，通过求解最大节点覆盖问题选出一个节点集合；将所述节点集合中选中的节点作为存在潜在攻击的关键节点。
[0020]进一步地，在本专利技术的一个实施例中，所述不正常交互模式的识别，包括：对于每一个所述关键节点，提取通过所述预聚类选出的并且与该关键节点相连的边；基于所述提取的边，抽取所述流量交互图的结构化特征和所述流量的统计特征，以构造特征向量并对所述提取的边进行聚类；基于对所述提取的边进行聚类，将偏离聚类中心的边标记为具备异常交互模式的边，将所述具备异常交互模式的边对应的流标记为隐蔽恶意流量，以作为
检测的结果。
[0021]为达到上述目的，本专利技术另一方面提出了一种基于流量交互图的隐蔽恶意流量检测装置，包括：
[0022]流量监听模块，用于通过工作在网关的检测系统监听通过所述网关的流量；特征抽取模块，用于对监听到的所述流量进行数据包粒度的特征抽取，得到数据包粒度特征；图构建模块，用于根据所述数据包粒度特征构建流量交互图，利用所述流量交互图的图结构表示所述流量的长期交互模式；检测识别模块，用于基于所述流量交互图，通过图学习的检测算法检测所述流量交互图上的异常局部结构，并将所述异常局部结构标记为对应的隐蔽恶意流量。
[0023]本专利技术实施例的基于流量交互图的隐蔽恶意流量检测装置，可以利用图结构对隐蔽恶意流量的长期交互模式进行实时有效地表示，并使用图学习算法对图上表征异常交互模式的局部结构进行挖掘，进而识别与之关联的隐蔽恶意流量。该方案的优点包含了检测吞吐高、检测时延低，可以在高带宽场景下精准地检测出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于流量交互图的隐蔽恶意流量检测方法，其特征在于，包括以下步骤：通过工作在网关的检测系统监听通过所述网关的流量；对监听到的所述流量进行数据包粒度的特征抽取，得到数据包粒度特征；根据所述数据包粒度特征构建流量交互图，利用所述流量交互图的图结构表示所述流量的长期交互模式；基于所述流量交互图，通过图学习的检测算法检测所述流量交互图上的异常局部结构，并将所述异常局部结构标记为对应的隐蔽恶意流量。2.根据权利要求1所述的方法，其特征在于，所述根据所述数据包粒度特征构建流量交互图，包括：进行长短流分类、短流聚集和长流分布拟合；所述图学习包括：进行连通性分析、边的预聚类、关键节点识别和不正常交互模式的识别。3.根据权利要求2所述的方法，其特征在于，所述进行长短流分类，包括：根据链接四元组将经过所述特征抽取得到的数据包序列组装成为流；根据所述流中包含的数据包数量，将所述流分为长流和短流；分别处理所述长流和短流，以将所述长流和短流构建为所述流量交互图上的边。4.根据权利要求3所述的方法，其特征在于，所述进行短流聚集，包括：基于所述短流，对预设数量的相似的短流进行聚合操作，以将所述相似的短流划归短流组；基于所述短流组构造表示短流的边；其中，每一条所述短流的边对应一组所述相似的短流，表示所述短流的边保存一份逐包特征序列和每一条短流链接的四元组，以及链接开始的时间戳。5.根据权利要求3所述的方法，其特征在于，所述进行长流分布拟合，包括：对于所述长流，利用直方图拟合长流当中的包特征分布，并构造所述流量交互图上对应于长流的边；其中，对于一条所述长流，表示所述长流的边保存其链接的四元组和时间戳，以及对应各种包特征近似概率分布的直方图。6.根据权利要求2所述的方法，其特征在于，所述进行连通性分析，包括：利用深度优先搜索算法得到所述流量交互图的强连通分量，并根据所述强连通分量分割所述流量交互图；基...

【专利技术属性】
技术研发人员：徐恪，傅川溥，李琦，
申请(专利权)人：清华大学，
类型：发明
国别省市：