一种流量抽样方法、装置和计算机可读存储介质制造方法及图纸

本申请实施例公开了一种流量抽样方法、装置和介质，将获取的原始流量包分流成多个IP流量组；根据各IP流量组的IP层数据和应用层数据，将IP流量组中源端发送的数据包存储至第一链表，将IP流量组中目的端发送的数据包存储至第二链表。每个IP流量组有其对应的第一链表和第二链表，在第一链表和第二链表中存储了一个IP数据流的所有来回会话的完整信息。按照设定的抽样规则，对第一链表和第二链表中存储的数据包进行抽样，以得到抽样数据。通过将原始流量包分流成多个IP流量组，根据IP层数据和应用层数据还原IP数据流，使得流量抽样时可以基于IP流进行定向抽样，在抽样过程中最大程度的保留了数据流的完整性。

【技术实现步骤摘要】
一种流量抽样方法、装置和计算机可读存储介质
本申请涉及安全检测
，特别是涉及一种流量抽样方法、装置和计算机可读存储介质。
技术介绍
在对城域网出口流量做流量安全检测的场景中，由于城域网出口流量非常大，基本上是TB/s级别以上，受网络安全检测设备软硬件的限制，无法使用全流量采集检测。而使用流量抽样检测已经成为大流量安全检测中的一种重要的方法。常见的流量抽样方式包括周期抽样、随机抽样和分层抽样。周期抽样是使用固定时间间隔的抽样方法，此方法比较简单，但测量性能不佳。随机抽样是根据预先定义的随机过程来确定抽样的起点和抽样间隔，此方法样本之间是相互独立的，避免了周期抽样导致的同步影响。分层抽样是将总体元素根据分层特征分为若干子集。然后再从子集中提取样本的方法，此方法能够减少抽样过程本身的开销并在相同样本容量的情况下获得较高的测量精度。目前的抽样方法均是基于数据包抽样，但是基于数据包抽样可能因为抽样设备性能问题，导致抽取不到一条数据流的所有来回会话的完整信息。可见，如何在抽样过程中最大程度保留数据流的完整性，是本领域技术人员需要解决的问题。
技术实现思路
本申请实施例的目的是提供一种流量抽样方法、装置和计算机可读存储介质，可以在抽样过程中最大程度保留数据流的完整性。为解决上述技术问题，本申请实施例提供一种流量抽样方法，包括：将获取的原始流量包分流成多个IP流量组；根据各所述IP流量组的IP层数据和应用层数据，将所述IP流量组中源端发送的数据包存储至第一链表，将所述IP流量组中目的端发送的数据包存储至第二链表；按照设定的抽样规则，对所述第一链表和所述第二链表中存储的数据包进行抽样，以得到抽样数据。可选地，所述将获取的原始流量包分流成多个IP流量组包括：解析所述原始流量包中各流量数据的IP层数据；对各所述IP层数据进行哈希运算，以得到各所述流量数据的哈希值；将具有相同哈希值的流量数据作为一个IP流量组。可选地，在所述按照设定的抽样规则，对所述第一链表和所述第二链表中存储的数据包进行抽样，以得到抽样数据之后还包括：将所述抽样数据存储至预设的缓存空间。可选地，在按照设定的抽样规则，对所述第一链表和所述第二链表中存储的数据包进行抽样，以得到抽样数据之后还包括：按照所述抽样数据的应用层数据对应的解析规则，对所述抽样数据进行解析，以得到解析后的流量数据；判断所述解析后的流量数据是否与预先设定的IDS规则库中的规则匹配；若存在与所述IDS规则库中规则相匹配的流量数据，则进行告警提示。可选地，在所述将获取的原始流量包分流成多个IP流量组之前还包括：对所述原始流量包中不符合报文标准格式的数据包进行丢弃。本申请实施例还提供了一种流量抽样装置，包括分流单元、存储单元和抽样单元；所述分流单元，用于将获取的原始流量包分流成多个IP流量组；所述存储单元，用于根据各所述IP流量组的IP层数据和应用层数据，将所述IP流量组中源端发送的数据包存储至第一链表，将所述IP流量组中目的端发送的数据包存储至第二链表；所述抽样单元，用于按照设定的抽样规则，对所述第一链表和所述第二链表中存储的数据包进行抽样，以得到抽样数据。可选地，所述分流单元包括解析子单元、计算子单元和作为子单元；所述解析子单元，用于解析所述原始流量包中各流量数据的IP层数据；所述计算子单元，用于对各所述IP层数据进行哈希运算，以得到各所述流量数据的哈希值；所述作为子单元，用于将具有相同哈希值的流量数据作为一个IP流量组。可选地，还包括缓存单元；所述缓存单元，用于将所述抽样数据存储至预设的缓存空间。可选地，还包括解析单元、判断单元和提示单元；所述解析单元，用于按照所述抽样数据的应用层数据对应的解析规则，对所述抽样数据进行解析，以得到解析后的流量数据；所述判断单元，用于判断所述解析后的流量数据是否与预先设定的IDS规则库中的规则匹配；所述提示单元，用于若存在与所述IDS规则库中规则相匹配的流量数据，则进行告警提示。可选地，还包括丢弃单元；所述丢弃单元，用于对所述原始流量包中不符合报文标准格式的数据包进行丢弃。本申请实施例还提供了一种流量抽样装置，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序以实现如上述任意一项所述流量抽样方法的步骤。本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项所述流量抽样方法的步骤。由上述技术方案可以看出，将获取的原始流量包分流成多个IP流量组；根据各IP流量组的IP层数据和应用层数据，将IP流量组中源端发送的数据包存储至第一链表，将IP流量组中目的端发送的数据包存储至第二链表。各IP流量组的处理方式相同，每个IP流量组有其对应的第一链表和第二链表，在第一链表和第二链表中存储了一个IP数据流的所有来回会话的完整信息。按照设定的抽样规则，对第一链表和第二链表中存储的数据包进行抽样，以得到抽样数据。在该技术方案中，通过将原始流量包分流成多个IP流量组，并且根据IP层数据和应用层数据还原IP数据流，使得流量抽样时可以基于IP流进行定向抽样，在抽样过程中最大程度的保留了数据流的完整性，为后续安全检测的准确性和有效性提供了保障。附图说明为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例提供的一种流量抽样方法的流程图；图2为本申请实施例提供的一种流量抽样装置的结构示意图；图3为本申请实施例提供的一种流量抽样装置的硬件结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。为了使本
的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。接下来，详细介绍本申请实施例所提供的一种流量抽样方法。图1为本申请实施例提供的一种流量抽样方法的流程图，该方法包括：S101：将获取的原始流量包分流成多个IP流量组。考虑到现有技术中基于数据包抽样可能因为抽样设备性能问题，导致抽取不到一条IP流的所有来回会话的完整信息，因此，在本申请实施例中，提出了对原始流量包进行IP分流的方式。在具体实现中，可以解析原始流量包中各流量数据的IP层数据；对各IP层数据进行哈希运算，以得到各流量数本文档来自技高网...

【技术保护点】
1.一种流量抽样方法，其特征在于，包括：/n将获取的原始流量包分流成多个IP流量组；/n根据各所述IP流量组的IP层数据和应用层数据，将所述IP流量组中源端发送的数据包存储至第一链表，将所述IP流量组中目的端发送的数据包存储至第二链表；/n按照设定的抽样规则，对所述第一链表和所述第二链表中存储的数据包进行抽样，以得到抽样数据。/n

【技术特征摘要】
1.一种流量抽样方法，其特征在于，包括：
将获取的原始流量包分流成多个IP流量组；
根据各所述IP流量组的IP层数据和应用层数据，将所述IP流量组中源端发送的数据包存储至第一链表，将所述IP流量组中目的端发送的数据包存储至第二链表；
按照设定的抽样规则，对所述第一链表和所述第二链表中存储的数据包进行抽样，以得到抽样数据。


2.根据权利要求1所述的流量抽样方法，其特征在于，所述将获取的原始流量包分流成多个IP流量组包括：
解析所述原始流量包中各流量数据的IP层数据；
对各所述IP层数据进行哈希运算，以得到各所述流量数据的哈希值；将具有相同哈希值的流量数据作为一个IP流量组。


3.根据权利要求1所述的流量抽样方法，其特征在于，在所述按照设定的抽样规则，对所述第一链表和所述第二链表中存储的数据包进行抽样，以得到抽样数据之后还包括：
将所述抽样数据存储至预设的缓存空间。


4.根据权利要求1所述的流量抽样方法，其特征在于，在按照设定的抽样规则，对所述第一链表和所述第二链表中存储的数据包进行抽样，以得到抽样数据之后还包括：
按照所述抽样数据的应用层数据对应的解析规则，对所述抽样数据进行解析，以得到解析后的流量数据；
判断所述解析后的流量数据是否与预先设定的IDS规则库中的规则匹配；
若存在与所述IDS规则库中规则相匹配的流量数据，则进行告警提示。


5.根据权利要求1-4任意一项所述的流量抽样方法，其特征在于，在所述将获取的原始流量包分流成多个IP流量组之前还包括：
对所述原始流量包中不符合报文标准格式的数据包进行丢弃。


6.一种流量抽样装置，其特征在于，包...

【专利技术属性】
技术研发人员：余杨，杨波，
申请(专利权)人：杭州安恒信息安全技术有限公司，
类型：发明
国别省市：浙江;33