【技术实现步骤摘要】
本专利技术涉及网络测量领域，更具体地说，涉及一种低开销的持续不频繁流精确识别架构及方法。
技术介绍
1、网络测量是有效地理解和管理网络性能的不可或缺的工具之一。它为多种网络管理任务提供了关键信息，包括流量行为分析、qos、性能诊断以及异常检测等领域，因此成为网络研究领域的研究热点。随着数据流速度的提高，使用有限的内存准确地回答数据流上的查询越来越具有挑战性。目前主流的测量方式是使用紧凑型数据结构sketch来实现对网络测量典型任务的近似估计。持续不频繁流(pi流)通常是指在网络中持续达到，但数据包到达速率始终保持较低的数据流，通常隐藏着一些想要避免被网络安全系统检测到的潜在安全威胁。准确识别持续不频繁流在网络测量中占有重要地位，能为检测高级持久性威胁(apt)和检测慢速ddos攻击等网络应用提供关键的信息。
2、sketch是一种为用少量存储空间保存庞大的信息数据所设计的数据结构，首先对网络流量数据建模成键值(k,v)，然后通过哈希函数的计算将海量信息执行哈希映射到对应位置，最终将各位置上的值进行统计并作为总体数据的估计近似值。为更好的适应大规模网络测量，sketch通过牺牲一定的精准性换取较低的存储空间消耗和快速的计算处理时间，以保证网络测量的实时性。目前sketch已被广泛运用于大流识别、top-k流识别等网络测量任务，但由于持续不频繁流对时间窗口数统计的需求，典型sketch算法如countsketch、cm-sketch、cu-sketch等无法直接用于持续不频繁流的测量。不过受其启发，已有研究者设计出新颖的
3、on-offsketch是一种快速识别持续流的方案，其核心思想是在传统sketch的每个计数器中添加一个状态字段，以表示该计数器是否在当前时间窗口中增加，进而保证每个计数器在一个时间窗内最多只能加1，从而实现了对出现窗口数的记录。【方案一】如图1所示，on-off sketch的数据结构由两部分构成。第一部分是一个拥有l个计数器的一维数组，通过一个哈希函数h1(.)与之关联。第二部分由包含l个桶的数组组成，每个桶中有w个键值(kv)对。其中键为流id，值为对应的计数器，用于记录一条流的持续窗口数，每个计数器有一个状态字段，对应开和关两个状态。
4、on-offsketch通过计数器中的状态字段实现对流持续期的记录，在每个新的时间窗口开始时将所有计数器的状态字段置为on。当插入项目ei时，on-offsketch首先检查ei是否已记录在第二部分的桶中。如果ei已在某个桶中记录，且对应的状态字段为on，则将相应的计数器加1后将状态字段更改为off。如果状态字段为off，表明传入流在本时间窗口已经出现并记录，则不会再增加其计数器值。如果ei未在桶中记录，则将将其插入第一部分的计数器中，并将对应的状态标志位改为off。此时，若第一部分的对应计数器值大于第二部分对应桶中的最小计数器值，则用传入流替换桶中的最小计数器对应的流。在查询时，可通过遍历第二部分的所有桶，报告计数器值大于指定阈值的流为持续流。on-offsketch方法本身只能测量流的持续性，若要用于测量持续不频繁流还需搭配使用cm sketch来估计流的频率。然后找到持续和频率较低的流的交集报告为持续不频繁流。
5、目前，pisketch是一种较为高效的基于sketch方法的持续不频繁流测量方案，其核心思想是设置一个数字权重来综合持续性和频率，并通过奖励和惩罚机制来增大或减少权重，最后找到高权重的流报告为持续不频繁流。【方案二】如图2所示，pisketch的数据结构由两部分构成。第一部分是一个bloom过滤器，用于报告一条流是否在当前时间窗口中首次到达。每当一个新的时间窗口开始时，将重置bloom过滤器。第二部分是由多个哈希桶组成的二维哈希数组，用于记录流的相关信息，包括流id、流的权重wf和流的出现时间窗口数nf，统计结束后将根据流的权重报告潜在的持续不频繁流。
6、该方案分为插入和查询操作：在插入时，对于一条流f，首先查询bloom过滤器，以检查该流是否已在当前窗口中发生。如果bloom过滤器报告false，表明当前窗口中没有出现f，那么首先将先f插入到bloom过滤器中，初始化权重wi＝l。然后将流f映射到权重sketch的桶bh(f)中，分别增加桶bh(f)对应的权重wf＝wf+wi与窗口数nf＝nf+1。否则，它表示在当前窗口中已经出现过流f。则直接找到流f在权重sketch中映射桶bh(f)并将其对应的权重减1，e.g.wf＝wf-1。在查询时，pisketch将遍历第二部分的所有桶，并报告所有权重高于预设阈值的流为潜在的持续不频繁流。
7、但上述现有的持续不频繁流识别方案分别存在以下缺陷：
8、【方案一】通过窗口计数器记录当前传入流的持续窗口数，然后通过状态字段控制窗口计数器的增量，并结合cm sketch记录传入流的频率，进而识别和报告持续不频繁流。然而on-offsketch+cm sketch组合的方法需要使用大量的大比特计数器，造成存储开销过大。此外，使用两个独立结构分别统计数据流不同特性的方式，将集成两部分结构的误差，容易导致持续不频繁流的误判或漏选，严重影响持续不频繁流的准确性。
9、【方案二】用一个权值同时表示持续性和不频繁性，然后使用时间窗计数器记录流的具体持续期，最后报告权重大于指定阈值的流为持续不频繁流，在一定程度上降低了持续不频繁流识别的复杂性。然而，这种使用最终权值作为判定依据的方法是根据全部测量时间窗的结果进行整体判断，忽略了部分时间窗中出现的中断到达或高频现象，进而导致持续不频繁流的误判。此外，此方案只能报告持续不频繁流在测量期间内出现的时间窗口数，而无法报告具体的起止持续时间窗。
技术实现思路
1、针对现有技术上述的问题，本专利技术提出一种低开销的持续不频繁流精确识别架构及方法。首先使用紧凑型新流判定器快速判断一条传入流是否在当前时间窗中出现，用于后续持续性的判断和持续窗口数的记录；然后设计了一种低开销的pi流识别器，通过轻量级频率计数器和窗口记录器协同判断数据流的持续性和不频繁性，有效降低误判的概率，在节省空间的同时实现持续不频繁流的准确识别和持续期报告。
2、为了达到上述目的，本专利技术采用的技术方案为：
3、本专利技术提出种低开销的持续不频繁流精确识别架构及方法，步骤如下：
4、步骤一、网络流量解析：当收到一个分组时，首先解析其协议首部，提取五元组字段，从而计算得到流标识符fid；
5、步骤二、新流判定：对步骤一解析后的网络分组的流标识符作为新流判定器的输入，以判定该分组所属的流是否在当前时间窗口内首次达到；新流判定器在每个时间窗口结束时重置，以保证持续有效；
6、步骤三、pi流记录：对步骤二处理后的网络流量数据输入pi流识别器，通过哈希算法计算候选存储位置，根据步骤二的判定结果执行不同的插入操作，并在无法存本文档来自技高网...
【技术保护点】
1.一种低开销的持续不频繁流精确识别架构，其特征在于，包括：
2.一种低开销的持续不频繁流精确识别方法，其特征在于，包括以下步骤：
3.根据权利要求2所述的一种低开销的持续不频繁流精确识别方法，其特征在于，所述步骤二包括以下步骤：
4.根据权利要求2所述的一种低开销的持续不频繁流精确识别方法，其特征在于，所述步骤三包括以下步骤：
5.根据权利要求2所述的一种低开销的持续不频繁流精确识别方法，其特征在于，所述步骤四中：
6.根据权利要求1所述的方法，其特征在于，所述架构通过紧凑型新流判定器快速判定一条流是否在当前时间窗内首次出现，同时使用低开销的PI流识别器记录潜在的持续不频繁流；其中，PI流识别器根据频率阈值配置相应比特数的频率计数器，结合计数限制策略即计数器值到达频率阈值时不再继续增加，从而以极小的内存开销实现不频繁性的判定，同时使用两个占用空间少的窗口记录器判定流的持续性。
7.根据权利要求2所述的方法，其特征在于，所述方法使用频率计数器和窗口记录器来区分判定数据流的不频繁性和持续性，并在每个时间窗结束时
...【技术特征摘要】
1.一种低开销的持续不频繁流精确识别架构，其特征在于，包括：
2.一种低开销的持续不频繁流精确识别方法，其特征在于，包括以下步骤：
3.根据权利要求2所述的一种低开销的持续不频繁流精确识别方法，其特征在于，所述步骤二包括以下步骤：
4.根据权利要求2所述的一种低开销的持续不频繁流精确识别方法，其特征在于，所述步骤三包括以下步骤：
5.根据权利要求2所述的一种低开销的持续不频繁流精确识别方法，其特征在于，所述步骤四中：
6.根据权利要求1所述的方法，其特征在于，所述架构通过紧凑型新流判定器快速判定一条流是否在当前时间窗内首次出现，同时使用低开销的pi流识别器记录潜在的持续...
【专利技术属性】
技术研发人员：熊兵，刘永青，唐禹，肖启达，李卓雄，赵锦元，何施茗，张锦，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。