一种支持流量抖动的网络大流弹性测量方法技术

本发明专利技术公开了一种支持流量抖动的网络大流弹性测量方法，方法包括：首先对网络分组解析，提取五元组作为流标识符；然后设计一种基于可伸缩Sketch循环链的小流过滤器，进而提出可根据网络分组速率的动态变化，适应性调整循环链中Sketch数量的过滤器扩展与收缩策略，以确保记录给定时间周期内的所有分组，从而持续精确过滤小流；接着结合多分段可拓展哈希算法设计了一种基于可伸缩哈希表的大流记录器，可根据所记录的网络大流数量的动态变化扩展或收缩分段，以尽可能记录所有大流，同时提高存储空间利用率；根据本发明专利技术的方案，有效解决了在高速网络链路上流量激增时大流测量的查询精准性不足问题和无法实现自适应测量问题，进一步提高了大流测量精度和范围。一步提高了大流测量精度和范围。一步提高了大流测量精度和范围。

【技术实现步骤摘要】
一种支持流量抖动的网络大流弹性测量方法


[0001]本专利技术涉及网络测量领域，更具体地说，涉及一种支持流量抖动的网络大流弹性测量方法。

技术介绍

[0002]网络测量是对网络状态和行为特征进行分析，并对网络各项指标进行量化，在网络管理、网络运维、网络安全、网络优化和流量工程等领域中有重要作用。大流识别与提取在网络测量中占有重要地位，但由于网络测量受限于传统网络架构和终端，使得测量方法中的流量压缩手段重点研究于抽样技术和数据流技术。抽样技术是指从总体网络流中抽取的代表性分组子集进行流量统计，通过代表性分组子集推断原网络流量的状态，但因抽样的随机性和不确定性会造成较高的误差，因此采用抽样技术的测量结果并不准确。目前，以Sketch为测量载体的数据流技术是一种较成熟的技术，并已广泛应用于网络测量中的大流测量。
[0003]Sketch是一种为用少量存储空间保存庞大的信息数据所设计的数据结构，首先对网络流量数据建模成键值(k,v)，然后通过哈希函数的计算将海量信息执行哈希映射到对应位置，最终将各位置上的值进行统计并作为总体数据的估计近似值。为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种支持流量抖动的网络大流弹性测量方法，步骤如下：步骤一、网络流量解析：当收到一个分组时，首先解析其协议首部，提取五元组字段，从而计算得到流标识符fid；步骤二、小流过滤：对步骤一解析后的网络分组的流标识符作为小流过滤器的输入，以初步分析该分组所属流的大小；通过插入操作、统计Sktech更新操作和Sketch循环链伸缩操作，实现持续高效过滤小流；步骤三、大流记录：将步骤二处理后的网络流量数据输入大流记录器，通过多分段可拓展哈希算法计算存储位置，并通过插入操作和伸缩操作对大流进行精确完整的统计；步骤四、大流识别：根据查询步骤三得到的测量结果，实现大流的识别。2.根据权利要求1所述的一种支持流量抖动的网络大流弹性测量方法，其特征在于，所述步骤二中：小流过滤器是由多个Sketch构成的可伸缩循环链以及一个统计Sketch组成；每个Sketch由d行w列个计数器组成，每个计数器记录映射到该位置的分组数量；每个Sketch有一个开始时间和一个结束时间，作为在当前计数的Sketch已满时判断循环链伸展或收缩的依据；Sketch循环链完整记录固定时间周期内的所有分组，统计Sketch记录循环链中所有Sketch同位置计数器的加权平均值，作为判断传入分组是否属于小流的依据；为了防止因大量计数器逐步溢出而导致过滤功能性能下降，在循环链中当前计数的Sketch已满时，会根据循环链中的Sketch能否完整记录一个时间周期的所有分组而自适应增加或删除Sketch数量，以保证小流过滤器在网络分组速率波动的情况下始终保持高准确率。3.根据权利要求2所述的一种支持流量抖动的网络大流弹性测量方法，其特征在于，包括以下步骤：插入操作：当小流过滤器收到一个分组的流标识符fid时，首先通过d个独立的哈希函数在当前Sketch的每个桶中映射一个计数器，然后在所有映射计数器中找出最小计数器，若最小计数器值小于指定阈值，则将其加一，否则直接进入统计Sketch判断是否为大流；当多个分组哈希映射到同一位置时，对该最小计数器的数值进行累加；在计数器值增加后，若当前Sketch中达到阈值的计数器数量超过一定比例，则相继执行统计Sktech更新操作和循环链伸缩操作；接下来，在统计Sketch的每个桶中映射一个计数器，并找出其中最小的计数器；如果最小计数器未达到阈值，则确定为小流，否则判定为大流并插入大流记录器；统计Sktech更新操作：若当前Sketch中达到阈值的计数器数量超过预设比例，则将循环链中的Sketch按照时间顺序赋予不同的权重，然后将每个Sketch中同位置的计数器加权平均计入统计Sktech的对应计数器中；Sketch循环链伸缩操作：在执行完更新操作后，首先获取循环链中的Sketch数量n，第1个Sketch的开始时间t0，以及当前时刻t；若t距离t0的时间长度小于给定的时间周期T，则新增一个Sketch，作为新计数Sketch加入循环链尾部；否则从第一个sketch开始依次获取每个Sketch的结束时刻t
i
(1≤i≤n
‑
1)，并判断t距离t
i
的时间长度是否小于T；若不是，则删除该Sketch；依次循环，直到t距离t
i
的时间长度小于T为止；最后，重置第i个Sketch继续计数。4.根据权利要求1所述的一种支持流量抖动的网络大流弹性测量方法，其特征在于，所述步骤三中：
大流记录器是由数量可变的多个逻辑分段组成的可伸缩哈希表；每个分段由固定数量的大流项组成，并...

【专利技术属性】
技术研发人员：熊兵，刘永青，刘睿，廖卓凡，何施茗，胡晋彬，阮昌，张锦，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：