一种基于抽样的网络流量测量算法制造技术

本发明专利技术公开了一种基于抽样的网络流量测量算法，包括如下步骤：(1)对Counting Bloom Filter结构的参数进行合理配置；(2)利用Counting Bloom Filter结构判定到来的数据分组所述网络流是否为新流；(3)如果到来的数据分组被判定为新流，将该新流插入到Counting Bloom Filter中，流计数器加1，根据已插入的流个数计算误差概率P，同时调整抽样频率为

A network traffic measurement algorithm based on sampling

The invention discloses a network flow measurement algorithm based on sampling, which comprises the following steps: (1) the reasonable configuration of parameters of Counting Bloom Filter structure; (2) the data packet using Counting Bloom Filter the arrival of the structure to determine whether the new network flow; (3) if the data packet arrival is determined to be new, insert the new Counting Bloom Filter to, flow counter plus 1, according to the inserted flow number calculation error probability P, and adjust the sampling frequency

【技术实现步骤摘要】
一种基于抽样的网络流量测量算法
本专利技术涉及网络流量测量工程
，尤其是一种基于抽样的网络流量测量算法。
技术介绍
由于网络链路速率的不断提高和网络数据流的急剧增加，捕获每个报文信息或流信息进行存储和分析已变的不可能，抽样技术的引入有效的解决了该瓶颈问题，基于抽样的网络流量测量算法成为了近年来网络流量测量领域的重点研究内容之一。虽然抽样技术一定程度上提高了流量测量的有效性和可行性，但由于高速网络流量大，复杂性和异构性的日益加强，网络处理和存储资源的不足，基本的抽样方法已难以满足现实的需要，继而衍生出了基于流的抽样测量、抽样和哈希结合的测量以及基于BloomFilter的抽样测量等流量测量算法。基本的抽样方法广泛存在对小流数据抽样不足的缺点，致使大量流分布信息丢失，不能有效获得网络流的真实分布情况，因此，有必要以更加公平的方式对网络流进行抽样，本专利技术设计了基于CountingBloomFilter结构的网络流等概率抽样算法。
技术实现思路
本专利技术所要解决的技术问题在于，提供一种基于抽样的网络流量测量算法，能够实现对网络流的等概率抽样，做到既能对网络流量数据进行缩减，又能保留网络流量数据的特征信息，节省系统的存储资源。为解决上述技术问题，本专利技术提供一种基于抽样的网络流量测量算法，包括如下步骤：(1)对CountingBloomFilter结构的参数进行合理配置；(2)利用CountingBloomFilter结构判定到来的数据分组所属网络流是否为新流；(3)如果到来的数据分组被判定为新流，将该新流插入到CountingBloomFilter中，流计数器加1，根据已插入的流个数计算误差概率P，同时调整抽样频率为f为整个算法的抽样频率，以调整后的频率对新流进行随机抽样，并继续处理下一分组，重复步骤(2)继续循环；(4)如果判定为没有新流到达，则继续处理下一分组，重复步骤(2)继续循环。优选的，步骤(1)中，若CountingBloomFilter结构中的每个Counter分配4位，则当Counter值到达16时就溢出的概率为：F≤1.37×10-15×m，m为Counter个数，为每个Counter分配4位；当哈希函数个数k＝(ln2)·(m/n)时错误率最小，其中，n为CountingBloomFilter所表示集合的元素个数，在错误率不大于E的情况下，为保证Counter数组里至少一半为0，m应该满足条件：m≥n·log2(1/E)·log2e，为n·log2(1/E)的1.44倍。优选的，步骤(2)中，当一个分组到达时，首先解析其流标识，计算其流标识的k个哈希函数值，若CountingBloomFilter结构中对应的k个Counter值均大于或等于1，则判定为没有新流到达，否则判定为有新流到达。优选的，步骤(3)中，如果到来的数据分组被判定为新流，先将该流插入到CountingBloomFilter中，对应的k个Counter值分别加1，流计数器加1，根据已插入的流个数计算误差概率P；误差概率即为CountingBloomFilter的误判率：式中n为已插入的网络流个数，继而调整抽样频率为保证对任意新流的抽样频率都等于f，以调整后的频率对新流进行随机抽样，完成抽样后继续处理下一分组，重复第二步继续循环。本专利技术的有益效果为：本专利技术实现对网络流的等概率抽样，做到既能对网络流量数据进行缩减，又能保留网络流量数据的特征信息，节省系统的存储资源。附图说明图1为本专利技术的框架结构示意图。图2为本专利技术的算法流程示意图。具体实施方式如图1所示，一种基于抽样的网络流量测量算法，包括如下步骤：(1)对CountingBloomFilter结构的参数进行合理配置；(2)利用CountingBloomFilter结构判定到来的数据分组所属网络流是否为新流；(3)如果到来的数据分组被判定为新流，将该新流插入到CountingBloomFilter中，流计数器加1，根据已插入的流个数计算误差概率P，同时调整抽样频率为f为整个算法的抽样频率，以调整后的频率对新流进行随机抽样，并继续处理下一分组，重复步骤(2)继续循环；(4)如果判定为没有新流到达，则继续处理下一分组，重复步骤(2)继续循环。步骤(1)中，若CountingBloomFilter结构中的每个Counter分配4位，则当Counter值到达16时就溢出的概率为：F≤1.37×10-15×m，m为Counter个数，为每个Counter分配4位；当哈希函数个数k＝(ln2)·(m/n)时错误率最小，其中，n为CountingBloomFilter所表示集合的元素个数，在错误率不大于E的情况下，为保证Counter数组里至少一半为0，m应该满足条件：m≥n·log2(1/E)·log2e，为n·log2(1/E)的1.44倍。步骤(2)中，当一个分组到达时，首先解析其流标识，计算其流标识的k个哈希函数值，若CountingBloomFilter结构中对应的k个Counter值均大于或等于1，则判定为没有新流到达，否则判定为有新流到达。步骤(3)中，如果到来的数据分组被判定为新流，先将该流插入到CountingBloomFilter中，对应的k个Counter值分别加1，流计数器加1，根据已插入的流个数计算误差概率P；误差概率即为CountingBloomFilter的误判率：式中n为已插入的网络流个数，继而调整抽样频率为保证对任意新流的抽样频率都等于f，以调整后的频率对新流进行随机抽样，完成抽样后继续处理下一分组，重复第二步继续循环。如图1所示，本专利技术提供的一种基于抽样的网络流量测量算法，算法由CountingBloomFilter模块、误差吸收模块和随机抽样模块组成。CountingBloomFilter模块用来判定是否有新流到达；误差吸收模块则用于记录当前到达的流数量，计算抽样过程中产生的误差概率，同时调整抽样频率；随机抽样模块则以调整后的概率对CountingBloomFilter认定的新流进行抽样。如图2所示，一种基于抽样的网络流量测量算法，包括如下步骤：步骤1，为CountingBloomFilter结构中的每个Counter分配4位，哈希函数的个数k取为10，Counter数组的大小m设为实际流总数的20倍。步骤2，利用CountingBloomFilter结构判定到来的数据分组所属网络流是否为新流：当一个分组到达时，首先解析其流标识，计算其流标识的k个哈希函数值，若CountingBloomFilter结构中对应的k个Counter值均大于或等于1，则判定为没有新流到达，否则判定为有新流到达。步骤3，如果到来的数据分组被判定为新流，先将该流插入到CountingBloomFilter中，流计数器加1，根据已插入的流个数计算误差概率P，同时调整抽样频率为f为整个算法的抽样频率，以调整后的频率对新流进行随机抽样，并继续处理下一分组，重复步骤2继续循环：如果到来的数据分组被判定为新流，先将该流插入到CountingBloomFilter中，对应的k个Counter值分别加1，流计数器加1，根据已插入的流个数计算误差概率P。这里的误差概率即为Countin本文档来自技高网...

【技术保护点】
一种基于抽样的网络流量测量算法，其特征在于，包括如下步骤：(1)对Counting Bloom Filter结构的参数进行合理配置；(2)利用Counting Bloom Filter结构判定到来的数据分组所属网络流是否为新流；(3)如果到来的数据分组被判定为新流，将该新流插入到Counting Bloom Filter中，流计数器加1，根据已插入的流个数计算误差概率P，同时调整抽样频率为

【技术特征摘要】
1.一种基于抽样的网络流量测量算法，其特征在于，包括如下步骤：(1)对CountingBloomFilter结构的参数进行合理配置；(2)利用CountingBloomFilter结构判定到来的数据分组所属网络流是否为新流；(3)如果到来的数据分组被判定为新流，将该新流插入到CountingBloomFilter中，流计数器加1，根据已插入的流个数计算误差概率P，同时调整抽样频率为f为整个算法的抽样频率，以调整后的频率对新流进行随机抽样，并继续处理下一分组，重复步骤(2)继续循环；(4)如果判定为没有新流到达，则继续处理下一分组，重复步骤(2)继续循环。2.如权利要求1所述的基于抽样的网络流量测量算法，其特征在于，步骤(1)中，若CountingBloomFilter结构中的每个Counter分配4位，则当Counter值到达16时就溢出的概率为：F≤1.37×10-15×m，m为Counter个数，为每个Counter分配4位；当哈希函数个数k＝(ln2)·(m/n)时错误率最小，其中，n为CountingBloomF...

【专利技术属性】
技术研发人员：秦文虎，翟金凤，孙立博，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32