基于抽样和两级CBF的长流识别方法技术
【技术实现步骤摘要】
基于抽样和两级CBF的长流识别方法
本专利技术属于网络流量测量
，涉及一种长流识别方法，更为具体的说，是涉及一种基于抽样和两级CountingBloomFilter的长流识别方法。
技术介绍
高速网络运行速度的日益加快和流量数据的急速增加，使得对网络流量的精确测量越来越困难。许多研究表明，网络流的统计呈现很强的重尾分布特性，由于少量的长流占据了网络流量的大部分，多数情况下掌握长流信息即可满足实际应用需求，因此对长流的识别显得尤其重要。目前已有的长流识别方法主要使用抽样技术、哈希技术以及BloomFilter技术。单独使用抽样技术识别长流时，需要在识别的过程中维护流标识信息，会产生很大的计算开销，减慢系统处理速度；而单独使用哈希技术或BloomFilter技术对链路上通过的所有报文进行处理时，会增大哈希冲突，影响测量结果的准确性。将抽样技术和哈希技术或BloomFilter技术相结合可以有效解决只使用一种技术的弊端。与哈希技术相比，BloomFilter通过维护多个独立的哈希函数可以明显降低哈希冲突，且大大降低了为每个流维护流标识而带来的存储开销，改进结构之一...
【技术保护点】
基于抽样和两级CBF的长流识别方法，其特征在于，包括如下步骤：步骤1，对观测时间内链路上通过的报文按抽样频率进行周期抽样；步骤2，设定长流的阈值T，同时配置两级Counting Bloom Filter结构参数；步骤3，对于每个被抽样的报文，先通过第二级Counting Bloom Filter判断其是否属于已识别出的长流，若属于已识别出的长流，则将其插入第二级Counting Bloom Filter中，继续处理下一报文；若不属于已识别出的长流，则执行步骤4；步骤4，通过第一级Counting Bloom Filter判断其所属流是否为长流，若为长流，则将该报文的流标识记...
【技术特征摘要】
1.基于抽样和两级CBF的长流识别方法，其特征在于，包括如下步骤：步骤1，对观测时间内链路上通过的报文按抽样频率进行周期抽样；步骤2，设定长流的阈值T，同时配置两级CountingBloomFilter结构参数；步骤3，对于每个被抽样的报文，先通过第二级CountingBloomFilter判断其是否属于已识别出的长流，若属于已识别出的长流，则将其插入第二级CountingBloomFilter中，继续处理下一报文；若不属于已识别出的长流，则执行步骤4；步骤4，通过第一级CountingBloomFilter判断其所属流是否为长流，若为长流，则将该报文的流标识记录下来，并更新其在两级CountingBloomFilter中的记录，继续处理下一报文；若不为长流，则执行步骤5；步骤5，将报文插入第一级CountingBloomFilter中，继续处理下一报文；步骤6，重复步骤3-5完成对所有被抽样报文的处理后，通过第二级CountingBloomFilter对所有未被抽样的报文进行查询，若报文属于已识别出的长流，则将其插入第二级CountingBloomFilter，否则不做任何处理。2.根据权利要求1所述的基于抽样和两级CBF的长流识别方法，其特征在于，所述步骤1中抽取频率为每隔n个报文抽取一个。3.根据权利要求1所述的基于抽样和两级CBF的长流识别方法，其特征在于，当报文总数较大时，降低抽样频率，当报文总数较小时，提高抽样频率。4.根据权利要求1所述的基于抽样和两级CBF的长流识别方法，其特征在于，所述步骤2具体包括如下过程：设置长流阈值为T＝N·m％，其中N为观测时间内链路上通过的报文总数，m为长流占据报文总数的百分比；使用抽样报文进行长流识别的阈值设置为T1＝T/n；两级CountingBloomFilter选用相同的k个冲突小的哈希函数h(1),h(2),…,h(k)；第一级CountingBloomFilter结构中Counter数组的长度m1设置为大于抽样报文总数N/n的2的幂次方，每个计数器分配的位数b1满足条件：第二级CountingBloomFilter结构...
【专利技术属性】
技术研发人员：秦文虎，翟金凤，孙立博，鲁凯，林学勇，
申请(专利权)人：东南大学，南京市计量监督检测院，
类型：发明
国别省市：江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。