一种基于计数型bloom filter的网络数据流统计方法技术

本发明专利技术公开了一种基于计数型bloom?filter的网络数据流统计方法，所述方法包括如下步骤：配置计数型bloom?filter统计前的参数，包括容错率、流总数、哈希函数个数以及计数器个数；计数型bloom?filter将每个数据包的五元组信息哈希到相应位置的计数器中；取相应计数器中的最小值作为该流流量。实施本发明专利技术具有以下有益效果：在预设流个数的情况下，通过特有的参数设置方案使用易于硬件实现的计数型bloom?filter实现流量以及流个数的快速统计，在高效哈希置位的同时通过扩展的计数器防止计数型bloom?fi?lter计数器溢出，能满足高速网络中一般情况下的流统计以及五元组信息快速存储。

【技术实现步骤摘要】

本专利技术涉及网络数据流统计领域，更具体地说，涉及一种基于计数型bloomfilter的网络数据流统计方法。
技术介绍
当今的网络飞速发展，在高速的路由器和交换机上0C-48 (2.5Gbps)端口速率已经非常普遍，而新的0C-768端口速率更是高达40Gbps。了解高速网络环境下的网络行为特征需要网络测量，而流级别的测量统计在网络测量中的应用越来越广泛。流以及流量的统计结果可用于网络安全检测、流量计费、流量管理、流量工程以及其他网络应用。网络流统计技术很多，主要追求的是统计准确性、降低计算复杂度以及空间复杂度。比如使用编码的哈希统计，在对流信息哈希后，需要一定的编码位数来降低碰撞率，当编码位数与哈希前的流信息位数相同时才能避免碰撞，相当于完全存储。哈希统计基本靠编码位数作为和准确率交换的筹码。还有数据约减统计，亦即抽样统计。这种统计方法在空间占用上比较有优势，但是抽样后的估计误差不可避免。如cisco在Netflow中引入的“lout of N”抽样策略，每N个流中统计一个，这种方法简单易于硬件实现，但是偏离实际的网络流分布，大流被抽得的概率较高，而短流较低。后面出现的一些改进型本文档来自技高网...

【技术保护点】
一种基于计数型bloom?filter的网络数据流统计方法，其特征在于，包括如下步骤：1）配置计数型bloom?filter统计前的参数，包括容错率、流总数、哈希函数个数以及计数器个数；2）计数型bloom?filter将每个数据包的五元组信息哈希到相应位置的计数器中；3）取相应计数器中的最小值作为该流流量。

【技术特征摘要】
1.一种基于计数型bloom filter的网络数据流统计方法,其特征在于,包括如下步骤: 1)配置计数型bloomfilter统计前的参数,包括容错率、流总数、哈希函数个数以及计数器个数； 2)计数型bloomfilter将每个数据包的五元组信息哈希到相应位置的计数器中； 3)取相应计数器中的最小值作为该流流量。2.根据权利要求1所述的基于计数型bloomfilter的网络数据流统计方法,其特征在于，步骤I)包括如下步骤: A)设定统计错误率上界ε； B)设定统计的流总数η; C)设置计数器个数m，m取大于且临近nlog2e.1g2 (I/ ε )的整数； D)设置哈希函数个数k，k取大于且临近(m/n)1η2的整数。3.根据权利要求2所述的基于计数型bloomfilter的网络数据流统计方法,其特征在于，步骤2)包括如下步骤: E)流采集模块获取当前数据包，解析出数据包中的五元组信息发送...

【专利技术属性】
技术研发人员：陈庶樵，王宜青，于婧，卜佑军，张校辉，王军，
申请(专利权)人：大连环宇移动科技有限公司，中国人民解放军信息工程大学，
类型：发明
国别省市：