一种用于流基数测量的数据处理结构及其应用制造技术

本发明专利技术公开了一种用于流基数测量的数据处理结构及其应用，该数据处理结构包括：基数估计器，包括一个长度为M的位图；大流部分，用于记录基数大于设定阈值的流信息；小流部分，包括一个CM Sketch。本发明专利技术将多流的流式基数估计技术与通常运用在流频数测量中的大小流区分存储技术结合，做到了对大基数流的精确估计，对小基数流较为精确的估计，同时可以完成多种基数测量任务。并且为大流部分与小流部分设计了一个巧妙的交换过程，保证了大流部分的准确度，同时确保小流部分不会存储大基数流的基数信息，避免了小基数流与大基数流共享一个计数器时导致小基数的过高估计。

【技术实现步骤摘要】

本专利技术属于数据处理，具体涉及一种用于流基数测量的数据处理结构及其应用。

技术介绍

1、在高速网络中，针对大规模流数据的流量测量在提升网络性能、协助资源分配以及检测异常方面具有广泛的应用。其中一个基本的测量功能被称为流基数估计，其任务是统计每个网络流中不同元素的数量，这些流可以是tcp流、p2p流、http流，或者根据数据包头部的一个或多个字段任意定义，而在测量中的元素也可以是数据包头部的地址/端口或数据包负载中的特定应用值。例如，所有来自相同源地址的数据包形成一个按源地址划分的流，我们可以测量每个源地址（即流标签）联系到的不同目标地址（即元素）的数量。流基数估算在扫描检测、蠕虫监测、代理缓存和内容访问分析等方面有着重要的应用。需要强调的是，基数估计与计算每个流中的数据包数量或识别大流是不同的。前者是计算不同元素的数量，需要过滤重复项，因此比后者更为复杂，后者只是简单地计算数据包的数量。

2、由于这些流数据的大规模和高速特性，在计算和内存资源有限的情况下统计所有的流信息是十分困难的。例如，网络路由器具有高速但非常小的内存，这导致它们的流量监测本文档来自技高网...

【技术保护点】

1.一种用于流基数测量的数据处理结构，其特征在于，包括：

2.根据权利要求1所述的用于流基数测量的数据处理结构，其特征在于，所述位图包括一个比特数组和一个哈希函数，所述位图的每个比特位对应于一个可能的项，所有的项通过同一个哈希函数映射到位图中不同的比特。

3.根据权利要求1所述的用于流基数测量的数据处理结构，其特征在于，所述大流部分包括一个最大长度为l个节点的链表H，l表示节点个数，每个链表节点包括流标签和流的基数估计值，该链表H按流的基数估计值的大小从大到小排序。

4.一种如权利要求1-3任一所述的用于流基数测量的数据处理结构的应用，其特征在于，包括...

【技术特征摘要】

1.一种用于流基数测量的数据处理结构，其特征在于，包括：

2.根据权利要求1所述的用于流基数测量的数据处理结构，其特征在于，所述位图包括一个比特数组和一个哈希函数，所述位图的每个比特位对应于一个可能的项，所有的项通过同一个哈希函数映射到位图中不同的比特。

3.根据权利要求1所述的用于流基数测量的数据处理结构，其特征在于，所述大流部分包括一个最大长度为l个节点的链表h，l表示节点个数，每个链表节点包括流标签和流的基数估计值，该链表h按流的基数估计值的大小从大到小排序。

4.一种如权利要求1-3任一所述的用于流基数测量的数据处理结构的应用，其特征在于，包括插入操作和查询操作。

5.根...

【专利技术属性】
技术研发人员：高国举，周少龙，沈鸣飞，赵柳淇，
申请(专利权)人：苏州元澄科技股份有限公司，
类型：发明
国别省市：