当前位置: 首页 > 专利查询>苏州大学专利>正文

一种时空高效的并行近似成员查询方法及系统技术方案

技术编号:41097647 阅读:23 留言:0更新日期:2024-04-25 13:55
本发明专利技术涉及一种时空高效的并行近似成员查询方法及系统,涉及计算机技术领域,其包括获取待操作的数据集合;将数据集合中的数据元素分为多个不相交的子数据集合,每个子数据集合分别对应一个流水线阶段;每个流水线阶段依次不断地处理等待操作的数据元素;当每个流水线阶段对数据元素的操作完成,判断是否返回操作结果;若数据元素在当前流水线阶段操作失败则进入下一个流水线阶段进行操作。本发明专利技术设计了能够避免内存访问冲突的流水线并行的近似成员查询方法,旨在利用多核CPU或可编程硬件提供的并行功能,突破现有的性能瓶颈实现更加时空高效的近似成员查询数据结构,同时解决了布谷鸟过滤器长度必须为2的幂的限制。

【技术实现步骤摘要】

本专利技术涉及计算机,尤其涉及一种时空高效的并行近似成员查询方法及系统


技术介绍

1、近似成员查询(amq:approximate membership query)在数据库、数据挖掘、生物信息学、网络测量等领域有着广泛的应用。过滤器(filter)是一种紧凑的概率型数据结构,可用于处理近似成员查询问题,即:在过滤器中存储数据集合中的数据元素,并仅根据过滤器回答给定的数据元素是否属于给定的数据集合的问题。由于过滤器所使用的内存空间远小于其存储的数据集合的规模,所以即使数据集合的规模较大只能存放在磁盘中,过滤器依然可以存储在内存层次结构的较高层(例如dram或sram)中。过滤器的另一个优势在于无需搜索整个数据集合来回答关于数据集合中特定数据元素存在性的查询,从而通过降低存储访问开销来提高查询性能。

2、近似成员查询(amq)定义如下:给定一个数据集合,通过顺序插入来自数据集合的所有数据元素来构建一个紧凑的数据结构。对于数据元素,近似成员查询方法支持查找操作来回答给定的数据元素是否属于数据集合。近似成员查询的数据结构可能会导致产生假阳性的误报,本文档来自技高网...

【技术保护点】

1.一种时空高效的并行近似成员查询方法,其特征在于,包括:

2.根据权利要求1所述的时空高效的并行近似成员查询方法,其特征在于,在每个流水线阶段依次不断地处理等待操作的数据元素中,所述数据元素的来源包括:

3.根据权利要求1所述的时空高效的并行近似成员查询方法,其特征在于,进行所述插入操作的具体步骤包括:

4.根据权利要求3所述的时空高效的并行近似成员查询方法,其特征在于,所述踢出操作包括:从所述候选存储桶中随机选择一个存储槽,交换所述存储槽和所述待插入数据元素的指纹的值。

5.根据权利要求1所述的时空高效的并行近似成员查询方法,其特征在于...

【技术特征摘要】

1.一种时空高效的并行近似成员查询方法,其特征在于,包括:

2.根据权利要求1所述的时空高效的并行近似成员查询方法,其特征在于,在每个流水线阶段依次不断地处理等待操作的数据元素中,所述数据元素的来源包括:

3.根据权利要求1所述的时空高效的并行近似成员查询方法,其特征在于,进行所述插入操作的具体步骤包括:

4.根据权利要求3所述的时空高效的并行近似成员查询方法,其特征在于,所述踢出操作包括:从所述候选存储桶中随机选择一个存储槽,交换所述存储槽和所述待插入数据元素的指纹的值。

5.根据权利要求1所述的时空高效的并行近似成员查询方法,其特征在于,进行所述查找操作的具体步骤包括:

6.根据权利要求1所述的时空高效的并行近似成员查询方法,其特征...

【专利技术属性】
技术研发人员:黄河杜扬孙玉娥舒亚鹏陆俊侯劲松蒋明谢民于浩李振伟王韬
申请(专利权)人:苏州大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1