一种基于多维范围过滤器的多维区域查询处理系统、方法、程序、设备及存储介质技术方案

本发明专利技术属于多维数据处理技术领域，具体涉及一种基于多维范围过滤器的多维区域查询处理系统、方法、程序、设备及存储介质。本发明专利技术中首先将多维数组划分为数据块，获取各数据块的非空范围集合，并对非空范围集合内的各范围计算编号；对于每个数据块，针对其非空范围集合中的所有范围构建压缩位图和布隆过滤器，比较压缩位图和布隆过滤器存储空间代价，选择存储空间代价较小的结构作为当前数据块的多维范围过滤器；最后使用多维范围过滤器进行多维区域查询处理。本发明专利技术通过构建多维范围过滤器，实现亚线性时间复杂度的高效区域查询处理。

【技术实现步骤摘要】

本专利技术属于多维数据处理，具体涉及一种基于多维范围过滤器的多维区域查询处理系统、方法、程序、设备及存储介质。

技术介绍

1、在大数据时代，多维数据出现在工业大数据、科学大数据、生物大数据等诸多领域。传统区域查询处理算法的时间复杂度下界是ω(n)的，因最坏情况需要扫描全体数据，其中n是输入数据集的大小。然而，对于大数据而言，ω(n)的时间代价太过高昂。例如，使用拥有6gb每秒读写速度的固态硬盘扫描1eb数据需要长达5.28年，而读写速度更慢的机械硬盘耗费的时间则更长。因此，传统的区域查询处理算法对于多维大数据是不适用的，亟需一个高效的多维区域查询处理算法。实际上，通过区域查询选择出来的目标数据的数据量往往远小于全体数据。因此，可以通过使用范围过滤器来避免读取无用的数据，以此降低区域查询处理的时间复杂度。然而，现有的范围过滤器只考虑了一维的情况，对于在两维或两维以上有范围选择的多维区域查询，这些一维的范围过滤器不能获得良好的查询处理性能。

技术实现思路

1、本专利技术的目的在于提供一种基于多维范围过滤器的多维区本文档来自技高网...

【技术保护点】

1.一种基于多维范围过滤器的多维区域查询处理系统，其特征在于：包括范围集合构建模块、多维范围过滤器构建模块和区域查询处理模块；所述范围集合构建模块用于将多维数组划分为数据块，获取各数据块的非空范围集合，并对非空范围集合内的各范围计算编号；所述多维范围过滤器构建模块用于对每个数据块在其范围集合上构建子过滤器，并集成所有子过滤器构成多维范围过滤器；所述区域查询处理模块用于根据多维范围过滤器进行多维区域查询处理。

2.一种基于多维范围过滤器的多维区域查询处理方法，其特征在于，包括以下步骤：

3.根据权利要求2所述的一种基于多维范围过滤器的多维区域查询处理方法，其特征在于...

【技术特征摘要】

1.一种基于多维范围过滤器的多维区域查询处理系统，其特征在于：包括范围集合构建模块、多维范围过滤器构建模块和区域查询处理模块；所述范围集合构建模块用于将多维数组划分为数据块，获取各数据块的非空范围集合，并对非空范围集合内的各范围计算编号；所述多维范围过滤器构建模块用于对每个数据块在其范围集合上构建子过滤器，并集成所有子过滤器构成多维范围过滤器；所述区域查询处理模块用于根据多维范围过滤器进行多维区域查询处理。

2.一种基于多维范围过滤器的多维区域查询处理方法，其特征在于，包括以下步骤：

3.根据权利要求2所述的一种基于多维范围过滤器的多维区域查询处理方法，其特征在于：所述步骤1具体为：

4.根据权利要求2所述的一种基于多维范围过滤器的多维区域查询处理方法，其特征在于：所述步骤2具体为：对于每个数据块，针对其非空范围集合中的所有范围构建压缩位图和布隆过滤器，比较压缩位图和布隆过滤器存储空间代价，选择存储空间代价较小的结构作为当前数据块的多维范围过滤器。

5.根据权利要求4所述的一种基于多维范围过滤器的多维区域查询处理方法，其特征在于：所述构建压缩位图的方法具体为：将位图划分为若干部分，每部分包含31比特，将上述部分分为三类，分别是0填充部分...

【专利技术属性】
技术研发人员：韩帅，杨武，苘大鹏，吕继光，王焕然，许晨，王翰博，谭静文，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：