修剪索引以增强数据库查询处理制造技术

本申请公开了修剪索引以增强数据库查询处理。由基于网络的数据仓库访问被组织成微分区集合的源表。基于源表生成修剪索引。修剪索引包括过滤器集合，这些过滤器指示源表的每一列中不同值的位置。在基于网络的数据仓库接收针对源表的查询。使用修剪索引处理查询。查询的处理包括修剪源表的微分区集合以扫描匹配查询的数据，多个微分区的修剪包括使用修剪索引识别微分区子集以扫描匹配查询的数据。引识别微分区子集以扫描匹配查询的数据。引识别微分区子集以扫描匹配查询的数据。

【技术实现步骤摘要】
修剪索引以增强数据库查询处理


[0001]本公开的实施例总体上涉及数据库，并且更具体地，涉及生成并使用修剪索引(pruning index)来增强云数据仓库系统中的数据库查询处理。
[0002]背景
[0003]数据库广泛用于计算应用中的数据存储和访问。数据库存储的目标是以有组织的方式提供大量信息，以便可以访问、管理和更新。在数据库中，数据可以组织成行、列和表。各种实体和公司使用数据库来存储可能需要被访问或分析的信息。
[0004]云数据仓库(也称为“基于网络的数据仓库(network
‑
based data warehouse)”或简称为“数据仓库”)是用于数据分析和报告的基于网络的系统，其包括来自一个或更多个不同源的集成数据的中央储存库。云数据仓库可以存储当前和历史数据，这些数据可用于根据存储在企业数据库中的数据为企业创建分析报告。为此，数据仓库通常提供商业智能工具、提取、变换数据并将数据加载到储存库中的工具、以及管理和检索元数据的工具。
[0005]当要从数据库中提取某些信息时，可以对数据库数据执行查询语本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于网络的数据仓库系统，包括：至少一个硬件处理器；以及存储器，所述存储器存储使所述至少一个硬件处理器执行包括以下项的操作的指令：访问被组织成微分区集合的源表；基于所述源表生成修剪索引，所述修剪索引包括对所述源表的每一列中的不同值进行索引的过滤器集合；接收针对所述源表的查询；以及使用所述修剪索引处理所述查询，所述查询的处理包括修剪所述源表的微分区集合以扫描匹配所述查询的数据，所述微分区集合的修剪包括使用所述修剪索引识别微分区子集以扫描匹配所述查询的数据。2.根据权利要求1所述的基于网络的数据仓库系统，其中，生成所述修剪索引包括：为所述源表中的微分区集合中的每个微分区生成过滤器。3.根据权利要求2所述的基于网络的数据仓库系统，其中，为每个微分区生成过滤器包括通过执行包括以下项的操作为第一微分区生成第一过滤器：针对给定的数据值，基于所述数据值识别所述第一过滤器内的单元；基于所述数据值生成散列值；以及使用所述散列值填充所述第一过滤器中的所述单元。4.根据权利要求3所述的基于网络的数据仓库系统，还包括：计算所述第一过滤器中的级别数量；其中，识别所述单元包括：基于所述数据值和所述第一过滤器中的级别数量来识别所述第一过滤器中的切片；以及基于所述数据值和所述第一过滤器中的过滤器列数来识别过滤器列。5.根据权利要求3所述的基于网络的数据仓库系统，其中，生成所述第一过滤器还包括：基于目标假阳性率合并所述第一过滤器的一行或更多行。6.根据权利要求1所述的基于网络的数据仓库系统，其中：所述过滤器集合中的过滤器包括布隆过滤器集合；并且所述修剪索引还包括多个列，所述多个列包括微分区标识符列、切片号列和所述布隆过滤器集合。7.根据权利要求6所述的基于网络的数据仓库系统，还包括：基于所述切片号列对所述修剪索引进行聚类。8.根据权利要求1所述的基于网络的数据仓库系统，其中：所述过滤器集合中的每个过滤器包括多个布隆过滤器，每个分块布隆过滤器中布隆过滤器的数量基于假阳性率约束。9.根据权利要求1所述的基于网络的数据仓库系统，其中，使用所述修剪索引处理所述查询包括：基于包括在所述查询中的等式谓词生成散列值；
识别所述修剪索引中匹配所述散列值的一个或更多个值；以及基于所述修剪索引中匹配所述散列值的所述一个或更多个值，识别潜在地满足所述等式谓词的一个或更多个微分区。10.根据权利要求1所述的基于网络的数据仓库系统，其中，所述操作还包括：检测所述源表的变化；基于所述源表的变化为所述修剪索引生成一个或更多个附加行；以及基于切片号重新聚类所述修剪索引。11.根据权利要求1所述的基于网络的数据仓库系统，其中，所述操作还包括：扫描所述源表的微分区子集以识别匹配所述查询的数据。12.根据权利要求11所述的基于网络的数据仓库系统，其中，识别微分区子集以扫描匹配所述查询的数据包括识别其中潜在地存储了匹配所述查询的数据的一个或更多个微分区。13.一种方法，包括：访问被组织成微分区集合的源表；由计算机的一个或更多个硬件处理器基于所述源表生成修剪索引，所述修剪索引包括对所述源表的每一列中的不同值进行索引的过滤器集合；接收针对所述源表的查询；以及使用所述修剪索引处理所述查询，所述查询的处理包括修剪所述源表的微分区集合以扫描匹配所述查询的数据，所述微分区集合的修剪包括使用所述修剪索引识别微分区子集以扫描匹配所述查询的数据。14.根据权利要求13所述的方法，其中，生成所述修剪索引包括：为所述源表的微分区集合中的每个微分区生成过滤器。15.根据权利要求14所述的方法，其中，为每个微分区生成过滤器包括通过执行包括以下项的操作为第一微分区生成第一过滤器：针对给定的数据值，基于所述数据值识别所述第一过滤器内的单元；基于所述数据值生成散列值；以及使用所述散列值填充所述第一过滤器中的所述单元。1...

【专利技术属性】
技术研发人员：蒂埃里，
申请(专利权)人：斯诺弗雷克公司，
类型：发明
国别省市：