一种海量数据查询方法技术

本发明专利技术公开了一种海量数据查询方法，属于信息技术领域。本发明专利技术方法包括：a)对海 量数据实体表按设定的时间间隔进行分区；b)建立所述实体表中属性名称的二维统计表， 其中一维表示设定的时间区间内的各个时间间隔，另一维表示属性名称的属性列中的属性 数据，统计表中的内容表示在某个时间间隔内存在某个属性数据的实体表的名称；c)查询 时，若查询条件中包括经统计的属性名称，则根据该属性名称的统计表和查询条件中设定 的时间区间获得在该时间区间内的实体表分区的集合；d)根据该集合缩小海量数据查询范 围再进行查询。本发明专利技术方法可用于诸如电信行业的计费查询系统、大型网站交易平台等大 型系统中的海量数据查询。

【技术实现步骤摘要】

本专利技术涉及数据库数据査询，尤其涉及一种提高了査询性能的海量数据查询方法，属 于信息

技术介绍
査询是用户从数据库获取信息的唯一方式，也是一般应用系统的主要功能，而系统的 査询效率也是衡量其实用性的关键指标之一。在电信和互联网等行业里，随着信息化的发 展，企业要处理的数据爆炸式的增长，数据量都达到了TB级、PB级，随着数据量增多， 系统的负载越来越大，在不增加硬件成本的情况下，用户査询数据性能随之下降。如何发 挥已有系统的最大性能，使查询速度能满足实用的要求是许多企业面对的难题，目前常用 的传统方法有(1) 建立合理的索引(2) 使用分区技术(3) 使用分布式数据库(4) 使用HINT暗示，使用PL/SQL(5) 基于物化视图的查询重写(6) 基于缓存技术上述方法采用的手段归根结底都是通过减少IO磁盘的访问来提高查询性能。比如，系 统中都使用按时间分区的技术，当用户查询条件有时间范围的时候，只需要查询包含这段 时间的数据分区而不用査询所有的分区，这样就可以减少IO磁盘访问。建立合理的索引也 是如此，根据用户査询的条件，先从包含这些条件的索引中找到满足条件的ROWID，再本文档来自技高网...

【技术保护点】
一种海量数据查询方法，其特征在于，包括下列步骤：　ａ）进行海量数据查询前，对于一个或多个海量数据实体表，按照设定的时间间隔对每个实体表进行分区，得到各个实体表的多个实体表分区；　ｂ）建立所述实体表中一个或多个属性名称的独立的一个或多个统计表，每个属性名称的每个统计表均为二维统计表，其中一维表示设定的时间区间内的各个时间间隔，另一维表示所述属性名称的属性列中的各个属性数据，统计表中的内容表示在某个时间间隔内存在某个属性数据的实体表的名称；　ｃ）进行海量数据查询时，若查询条件中包括经过步骤ｂ统计的属性名称，则获得所述属性名称的统计表，并根据该统计表和查询条件中设定的时间区间获得在该时间区间内的实体...

【技术特征摘要】
1. 一种海量数据查询方法，其特征在于，包括下列步骤a)进行海量数据查询前，对于一个或多个海量数据实体表，按照设定的时间间隔对每个实体表进行分区，得到各个实体表的多个实体表分区；b)建立所述实体表中一个或多个属性名称的独立的一个或多个统计表，每个属性名称的每个统计表均为二维统计表，其中一维表示设定的时间区间内的各个时间间隔，另一维表示所述属性名称的属性列中的各个属性数据，统计表中的内容表示在某个时间间隔内存在某个属性数据的实体表的名称；c)进行海量数据查询时，若查询条件中包括经过步骤b统计的属性名称，则获得所述属性名称的统计表，并根据该统计表和查询条件中设定的时间区间获得在该时间区间内的实体表分区的集合；d)根据步骤c获得的实体表分区集合缩小海量数据查询范围，并根据所述集合中的实体表分区进行海量数据查询。2. 如权利要求1所述的海量数据査询方法，其特征在于，在步骤c中，若査询条件中包括多个经过步骤b统计的属性名称，则根据各个属性名称依次获得实体表分区集合后取交...

【专利技术属性】
技术研发人员：储院生，
申请(专利权)人：北京锐安科技有限公司，
类型：发明
国别省市：11