一种数据查询方法和装置制造方法及图纸

本发明专利技术公开了一种数据查询方法和装置，所述方法包括：接收对指定数据源的数据查询请求；判断该数据查询请求是否命中一个热门数据源；所述热门数据源包含从所述指定数据源中提取出的热门数据，所述热门数据是根据多个数据查询请求确定的；若该数据查询请求命中一个热门数据源，则在命中的热门数据源中执行所述数据查询请求，并返回相应的查询结果。该技术方案通过减少数据查询时需要检索的数据量，在保证数据查询质量的前提下，大幅提高了数据查询效率。

A data query method and device

The invention discloses a method and device for querying data, the method comprises: receiving the specified data source data query; determine the data query request is hit a hot data source; the data source contains from hot hot data of the specified data source is extracted, the hot data according to a plurality of data query request is determined; if the request hit a hot data source in the data query, executing the data in the data source of the popular hit query request and return the corresponding query results. By reducing the amount of data needed for data query, this technology greatly improves the efficiency of data query under the premise of ensuring the quality of data query.

【技术实现步骤摘要】
一种数据查询方法和装置
本专利技术涉及数据查询
，具体涉及一种数据查询方法和装置。
技术介绍
在大数据场景下如何实现高效的数据查询是一个受到广泛关注的问题，针对该问题也有了一些解决方案，例如有的数据查询系统偏重解决高并发问题，有的数据查询系统偏重于降低查询延迟，但普遍来说，无论是哪种数据查询系统，所离不开的基础是数据源，而大数据场景下的数据源中存储着的海量数据是数据查询中绕不开的一个阻碍。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的数据查询方法和装置。依据本专利技术的一个方面，提供了一种数据查询方法，包括：接收对指定数据源的数据查询请求；判断该数据查询请求是否命中一个热门数据源；所述热门数据源包含从所述指定数据源中提取出的热门数据，所述热门数据是根据多个数据查询请求确定的；若该数据查询请求命中一个热门数据源，则在命中的热门数据源中执行所述数据查询请求，并返回相应的查询结果。可选地，该方法还包括：对接收到的数据查询请求进行记录；对各数据源，从记录的数据查询请求中分析出该数据源的至少一个热门数据维度集合；从各数据源中分别提取出各热门数据维度集合下的数据作为热门数据，并对应保存为热门数据源。可选地，所述从记录的数据查询请求中分析出该数据源的至少一个热门数据维度集合包括：对各数据查询请求，分别从该数据查询请求中提取出包含至少一个数据维度的数据维度集合；对提取出的所有数据维度集合数量进行统计，将统计数量不小于预设阈值的数据维度集合作为热门数据维度集合。可选地，所述从各数据源中分别提取出各热门数据维度集合下的数据作为热门数据，并对应保存为热门数据源包括：按各热门数据维度集合中的数据维度，在各数据源中分别提取出相应数据维度下的数据作为热门数据；将一个热门数据维度集合对应的热门数据按数据维度进行列式存储，得到一个热门数据源；将各热门数据源所对应的热门数据集合保存到索引信息中。可选地，所述判断该数据查询请求是否命中一个热门数据源包括：从该数据查询请求中提取出包含至少一个数据维度的数据维度集合；查询所述索引信息，判断该提取出的数据维度集合是否是任一个热门数据维度集合的子集；若是，则判断该数据查询请求命中与该热门数据维度集合对应的热门数据源。可选地，当提取出的数据维度集合是多个热门数据维度集合的子集时，将所述多个热门数据维度集合中数据维度数量最少的一个热门数据维度集合对应的热门数据源作为该数据查询请求命中的热门数据源；当所述多个热门数据维度集合中数据维度数量最少的热门数据维度集合有多个时，从中随机选取一个热门数据维度集合，将该热门数据维度集合对应的热门数据源作为该数据查询请求命中的热门数据源。可选地，所述数据查询请求是聚合查询请求；所述按将一个热门数据维度集合对应的热门数据按数据维度进行列式存储包括：根据各数据维度下的数据的数据类型，确定各数据维度下的数据在进行列式存储时对应的列的属性。可选地，所述接收对指定数据源的数据查询请求包括：为多个数据源提供统一的数据查询页面，在所述数据查询页面中接收对所述多个数据源中的指定数据源的数据查询请求。依据本专利技术的另一方面，提供了一种数据查询装置，包括：接收单元，适于接收对指定数据源的数据查询请求；判断单元，适于判断该数据查询请求是否命中一个热门数据源；所述热门数据源包含从所述指定数据源中提取出的热门数据，所述热门数据是根据多个数据查询请求确定的；查询单元，适于在该数据查询请求命中一个热门数据源时，在命中的热门数据源中执行所述数据查询请求，并返回相应的查询结果。可选地，该装置还包括：记录单元，适于对接收到的数据查询请求进行记录；热门数据源生成单元，适于对各数据源，从记录的数据查询请求中分析出该数据源的至少一个热门数据维度集合；从各数据源中分别提取出各热门数据维度集合下的数据作为热门数据，并对应保存为热门数据源。可选地，所述热门数据源生成单元，适于对各数据查询请求，分别从该数据查询请求中提取出包含至少一个数据维度的数据维度集合；对提取出的所有数据维度集合数量进行统计，将统计数量不小于预设阈值的数据维度集合作为热门数据维度集合。可选地，所述热门数据源生成单元，适于按各热门数据维度集合中的数据维度，在各数据源中分别提取出相应数据维度下的数据作为热门数据；将一个热门数据维度集合对应的热门数据按数据维度进行列式存储，得到一个热门数据源；将各热门数据源所对应的热门数据集合保存到索引信息中。可选地，所述判断单元，适于从该数据查询请求中提取出包含至少一个数据维度的数据维度集合；查询所述索引信息，判断该提取出的数据维度集合是否是任一个热门数据维度集合的子集；若是，则判断该数据查询请求命中与该热门数据维度集合对应的热门数据源。可选地，所述判断单元，适于当提取出的数据维度集合是多个热门数据维度集合的子集时，将所述多个热门数据维度集合中数据维度数量最少的一个热门数据维度集合对应的热门数据源作为该数据查询请求命中的热门数据源；当所述多个热门数据维度集合中数据维度数量最少的热门数据维度集合有多个时，从中随机选取一个热门数据维度集合，将该热门数据维度集合对应的热门数据源作为该数据查询请求命中的热门数据源。可选地，所述数据查询请求是聚合查询请求；所述热门数据源生成单元，适于根据各数据维度下的数据的数据类型，确定各数据维度下的数据在进行列式存储时对应的列的属性。可选地，所述接收单元，适于为多个数据源提供统一的数据查询页面，在所述数据查询页面中接收对所述多个数据源中的指定数据源的数据查询请求。由上述可知，本专利技术的技术方案，通过预先根据数据查询请求，得到包含热门数据的热门数据源，在接收到能够命中热门数据源的数据查询请求时，不在该数据源查询请求所指定的数据源中进行查询，而是在数据量较少的热门数据源中查询出结果。该技术方案通过减少数据查询时需要检索的数据量，在保证数据查询质量的前提下，大幅提高了数据查询效率。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了根据本专利技术一个实施例的一种数据查询方法的流程示意图；图2示出了根据本专利技术一个实施例的一种数据查询装置的结构示意图；图3示出了根据本专利技术一个实施例的另一种数据查询装置的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。图1示出了根据本专利技术一个实施例的一种数据查询方法的流程示意图，如图1所示包括：步骤S110，接收对指定数据源的数据查询请求。其中，数据查询请求可以是SQL语句等数据查询语句，指定的数据源(datasource)可本文档来自技高网...

【技术保护点】
一种数据查询方法，其中，该方法包括：接收对指定数据源的数据查询请求；判断该数据查询请求是否命中一个热门数据源；所述热门数据源包含从所述指定数据源中提取出的热门数据，所述热门数据是根据多个数据查询请求确定的；若该数据查询请求命中一个热门数据源，则在命中的热门数据源中执行所述数据查询请求，并返回相应的查询结果。

【技术特征摘要】
1.一种数据查询方法，其中，该方法包括：接收对指定数据源的数据查询请求；判断该数据查询请求是否命中一个热门数据源；所述热门数据源包含从所述指定数据源中提取出的热门数据，所述热门数据是根据多个数据查询请求确定的；若该数据查询请求命中一个热门数据源，则在命中的热门数据源中执行所述数据查询请求，并返回相应的查询结果。2.如权利要求1所述的方法，其中，该方法还包括：对接收到的数据查询请求进行记录；对各数据源，从记录的数据查询请求中分析出该数据源的至少一个热门数据维度集合；从各数据源中分别提取出各热门数据维度集合下的数据作为热门数据，并对应保存为热门数据源。3.如权利要求2所述的方法，其中，所述从记录的数据查询请求中分析出该数据源的至少一个热门数据维度集合包括：对各数据查询请求，分别从该数据查询请求中提取出包含至少一个数据维度的数据维度集合；对提取出的所有数据维度集合数量进行统计，将统计数量不小于预设阈值的数据维度集合作为热门数据维度集合。4.如权利要求2所述的方法，其中，所述从各数据源中分别提取出各热门数据维度集合下的数据作为热门数据，并对应保存为热门数据源包括：按各热门数据维度集合中的数据维度，在各数据源中分别提取出相应数据维度下的数据作为热门数据；将一个热门数据维度集合对应的热门数据按数据维度进行列式存储，得到一个热门数据源；将各热门数据源所对应的热门数据集合保存到索引信息中。5.如权利要求4所述的方法，其中，所述判断该数据查询请求是否命中一个热门数据源包括：从该数据查询请求中提取出包含至少一个数据维度的数据维度集合；查询所述索引信息，判断该提取出的数据维度集合是否是任一个热门数据维度集合的子集；若是，则判断该数据查询请求命中与该热门数据维...

【专利技术属性】
技术研发人员：倪传蕾，马庆祥，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11