一种大数据查询的方法及系统技术方案

本发明专利技术公开了一种大数据的查询方法及系统，所述方法包括：配置业务查询规则以及所述业务查询规则与查询条件的对应关系；根据对客户端的查询请求的分析结果，由所述查询请求中的查询条件提取相应的业务查询规则，根据提取出的业务查询规则构造查询方案；根据所述查询方案查询数据，将查询结果返回给客户端。本发明专利技术通过配置查询规则及其与查询条件的对应关系，从而能够根据查询条件提取相应的查询规则，构造出优化的查询方案。这样得到的查询方案，适应于不同的查询条件，保证了查询的效率。

【技术实现步骤摘要】

本专利技术涉及信息检索
，更具体的说，涉及一种大数据查询的方法及系统。
技术介绍
随着互联网的发展，各业务系统中的数据量日趋庞大，特别是电信和互联网行业更是如此。面对这些大数据进行查询的需求，查询的性能和效率是首当其冲。在服务器硬件及数据库配置等条件固定的情况下，若采用传统的查询方式，其查询效率随着数据量不断增大，会不断的降低，用户查询的响应时间会越来越慢，甚至会出现由于查询导致数据库无法使用的情况。尽管可考虑弓I入搜索弓I擎来实现海量数据的查询操作，但由于搜索引擎不能有效的理解业务数据，要实现针对特定行业的业务数据的快速分析查询，引入搜索引擎难度较大、工作量和实现复杂度太高。
技术实现思路
本专利技术要解决的主要技术问题是，提供一种大数据查询的方法及系统，能够高效、 快速地输出查询结果。为解决上述技术问题，本专利技术采用了如下技术方案一种大数据的查询方法，包括配置业务查询规则以及所述业务查询规则与查询条件的对应关系；根据对客户端的查询请求的分析结果，由所述查询请求中的查询条件提取相应的业务查询规则，根据提取出的业务查询规则构造查询方案；根据所述查询方案查询数据，将查询结果返回给客户端。在本专利技术所述方法的一种实施例中，所述配置业务查询规则为配置不同业务属性的对应查询粒度。在本专利技术所述方法的一种实施例中，还包括存储查询历史，所述查询历史中记录有历史查询条件以及所述历史查询条件对应的历史查询结果和历史查询方案中的至少一者，如果客户端的查询请求中的查询条件与历史查询条件相同，则根据查询历史直接向客户端返回对应的历史查询结果，或者根据查询历史中对应的历史查询方案查询数据，将查询结果返回给客户端。在本专利技术所述方法的一种实施例中，还包括对不同的数据源类型进行适配。在本专利技术所述方法的一种实施例中，还包括设置预查询阈值及查询标记；当本次查询出的数据量达到所述预查询阈值，将本次查询出的数据作为本次查询结果返回给客户端，并通过查询标记对本次查询结果进行标记；并在下一次按同样查询方案进行查询时根据查询标记继续查询。本专利技术还提供了一种大数据的查询系统，包括查询配置单元，用于配置业务查询规则以及所述业务查询规则与查询条件的对应关系；查询方案构造单元，用于根据对客户端的查询请求的分析结果，由所述查询请求中的查询条件提取相应的业务查询规则，根据提取出的业务查询规则构造查询方案；查询单元，用于根据所述查询方案查询数据，将查询结果返回给客户端。在本专利技术所述系统的一种实施例中，所述配置业务查询规则为配置不同业务属性的对应查询粒度。在本专利技术所述系统的一种实施例中，还包括查询存储单元，用于存储查询历史，所述查询历史中记录有历史查询条件以及所述历史查询条件对应的历史查询结果和历史查询方案中的至少一者，所述查询单元在客户端的查询请求中的查询条件与历史查询条件相同时，根据查询历史直接向客户端返回对应的历史查询结果，或者根据查询历史中对应的历史查询方案查询数据，将查询结果返回给客户端。在本专利技术所述系统的一种实施例中，还包括数据源适配单元，用于对不同的数据源类型进行适配。在本专利技术所述系统的一种实施例中，还包括预查询设置单元，用于设置预查询阈值及查询标记；所述查询单元在本次查询出的数据量达到所述预查询阈值时，将本次查询出的数据作为本次查询结果返回给客户端；所述预查询设置单元通过查询标记对本次查询结果进行标记；所述查询单元在下一次按同样查询方案进行查询时根据查询标记继续查询。本专利技术通过配置查询规则及其与查询条件的对应关系，从而能够根据查询条件提取相应的查询规则，构造出优化的查询方案。这样得到的查询方案，适应于不同的查询条件，保证了查询的效率。附图说明图1是本专利技术实施例的大数据查询系统架构示意图；图2是本专利技术实施例的大数据查询适配任意数据源系统架构示意图；图3是本专利技术实施例的大数据查询系统的工作流程图；图4是本专利技术实施例的大数据查询的业务分析流程图；图5是本专利技术实施例的大数据查询处理流程图；图6是本专利技术实施例的数据源适配模块处理关系图；图7是本专利技术实施例的大数据查询适配任意数据源系统文件数据源处理流程图。 具体实施例方式下面通过具体实施方式结合附图对本专利技术作进一步详细说明。本专利技术实施例的大数据查询方法，其主要包括配置业务查询规则以及所述业务查询规则与查询条件的对应关系；根据对客户端的查询请求的分析结果，由所述查询请求中的查询条件提取相应的业务查询规则，根据提取出的业务查询规则构造查询方案；根据所述查询方案查询数据，将查询结果返回给客户端。其中，业务查询规则主要是配置业务系统的不同业务属性的对应查询粒度。业务属性，例如包括时间、类型、费率等等，例如一种业务查询规则可以是配置不同业务属性号码对应的不同时间粒度，其中，可以配置业务属性SP号码的数据的最小粒度为分钟，配置业务属性个人号码的数据的最小粒度为天。而查询条件中常见以号码和时间作为查询条件，因此，通过查询条件与业务查询规则的对应关系，找到查询条件中的查询号码所对应的业务查询规则，例如如果查询条件的查询号码是SP号码，则对应的业务查询规则是以分钟为粒度进行查询；查询号码是个人号码，则对应的业务查询规则是以天为粒度进行查询。如果一种查询条件为查询SP号码数据，查询时间为一天，则根据粒度划分为 24*60次查询，每次向用户返回一个粒度的数据，并可例如设置定时刷新，即每次返回一个粒度数据后，在定时时间到或者一个粒度的数据查询完毕后，自动向用户返回下一个粒度的数据。类似的，如果一种查询条件是查询个人号码数据，查询时间为两天，则根据粒度划分为两次次查询，每次向用户返回一个粒度的数据。又如，在业务查询规则中，可以配置繁忙时间段，比如5月1日至3日的三天、10月 1日至7日的七天、新年的七天等重要节假日为繁忙时间段，如果查询条件中的查询时间范围包括繁忙时间段，则按小时为粒度查询数据，如果为非繁忙时间段时，按天或月为粒度进行数据查询。又如对于8860开头的SP号码，由于此类SP开展的业务种类较多，且每种消息的费率都不同，因此可以配置业务查询规则为按费率类型为粒度进行查询。如果查询条件的号码是8860开头，则根据对应关系找到对应的业务查询规则是按数据的费率类型进行粒度查询，则每次只查询一种费率类型的数据。在用户需要后续数据时，再查询下一粒度的数据。如图1所示，实现上述大数据查询方法的一种系统包括控制模块、业务分析模块、查询模块。控制模块与业务分析模块、查询模块相连。控制模块接收客户端的查询请求，控制各个模块之间的流程关系。控制模块根据客户端的查询请求中的查询条件，判断是否已经存在请求对应的已经完成的查询，如果存在直接进入查询模块，否则将进入业务分析模块，作后续处理。业务分析模块与控制模块相连。当收到控制模块的请求后，业务分析模块从业务经验库查找是否已经存在请求条件对应的查询方案，如果没有则分析客户端请求的查询条件，根据配置的业务查询规则，对查询条件和业务查询规则进行匹配分析，由匹配的业务查询规则构造出一种优化的查询方案输出到控制模块，而后由控制模块将业务分析模块输出的查询方案传递到查询模块。查询模块与控制模块相连。查询模块接收控制模块传递来的查询方案后，根据查询方案查询数据，向客户端返回查询结果。查询模块也可以附带存本文档来自技高网...

【技术保护点】
１．一种大数据的查询方法，其特征在于，包括：配置业务查询规则以及所述业务查询规则与查询条件的对应关系；根据对客户端的查询请求的分析结果，由所述查询请求中的查询条件提取相应的业务查询规则，根据提取出的业务查询规则构造查询方案；根据所述查询方案查询数据，将查询结果返回给客户端。

【技术特征摘要】

【专利技术属性】
技术研发人员：王志红，徐震海，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：94