一种统计数据的即席查询方法及系统技术方案

本发明专利技术涉及一种统计数据的即席查询方法及系统。一种统计数据的即席查询方法包括：根据数据需求选择统计数据的数据维度并配置筛选条件；根据所述数据维度和筛选条件从数据库中加载数据维度相关的信息；根据所述数据维度相关的信息构造结构化查询语句；执行所述结构化查询语句，返回数据结果。有效解决了数据需求人员不能自助提取数据，过于依赖于BI工程师，以及当前提数流程需要经过提出需求、BI工程师分析需求、编写提数程序、报表生成和邮件发送报表这个复杂的流程，耗时长，效率低的问题。

An impromptu query method and system for statistical data

The invention relates to an extemporaneous inquiry method and system for statistical data. An impromptu query method for statistical data includes selecting the data dimension of the statistical data according to the data requirements and configuring the screening conditions; loading data dimension related information from the database according to the data dimension and screening conditions; constructing structured query statements based on the information related to the data dimension; executing the node. Construct query statements and return data results. It effectively solves the problem that data demand personnel can not extract data from self-help, too much rely on BI engineers, and the current process needs to put forward requirements, analysis requirements of BI engineers, write a number program, report generation and mail sending reports, which are time-consuming and inefficient.

【技术实现步骤摘要】
一种统计数据的即席查询方法及系统
本专利技术涉及计算机网络
，尤其涉及一种统计数据的即席查询方法及系统。
技术介绍
在大数据日益盛行的时代，做任何一个商业决策之前都希望建立在大数据的统计分析之上，如何获取这些统计数据，并且能尽可能快速的获取统计数据是非常关键的。目前获取数据的普遍方式是BI工程师通过编写数据运算程序，利用大数据平台进行数据提取，并将数据提供给数据需求人员。该现有技术的具体流程为：业务数据需求人员向BI工程师提出提取数据的需求；BI工程师分析数据需求；编写数据运算的程序(结构化查询语言SQL)；在大数据平台上执行数据运算程序；将数据结果生成数据报表(比如:Excel文件格式报表)；BI工程师将数据报表以邮件的方式发送给数据需求人员。上述现有技术获取统计数据要经过发起提取数据需求，BI工程师分析需求、编写程序，执行程序且生成报表，以及邮件发送报表的过程，不仅流程复杂，速度慢、耗时较长，效率很低，而且整个获取统计数据的过程需要BI工程师参与，且需要编写数据运算的程序，强依赖于BI工程师。
技术实现思路
有鉴于此，本专利技术提供一种统计数据的即席查询方法及系统，能够让数据需求人员自助选择需要的统计数据的数据维度，根据数据维度相关的信息生成查询的SQL，提交给大数据平台进行数据运算，并将数据结果实时展现，同时提供数据报表导出功能，进而解决需要编写数据运算的程序，强依赖于BI工程师，速度慢、耗时较长，效率很低的问题。为实现上述目的，根据本专利技术的一个方面，提供了一种统计数据的即席查询方法。本专利技术的方法包括：根据数据需求选择统计数据的数据维度并配置筛选条件；根据所述数据维度和筛选条件从数据库中加载数据维度相关的信息；根据所述数据维度相关的信息构造结构化查询语句；执行所述结构化查询语句，返回数据结果。可选地，本专利技术的方法还包括：对基础数据群中海量数据进行预处理，获得有规则的业务数据并存储；并且对业务数据进行数据维度维护，以及将数据维度相关的信息存储在数据库中。可选地，本专利技术的方法还包括：通过java数据库连接与数据查询引擎连接；返回数据结果后展示和下载所述数据结果。可选地，所述数据查询引擎为Presto。可选地，本专利技术的方法还包括：调用数据查询引擎的查询接口以查询数据，并且返回数据结果。根据本专利技术的另一方面，提供了一种统计数据的即席查询系统。本专利技术的系统包括：即席查询模块、数据库、大数据平台；所述即席查询模块包括数据选择器和SQL构造器，所述数据选择器用于根据数据需求选择统计数据的数据维度并配置筛选条件；以及根据所述数据维度和筛选条件从数据库中加载数据维度相关的信息；所述SQL构造器用于根据所述数据维度相关的信息构造结构化查询语句；所述大数据平台用于执行所述结构化查询语言，返回数据结果。可选地，所述大数据平台还用于对基础数据群中海量数据进行预处理，获得有规则的业务数据并存储。所述即席查询模块的数据源构建单元，对业务数据进行数据维度维护，以及将数据维度相关的信息存储在所述数据库中。可选地，所述即席查询模块还包括：连接单元，用于通过java数据库连接与数据查询引擎连接；展示单元，用于数据结果返回后展示和下载所述数据结果。可选地，所述数据查询引擎为Presto。可选地，所述大数据平台还用于调用数据查询引擎的查询接口以查询数据，以及返回数据结果。根据本专利技术的技术方案，通过选择所需要的数据维度和配置筛选条件，并且根据这些数据维度相关的信息，生成结构化查询语句SQL，执行SQL查询语句后，返回查询的数据结果。本专利技术的技术方案可查询各维度统计数据，且能实时返回统计结果，方便快捷，效率高，并且不依赖于BI工程师。上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。附图说明附图用于更好地理解本专利技术，不构成对本专利技术的不当限定。其中：图1是根据本专利技术实施例的一种统计数据的即席查询方法主要步骤的示意图；图2是根据本专利技术实施例的一种统计数据的即席查询方法的流程图；图3是根据本专利技术实施例的一种统计数据的即席查询系统的主要模块的示意图；图4是根据本专利技术实施例的一种统计数据的即席查询系统的示意图。具体实施方式以下结合附图对本专利技术的示范性实施例做出说明，其中包括本专利技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本专利技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。图1是根据本专利技术实施例的一种统计数据的即席查询方法主要步骤的示意图。如图1所示，本专利技术实施例的一种统计数据的即席查询方法的主要步骤包括：S11：根据数据需求选择统计数据的数据维度并配置筛选条件。数据需求人员可通过数据选择器根据数据需求选择统计数据的数据维度并配置筛选条件。在此之前，BI(商务智能)工程师对基础数据群中海量数据进行预处理，获得有规则的业务数据并存储；并且对业务数据进行数据维度维护，以及将数据维度相关的信息存储在数据库中。S12：根据数据维度和筛选条件从数据库中加载数据维度相关的信息。数据需求人员根据数据需求，从配置的各个数据维度中，选择需要查看的数据维度，根据选择的数据维度从数据库中获取数据维度相关的信息(数据维度相关的信息包括：数据表名称、字段名称，字段描述等信息)，并将数据维度相关的信息传递给SQL构造器。S13：根据数据维度相关的信息构造结构化查询语句。SQL构造器根据数据维度相关的信息构造结构化查询语句(SQL)。S14：执行结构化查询语句，返回数据结果。其中，通过java数据库连接(JDBC)与数据查询引擎连接；调用数据查询引擎的查询接口以查询数据，并返回数据结果；还可展示和下载数据结果，该执行过程使得执行效率大大提高。数据查询引擎为Presto，Presto是一个开源的分布式SQL查询引擎，提供有数据查询等API接口。通过JDBC与Presto进行连接，提交由SQL构造器生成的SQL给Presto，Presto执行SQL。数据查询引擎还可以为Hive、Impala、Shark或Stinger等。图2是根据本专利技术实施例的一种统计数据的即席查询方法的流程图。如图2所示，本专利技术实施例的一种统计数据的即席查询方法包括：S201：对基础数据群中海量数据进行预处理，获得有规则的业务数据并存储。大数据平台负责海量数据存储和运算，包括基础数据集市、业务数据集市和Presto三大部分。基础数据集市用于海量大数据的收集和存储基础数据，其中基础数据包括用户访问网站的日志信息，商品信息，评论信息等。基础数据集市将数据按照一定的业务规则，推送给业务数据集市，推送的数据内容是根据业务数据集市订阅的数据内容决定的，即数据订阅。BI工程师根据业务情况编写处理程序，把基础数据集市的海量数据进行预处理，并将处理后的数据进行存储，以便即席查询时更快。比如，在基础数据集市上，把订单数据处理分成海外订单和国内订单，存储于业务数据集市。或者按照维度对基础数据进行分类处理(已完成订单、用户浏览、存入购物车)，并将处理后的规则的业务数据存储在业务数据集市。S202：对业务数据进行数据维度维护，以及将数据维度相关的信息存储在数据库中。BI工本文档来自技高网...

【技术保护点】
1.一种统计数据的即席查询方法，其特征在于，包括：根据数据需求选择统计数据的数据维度并配置筛选条件；根据所述数据维度和筛选条件从数据库中加载数据维度相关的信息；根据所述数据维度相关的信息构造结构化查询语句；执行所述结构化查询语句，返回数据结果。

【技术特征摘要】
1.一种统计数据的即席查询方法，其特征在于，包括：根据数据需求选择统计数据的数据维度并配置筛选条件；根据所述数据维度和筛选条件从数据库中加载数据维度相关的信息；根据所述数据维度相关的信息构造结构化查询语句；执行所述结构化查询语句，返回数据结果。2.根据权利要求1所述方法，其特征在于，还包括：对基础数据群中海量数据进行预处理，获得有规则的业务数据并存储；并且对业务数据进行数据维度维护，以及将数据维度相关的信息存储在数据库中。3.根据权利要求1所述方法，其特征在于，还包括：通过java数据库连接与数据查询引擎连接；返回数据结果后展示和下载所述数据结果。4.根据权利要求3所述方法，其特征在于，所述数据查询引擎为Presto。5.根据权利要求1所述方法，其特征在于，还包括：调用数据查询引擎的查询接口以查询数据，并且返回数据结果。6.一种统计数据的即席查询系统，其特征在于，包括：即席查询模块、数据库、大数据平台；所述即席查询模块包括数据选择器和SQL构...

【专利技术属性】
技术研发人员：贺长荣，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11