一种基于大数据的即席查询方法及设备技术

本发明专利技术提供一种基于大数据的即席查询方法，包括如下步骤：在Hadoop平台上创建大宽表，建立多个关联字段名，从多个原始数据表中提取包含该些关联字段名的字段，将该字段及字段对应的值写入主题对应的大宽表中，用户自定义查询内容；系统后台中的查询适配器根据要访问的数据库类型将自定义查询内容构建成可在对应数据库中执行的SQL语句；系统后台中的数据库适配器根据要访问的数据库的类型将SQL语句转换成符合该数据库函数标准的执行语句，运行该执行语句；以二维表格和图形中的至少一种形式展现查询结果。本发明专利技术提供了贴源的数据环境和平台，分析人员可根据需求组装自己的数据视角，扩宽分析视角，提高分析效率。

An ad hoc query method and equipment based on big data

The invention provides an ad-hoc query method based on big data, which comprises the following steps: creating a big wide table on the Hadoop platform, establishing multiple associated field names, extracting the fields containing the associated field names from multiple original data tables, writing the corresponding values of the fields and fields into the large wide table corresponding to the subject, user-defined query content, query adaptation in the background of the system According to the type of database to be accessed, the database adapter in the background of the system converts the SQL statement to the execution statement that conforms to the database function standard according to the type of database to be accessed, and runs the execution statement. The query results are presented in at least one form of two-dimensional tables and graphs. The invention provides a data environment and a platform for pasting the source, and the analyst can assemble his own data perspective according to the demand, widen the analysis perspective and improve the analysis efficiency.

【技术实现步骤摘要】
一种基于大数据的即席查询方法及设备
本专利技术涉及一种基于大数据的即席查询方法及设备，属于大数据查询领域。
技术介绍
即席查询，是指在事先没有设定好查询内容和数据展现方式的情况下，由用户自行发起的数据探索性查询展现的方式，即，没有数据库操作技能的用户根据自己的思路操作分析数据库中的数据。随着数据服务价值的提升，越来越多的产品人员、运营人员开始适应数据化运营的工作方式，因此，提供针对海量多维数据的即席查询功能，将极大提升数据分析的效率，释放数据产品经理及数据分析师的潜能，逐渐为企业的大数据应用打下良好的基础。在传统的关系型数据库平台上进行数据查询，根据用户设置的查询字段构建SQL语句，在数据表中字段数太多或者设置的查询字段太多时，都会影响SQL语句的查询效率，现有技术支撑不了随机大数据量即席查询所需要的效率，因此，现有技术中从未考虑过构建300-500字段（至少包含1亿条记录）的大宽表。同时，在现有技术中，本领域技术人员一般都是将数据表经过层层的加工处理，去除技术人员认为无用的字段，使得单表字段减少后再提供给用户进行查询，为了保证数据查询本文档来自技高网...

【技术保护点】
1.一种基于大数据的即席查询方法，其特征在于，包括如下步骤：/n在Hadoop平台上创建大宽表，每一大宽表对应一主题，根据该主题建立多个关联字段名，从多个原始数据表中提取包含该些关联字段名的字段，然后将该字段及字段对应的值写入该主题对应的大宽表中，形成包含多字段的大宽表；/n用户选择一主题对应的大宽表，然后跳转到与该主题对应的查询操作页面，在所述查询操作页面用户自定义查询内容，所述查询内容包括查询字段；/n系统后台中包含一查询适配器，其根据要访问的数据库类型将用户自定义的查询内容自动构建成符合该数据库语句标准的SQL语句；/n系统后台中还包含一数据库适配器，其根据要访问的数据库的类型将所述SQ...

【技术特征摘要】
1.一种基于大数据的即席查询方法，其特征在于，包括如下步骤：
在Hadoop平台上创建大宽表，每一大宽表对应一主题，根据该主题建立多个关联字段名，从多个原始数据表中提取包含该些关联字段名的字段，然后将该字段及字段对应的值写入该主题对应的大宽表中，形成包含多字段的大宽表；
用户选择一主题对应的大宽表，然后跳转到与该主题对应的查询操作页面，在所述查询操作页面用户自定义查询内容，所述查询内容包括查询字段；
系统后台中包含一查询适配器，其根据要访问的数据库类型将用户自定义的查询内容自动构建成符合该数据库语句标准的SQL语句；
系统后台中还包含一数据库适配器，其根据要访问的数据库的类型将所述SQL语句转自动换成符合该数据库平台函数标准的执行语句并执行；
获取到查询结果，以二维表格和图形中的至少一种形式展现查询结果。


2.如权利要求1所述的一种基于大数据的即席查询方法，其特征在于：用户在查询操作页面还可以自定义的查询内容包括展示属性和过滤条件，系统后台的查询适配器根据用户自定义的查询字段、展示属性和过滤条件自动构建SQL语句。


3.如权利要求2所述的一种基于大数据的即席查询方法，其特征在于：所述自定义展示属性包括设定查询结果按其中一查询字段的升序或降序排列和设定查询结果按其中一查询字段进行分组，所述其中一查询字段由用户从设定的查询字段中自定义设置。


4.如权利要求1所述的一种基于大数据的即席查询方法，其特征在于：所述图形展现查询结果具体为：将查询结果转换成Json格式，然后调用Highchart函数进行图形展现。


5.如权利要求1所述的一种基于大数据的即席查询方法，其特征在于：所述查询操作页面还提供多个可供选择的查询字段，用户通过点击或拖拽自定义需要的查询字段。


6.如权利要求1所述的一种基于大数据的即席查询方法，其特征在于：所述数据库适配器内建立了所述SQL语句与不同类型数据库的函数映射关系，根据要访问的数据库类型，所述数据库适配器调用对应的函数映射关系将所...

【专利技术属性】
技术研发人员：邱涛，丘水文，陈昊，陈耀才，
申请(专利权)人：厦门商集网络科技有限责任公司，
类型：发明
国别省市：福建;35