一种数据库个性化自助查询平台和方法技术

本发明专利技术公开了一种数据库个性化自助查询平台和方法，包括：图形化用户接口模块，用于用户登录系统，选择查询引擎进入查询页面，用户编写或则拖动生成逻辑(python)；后台逻辑引擎模块，用于接收前台生成的逻辑，并提交给后台逻辑引擎(impala hive mysql)；调度任务执行模块，用于解析并生成调度任务执行(azkabn)。本发明专利技术引进hue+azkaban的大数据内存计算引擎和分布式调度引擎来满足使用人员的需求。

A database personalized self-help query platform and method

The invention discloses a database personalized self-help query platform and method, including a graphical user interface module for user login system, a query engine for user selection to enter the query page, a user writing or dragging generation logic (python), and a background logic engine module for receiving the logic generated by the foreground and submitting it to the foreground. Background logic engine (impala hive mysql); scheduling task execution module for parsing and generating scheduling task execution (azkabn). The invention introduces hue + Azkaban large data memory computing engine and distributed scheduling engine to meet the needs of users.

【技术实现步骤摘要】
一种数据库个性化自助查询平台和方法
本专利技术属于计算机领域，属于一种数据库自助查询平台和方法。
技术介绍
随着网站的发展，现有的数据越来越多，基于mysql的数据引擎在大数据量跨度长的查询时已无法满足时间要求，原有操作界面功能简陋无法满足现状越来越多的个性化查询。
技术实现思路
本专利技术所要解决的技术问题是基于分布式内存的计算引擎和调度引擎，实现一种数据库个性化自助查询平台和方法。本专利技术解决上述技术问题所采取的技术方案如下：一种数据库个性化自助查询平台，包括：图形化用户接口模块，用于用户登录系统，选择查询引擎进入查询页面，用户编写或则拖动生成逻辑(python)；后台逻辑引擎模块，用于接收前台生成的逻辑，并提交给后台逻辑引擎；执行配置单元，用于存储sql查询语句的执行配置信息；调度任务执行模块，用于解析并生成调度任务执行(azkabn)。优选的是，所述图形化用户接口模块为hue，其为一个基于浏览器的图形化用户接口。优选的是，所述后台逻辑引擎模块包括：impala引擎单元，用于接收用户编写或则拖动生成逻辑(python)，并对其进行编译，形成sql查询语句。优选的是，所述调度任务执行模块为azkabn执行单元，用于定时查询序列根据读取执行配置，根据配置时间将sql查询语句提交至impala引擎单元中。一种数据库个性化自助查询方法，包括：步骤1)用户登录系统，通过图形化用户接口模块选择查询引擎进入查询页面，用户编写或则拖动生成逻辑(python)；步骤2)接收前台生成的逻辑，并提交给后台逻辑引擎(impalahivemysql)；步骤3)解析并生成调度任务执行(azkabn)。优选的是，所述图形化用户接口模块为hue，其为一个基于浏览器的图形化用户接口。优选的是，所述后台逻辑引擎包括：impala引擎单元，用于接收用户编写或则拖动生成逻辑(python)，并对其进行编译，形成sql查询语句。优选的是，所述调度任务执行为azkabn执行单元，用于定时查询序列根据读取执行配置，根据配置时间将sql查询语句提交至impala引擎单元中。本专利技术采取了上述方案以后，通过图形化进行查询，并基于hue+azkaban的大数据内存计算引擎和分布式调度引擎来满足使用人员的需求，具有很好的技术效果。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。附图说明下面结合附图对本专利技术进行详细的描述，以使得本专利技术的上述优点更加明确。其中，图1是本专利技术数据库个性化自助查询方法的示意图。具体实施方式以下将结合附图及实施例来详细说明本专利技术的实施方式，借此对本专利技术如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本专利技术中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本专利技术的保护范围之内。另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。实施例一：如图1所示，一种数据库个性化自助查询方法，包括：步骤1)用户登录系统，选择查询引擎进入查询页面，用户编写或则拖动生成逻辑(python)；步骤2)接收前台生成的逻辑，并提交给后台逻辑引擎(impalahivemysql)；步骤3)解析并生成调度任务执行(azkabn)。其中，所述图形化用户接口模块为hue，，其是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口。其中，所述后台逻辑引擎包括：impala引擎单元，用于接收用户编写或则拖动生成逻辑(python)，并对其进行编译，形成sql查询语句。其中，所述调度任务执行为azkabn执行单元，用于定时查询序列根据读取执行配置，根据配置时间将sql查询语句提交至impala引擎单元中。本专利技术采取了以上方案以后，其基于hue的多功能查询页面，后台支持hive,impala等数据查询引擎，满足快速大数据量的查询，查询结果可自助分析成图标，表单等，并且，其指定任务可以手动创建调度过程，依赖关系，满足数据间依赖需求。实施例二：其中，针对实施例一，在一个实施例中，其具体方案：1.用户登录系统，选择查询引擎进入查询页面，用户编写sql逻辑；(python)，后台会提取出用户的sql逻辑，并存入待执行队列；2.Azkaban定时查询序列根据读取执行配置，根据配置时间将sql提交至impala引擎；；Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。3.生imapa执行sql，并根据配置将数据输出到目标：数据库，硬盘内存等；Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。其中，Impala完全抛弃了MapReduce这个不太适合做SQL查询的范式，而是像Dremel一样借鉴了MPP并行数据库的思想另起炉灶，因此可做更多的查询优化，从而省掉不必要的shuffle、sort等开销。通过使用LLVM来统一编译运行时代码，避免了为支持通用编译而带来的不必要开销。实施例三：与以上方法实施例相对应，本专利技术还提供了一种数据库个性化自助查询平台，包括：图形化用户接口模块，用于用户登录系统，选择查询引擎进入查询页面，用户编写或则拖动生成逻辑(python)；后台逻辑引擎模块，用于接收前台生成的逻辑，并提交给后台逻辑引擎；执行配置单元，用于存储sql查询语句的执行配置信息；调度任务执行模块，用于解析并生成调度任务执行(azkabn)。优选的是，所述图形化用户接口模块为hue，其为一个基于浏览器的图形化用户接口。优选的是，所述后台逻辑引擎模块包括：impala引擎单元，用于接收用户编写或则拖动生成逻辑(python)，并对其进行编译，形成sql查询语句。优选的是，所述调度任务执行模块为azkabn执行单元，用于定时查询序列根据读取执行配置，根据配置时间将sql查询语句提交至impala引擎单元中。需要说明的是，对于上述方法实施例而言，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实本文档来自技高网...

【技术保护点】
1.一种数据库个性化自助查询平台，包括：图形化用户接口模块，用于用户登录系统，选择查询引擎进入查询页面，用户编写或则拖动生成逻辑(python)；后台逻辑引擎模块，用于接收前台生成的逻辑，并提交给后台逻辑引擎；执行配置单元，用于存储sql查询语句的执行配置信息；调度任务执行模块，用于解析并生成调度任务执行(azkabn)。

【技术特征摘要】
1.一种数据库个性化自助查询平台，包括：图形化用户接口模块，用于用户登录系统，选择查询引擎进入查询页面，用户编写或则拖动生成逻辑(python)；后台逻辑引擎模块，用于接收前台生成的逻辑，并提交给后台逻辑引擎；执行配置单元，用于存储sql查询语句的执行配置信息；调度任务执行模块，用于解析并生成调度任务执行(azkabn)。2.根据权利要求1所述的数据库个性化自助查询平台，其特征在于，所述图形化用户接口模块为hue，其为一个基于浏览器的图形化用户接口。3.根据权利要求1所述的数据库个性化自助查询平台，其特征在于，所述后台逻辑引擎模块包括：impala引擎单元，用于接收用户编写或则拖动生成逻辑(python)，并对其进行编译，形成sql查询语句。4.根据权利要求1所述的数据库个性化自助查询平台，其特征在于，所述调度任务执行模块为azkabn执行单元，用于定时查询序列根据读取执行配置，根据配置时间将sql查询...

【专利技术属性】
技术研发人员：王保达，刘涛，史磊，张京秋，卢述齐，高婧，
申请(专利权)人：塞纳德北京信息技术有限公司，
类型：发明
国别省市：北京,11