一种混合联机分析处理系统及数据查询方法技术方案

本申请提供了一种混合联机分析处理系统及数据查询方法，系统至少包括：应用服务器集群、查询路由集群、Impala服务器集群和Kylin服务器集群，应用服务器集群接收用户的查询请求，并将用户的查询请求转换为查询路由集群可识别的目标查询请求；查询路由集群从Impala服务器集群和Kylin服务器集群中确定存储目标查询请求对应的目标数据的服务器集群作为目标服务器集群，并将目标查询请求转发至目标服务器集群；Kylin服务器集群和Impala服务器集群在接收到目标查询请求时，获取目标数据并返回。本申请能够实现查询请求的自动控制与转发，从而既可实现对预计算多维数据的查询，又可实现对明细数据的查询。

A Hybrid Online Analytical Processing System and Data Query Method

This application provides a hybrid on-line analytical processing system and data query method. The system includes at least application server cluster, query routing cluster, Impala server cluster and Kylin server cluster. Application server cluster receives query requests from users and converts query requests from users into query routing cluster. Target query requests identified; Query Routing Cluster determines the server cluster that stores the target data corresponding to the target query requests from Impala server cluster and Kylin server cluster as the target server cluster, and forwards the target query requests to the target server cluster; Kylin server cluster and Impala server cluster When the target query request is received, the target data is retrieved and returned. This application can realize the automatic control and forwarding of query requests, which can not only realize the query of predicted multi-dimensional data, but also realize the query of detailed data.

【技术实现步骤摘要】
一种混合联机分析处理系统及数据查询方法
本专利技术涉及数据分析处理及数据查询
，尤其涉及一种混合联机分析处理系统及数据查询方法。
技术介绍
随着大数据技术的日新月异，越来越多的企业开始重视数据的价值，比如，银行系统在其日常业务办理过程中能够累积海量的业务数据，利用这些大数据进行分析，能够有效地支撑客户营销、产品优化、风险管控等诸多领域，对于提升其核心竞争力具有重要的意义。联机分析处理OLAP，也叫多维分析，其是一种软件技术，能够使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据、支持决策的目的。目前，有些企业采用Cognos作为OLAP工具但是随着业务的发展和推广，累积的数据量越来越大，同时使用用户越来越多，Cognos原有架构存在的无法支持海量数据、可拓展性差、并发性差等问题越来越严重，无法满足现有大数据场景下OLAP分析的需要。有鉴于此，有些企业开始使用面向大数据应用场景的OLAP工具，如Kylin，Kylin具有查询效率高，并发数大，可拓展性强的优势，但是，Kylin只支持预计算的OLAP分析，并不支持明细数据查询，即现有的Kylin无法满足用户的数据查询需求。
技术实现思路
有鉴于此，本专利技术提供了一种混合联机分析处理系统及数据查询方法，用以解决现有技术中的Kylin无法满足用户的数据查询需求的问题，其技术方案如下：一种混合联机分析处理系统，至少包括：应用服务器集群、查询路由集群、Impala服务器集群和Kylin服务器集群，其中，所述Kylin服务器集群在存储数据时，通过预计算将数据处理成多维数据进行存储，所述Impala服务器集群在存储数据时，不进行预计算而是存储原始明细数据；所述应用服务器集群，用于接收用户的查询请求，并将所述用户的查询请求转换为所述查询路由集群可识别的目标查询请求；所述查询路由集群，用于从所述Impala服务器集群和所述Kylin服务器集群中确定存储所述目标查询请求对应的目标数据的服务器集群作为目标服务器集群，并将所述目标查询请求转发至所述目标服务器集群；所述Kylin服务器集群和所述Impala服务器集群，均用于在接收到所述目标查询请求时，获取所述目标数据并返回。其中，所述应用服务器集群为Saiku服务器集群；所述Saiku服务器集群，具体用于将所述用户的查询请求转换为多维表达语言MDX查询语句，将所述MDX查询语句转换为SQL查询语句，所述SQL查询语句作为所述目标查询请求。其中，所述目标查询请求中包括所述目标查询请求对应的目标数据的元数据信息；所述查询路由集群，还用于预先获取所述Kylin服务器集群和/或所述Impala服务器集群中存储的数据的元数据信息；所述查询路由集群，具体用于基于所述目标查询请求中的元数据信息以及预先获取的所述Kylin服务器集群和/或所述Impala服务器集群中存储的数据的元数据信息，从所述Impala服务器集群和Kylin服务器集群中确定存储所述目标查询请求对应的目标数据的服务器集群。其中，所述查询路由集群，具体用于确定所述目标查询请求对应的目标数据是否由所述Kylin服务器集群存储，若所述目标数据由所述Kylin服务器集群存储，则确定所述Kylin服务器集群为所述目标服务器集群，若所述目标数据不由所述Kylin服务器集群存储，则确定所述Impala服务器集群为所述目标服务器集群。所述混合联机分析处理系统，还包括：Hbase集群、Hive集群和分布式文件系统；其中，所述Hbase集群中存储有所述Kylin服务器集群进行预计算得到的多维数据的索引信息；所述Hive集群中存储有所述Kylin服务器集群和所述Impala服务器集群未进行预计算的原始明细数据的信息；所述分布式文件系统中存储有所述多维数据和所述原始明细数据。其中，所述Kylin服务器集群，具体用于基于所述Hbase集群中的索引信息从所述分布式文件系统获取与所述目标查询请求对应的多维数据。其中，所述Impala服务器集群，具体用于获取所述Hive集群从所述分布式文件系统中查询的、与所述目标查询请求对应的原始明细数据。一种数据查询方法，应用于上述的混合联机分析处理系统中的查询路由集群；所述数据查询方法包括：从所述应用服务器集群获取目标查询请求；从Impala服务器集群和Kylin服务器集群中确定存储所述目标查询请求对应的目标数据的服务器集群，作为目标服务器集群；将所述目标查询请求转发至所述目标服务器集群，以使所述目标服务器集群获取与所述目标查询请求对应的目标数据并返回。其中，所述目标查询请求中包括所述目标数据的元数据信息；所述从所述Impala服务器集群和所述Kylin服务器集群中确定存储所述目标查询请求对应的目标数据的服务器集群，包括：基于目标查询请求中的所述元数据信息和预先获取的所述Impala服务器集群和/或所述Kylin服务器集群中存储的数据的元数据信息，从所述Impala服务器集群和所述Kylin服务器集群中确定存储所述目标数据的服务器集群。其中，所述从所述Impala服务器集群和所述Kylin服务器集群中确定存储所述目标查询请求对应的目标数据的服务器集群，作为目标服务器集群，包括：确定所述目标查询请求对应的目标数据是否由所述Kylin服务器集群存储；若所述目标数据由所述Kylin服务器集群存储，则确定所述Kylin服务器集群为所述目标服务器集群；若所述目标数据不由所述Kylin服务器集群存储，则确定所述Impala服务器集群为所述目标服务器集群。上述技术方案具有如下有益效果：本专利技术提供的混合联机分析处理系统及数据查询方法中，应用服务器集群可接收用户的查询请求，并将用户的查询请求转换为目标查询请求输出至查询路由集群，查询路由集群，从Impala服务器集群和Kylin服务器集群中确定存储目标查询请求对应的目标数据的服务器集群作为目标服务器集群，并将目标查询请求转发至目标服务器集群，Kylin服务器集群或Impala服务器集群在接收到目标查询请求时，获取目标数据并返回。由此可见，本专利技术实施例提供的混合联机分析处理系统能够查询请求的自动控制与转发，从而既可实现对预计算多维数据的查询，又可实现对明细数据的查询。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例提供的混合联机分析处理系统的结构示意图；图2为本专利技术实施例提供的数据查询方法的流程示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供了一种混合联机分析处理系统，请参阅图1，示出了该系统的结构示意图，该系统至少可以包括：应用服务器集群101、查询路由集群102、Kylin服务器集群103和Impala服务器集群104。其中，Kylin本文档来自技高网...

【技术保护点】
1.一种混合联机分析处理系统，其特征在于，至少包括：应用服务器集群、查询路由集群、Impala服务器集群和Kylin服务器集群，其中，所述Kylin服务器集群在存储数据时，通过预计算将数据处理成多维数据进行存储，所述Impala服务器集群在存储数据时，不进行预计算而是存储原始明细数据；所述应用服务器集群，用于接收用户的查询请求，并将所述用户的查询请求转换为所述查询路由集群可识别的目标查询请求；所述查询路由集群，用于从所述Impala服务器集群和所述Kylin服务器集群中确定存储所述目标查询请求对应的目标数据的服务器集群作为目标服务器集群，并将所述目标查询请求转发至所述目标服务器集群；所述Kylin服务器集群和所述Impala服务器集群，均用于在接收到所述目标查询请求时，获取所述目标数据并返回。

【技术特征摘要】
1.一种混合联机分析处理系统，其特征在于，至少包括：应用服务器集群、查询路由集群、Impala服务器集群和Kylin服务器集群，其中，所述Kylin服务器集群在存储数据时，通过预计算将数据处理成多维数据进行存储，所述Impala服务器集群在存储数据时，不进行预计算而是存储原始明细数据；所述应用服务器集群，用于接收用户的查询请求，并将所述用户的查询请求转换为所述查询路由集群可识别的目标查询请求；所述查询路由集群，用于从所述Impala服务器集群和所述Kylin服务器集群中确定存储所述目标查询请求对应的目标数据的服务器集群作为目标服务器集群，并将所述目标查询请求转发至所述目标服务器集群；所述Kylin服务器集群和所述Impala服务器集群，均用于在接收到所述目标查询请求时，获取所述目标数据并返回。2.根据权利要求1所述的混合联机分析处理系统，其特征在于，所述应用服务器集群为Saiku服务器集群；所述Saiku服务器集群，具体用于将所述用户的查询请求转换为多维表达语言MDX查询语句，将所述MDX查询语句转换为SQL查询语句，所述SQL查询语句作为所述目标查询请求。3.根据权利要求1或2所述的混合联机分析处理系统，其特征在于，所述目标查询请求中包括所述目标查询请求对应的目标数据的元数据信息；所述查询路由集群，还用于预先获取所述Kylin服务器集群和/或所述Impala服务器集群中存储的数据的元数据信息；所述查询路由集群，具体用于基于所述目标查询请求中的元数据信息以及预先获取的所述Kylin服务器集群和/或所述Impala服务器集群中存储的数据的元数据信息，从所述Impala服务器集群和Kylin服务器集群中确定存储所述目标查询请求对应的目标数据的服务器集群。4.根据权利要求1或2所述的混合联机分析处理系统，其特征在于，所述查询路由集群，具体用于确定所述目标查询请求对应的目标数据是否由所述Kylin服务器集群存储，若所述目标数据由所述Kylin服务器集群存储，则确定所述Kylin服务器集群为所述目标服务器集群，若所述目标数据不由所述Kylin服务器集群存储，则确定所述Impala服务器集群为所述目标服务器集群。5.根据权利要求1所述的混合联机分析处理系统，其特征在于，还包括：Hbase集群、Hive集群...

【专利技术属性】
技术研发人员：姚琥，陈萌，杨声钢，薛飞，刘安，徐航，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：北京,11