一种适配多类大数据库的多维分析方法技术

本发明专利技术公开了一种适配多类大数据库的多维分析方法，包括如下步骤：(1)规划业务分析模型；(2)定义查询方案，保存成统一的多维分析表达式；(3)多维分析表达式转换为每类大数据库支持的查询语句；(4)大数据查询语句的执行；(5)查询结果的返回展现。本发明专利技术所公开的多维分析方法屏蔽了不同类型的大数据库的差异，并实现了不同大数据库下多维分析模型的统一管理，指标和维度的跨数据库复用。既充分发挥了不同数据库的特长，又降低了运维成本，提升了运维效率，很好的支持了公司的运营和运维。

A multidimensional analysis method for multi class databases

【技术实现步骤摘要】
一种适配多类大数据库的多维分析方法
本专利技术涉及大数据多维分析领域，特别涉及一种适配多类大数据库的多维分析方法。
技术介绍
随着云计算大数据技术的发展，在大数据分析领域，大数据库呈现了百花齐放的态势，每类大数据库都有最佳的适用场景。例如：针对时序数据库下的多维分析优先选择Druid,Influxdb.Hbase对于OLTP下的大数据库的多维分析会优先选择Elasticserach、Tidb针对OLAP下的大数据库的多维分析会优先选择GreenPlum、ClickHouse。大数据领域统一所有场景的大数据库还未出现。目前大部分企业在搭建大数据平台进行大数据分析时，都部署了多钟不同的数据库。如果针对每类数据库都去开发对应的多维分析系统，成本会变的很昂贵，并且无法实现多维分析模型的统一管理。因此，针对种类繁多的大数据库需要有一个可以适配多类数据库的多维分析方法。大数据下的多维分析系统需要面向多类大数据库，充分发挥每个数据库的特长，满足大数据下的多种不同的场景。
技术实现思路
为解决上述技术问题，本专利技术提供了一种适配多类大数据库的多维分析方法，以达到可以适配多类大数据库，实现统一管理和多类数据库之间的复用的目的。为达到上述目的，本专利技术的技术方案如下：一种适配多类大数据库的多维分析方法，包括如下步骤：(1)规划业务分析模型；(2)定义查询方案，保存成统一的多维分析表达式；(3)多维分析表达式转换为每类大数据库支持的查询语句；(4)大数据查询语句的执行；(5)查询结果的返回展现。上述方案中，所述步骤(1)的业务分析模型包括业务的数据源、数据结构、分析模型的维度表和事实表。上述方案中，所述多维分析表达式为基于通用多维分析语言MDX的统一多维分析表达式。上述方案中，所述步骤(3)通过不同的数据库适配器实现查询方案向大数据库查询语句的转换。上述方案中，所述步骤(4)具体为：步骤(3)中解析之后的查询语句，按照映射关系分别通过不同的形式传递到对应的大数据库，每个不同的数据库将查询语句传递给后台的数据库引擎进行执行。上述方案中，所述步骤(6)中，数据库适配器根据每个数据库查询结果的格式转换为统一的数据格式返回到前台页面。通过上述技术方案，本专利技术提供的适配多类大数据库的多维分析方法屏蔽了不同类型的大数据库的差异，并实现了不同大数据库下多维分析模型的统一管理，指标和维度的跨数据库复用。既充分发挥了不同数据库的特长，又降低了运维成本，提升了运维效率，很好的支持了公司的运营和运维。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。图1为本专利技术实施例所公开的一种适配多类大数据库的多维分析方法流程示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。本专利技术提供了一种适配多类大数据库的多维分析方法，如图1所示，具体实施例如下：基于电站、用户、充电订单数据、电站运营数据建立充电订单和电站运营多维分析模型。其中数据分别存储在大数据领域的2个开源数据库Elasticsearch和GreenPlum。其中Elasticsearch存储充电订单数据。GreenPlum存储电站、用户、充电订单数据。考虑到2类数据库的各自特点，Elasticsearch主要进行低基数维度的多维分析,电站运营分析采用Elasticsearch。订单涉及的用户属于高基数维度，采用GreenPlum构建订单的多维分析模型。1)建立多维分析模型基于多维分析系统，建立电站运营分析模型，事实表为Elasticsearch数据库充电订单。建立充电订单分析模型，维度表GreenPlum数据库的电站、用户，事实表为GreenPlum的充电订单。在此实例中充电订单表实现了统一的数据结构，并实现了在GreenPlum和Elasticsearch中数据库的复用。2)建立查询方案基于电站运营分析模型，选择行为电站名称，列为充电日期-月，指标为电量。保存查询方案-电站运营分析；基于充电订单分析模型，选择行位客户名称，列为充电日期-日，指标为充电量。保存查询方案-用户充电分析。3)转换为多维分析表达式电站运营分析方案转换为MDX:WITHSET[～COLUMNS]AS{[002充电日期-月].[002充电日期-月].[充电日期-月].Members}SET[～ROWS]AS{[102电站名称].[102电站名称].[电站名称].Members}SELECTNONEMPTYCrossJoin([～COLUMNS],{[Measures].[001充电量]})ONCOLUMNS,NONEMPTY[～ROWS]ONROWSFROM[gp_etldaystarpt_cube]用户充电订单分析模型转换为MDXWITHSET[～COLUMNS]AS{[004充电日期-日].[004充电日期-日].[20191225]}SET[～ROWS]AS{[306客户名称].[306客户名称].[客户名称].Members}SELECTNONEMPTYCrossJoin([～COLUMNS],{[Measures].[002订单数],[Measures].[003总费用]})ONCOLUMNS,NONEMPTY[～ROWS]ONROWSFROM[gp_chargebillsolap_cube]4)多维分析表达式转换为数据库查询语言电站运营分析对应的表达式将调用本专利技术的数据查询条件转换器找到Elasticsearch和GreenPlum对应的2个数据库适配器。数据库适配器负责将上述的承载查询条件的多维分析表达式转换为Elasticsearch和GreenPlum所支持的查询语法。5)查询条件的执行本专利技术的Elasticsearch和GreenPlum2个数据库适配器将转换后的查询sql分别传递给对应的数据库集群，进行查询语句的执行。6)查询结果的封装本专利技术的Elasticsearch和GreenPlum2个数据库适配器将对应的数据库执行之后的结果进行数据格式统一。Elasticsearch数据返回的数据格式为json。GreenPlum数据返回的数据格式为二维数组。适配器负责将结果数据统一转换为与前端UI约定的数据库格式7)查询结果的展示前端界面接收到查询结果，将通过调用对应的数据展示控件，将电站运营分析模型和用户充电分析模型的查询结果进行展示。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本专利技术。对这些实施例的多种修改对本领域的专业本文档来自技高网...

【技术保护点】
1.一种适配多类大数据库的多维分析方法，其特征在于，包括如下步骤：/n(1)规划业务分析模型；/n(2)定义查询方案，保存成统一的多维分析表达式；/n(3)多维分析表达式转换为每类大数据库支持的查询语句；/n(4)大数据查询语句的执行；/n(5)查询结果的返回展现。/n

【技术特征摘要】
1.一种适配多类大数据库的多维分析方法，其特征在于，包括如下步骤：
(1)规划业务分析模型；
(2)定义查询方案，保存成统一的多维分析表达式；
(3)多维分析表达式转换为每类大数据库支持的查询语句；
(4)大数据查询语句的执行；
(5)查询结果的返回展现。


2.根据权利要求1所述的一种适配多类大数据库的多维分析方法，其特征在于，所述步骤(1)的业务分析模型包括业务的数据源、数据结构、分析模型的维度表和事实表。


3.根据权利要求1所述的一种适配多类大数据库的多维分析方法，其特征在于，所述多维分析表达式为基于通用多维分析语言MDX的统一多维分析表达...

【专利技术属性】
技术研发人员：潘博存，鞠强，朱诗严，
申请(专利权)人：青岛特来电云科技有限公司，青岛特来电新能源科技有限公司，
类型：发明
国别省市：山东;37