多数据源处理方法、装置、设备及存储介质制造方法及图纸

本申请为数据处理技术领域，提供了一种多数据源处理方法、装置、设备及存储介质，其中，所述方法包括：将离线数据源、数据库数据源及内部数据源进行数据连接，对数据连接后的离线数据源、数据库数据源及内部数据源之间的适配性进行验证，在验证成功后，分别从离线数据源、数据库数据源及内部数据源中获取数据，得到目标数据，调用OLAP多维分析引擎对目标数据进行分析，得到分析结果，将分析结果按照预设显示模式输出显示，从而采用OLAP体系框架，基于Druid+ClickHouse的模式搭建多维分析引擎，通过数据预计算实现了对超大数据集的秒级响应，避免常规商用BI平台因数据量和计算复杂度增加导致的响应时间变慢。加导致的响应时间变慢。加导致的响应时间变慢。

【技术实现步骤摘要】
多数据源处理方法、装置、设备及存储介质


[0001]本申请涉及数据处理
，具体而言，本申请涉及一种多数据源处理方法、装置、设备及存储介质。

技术介绍

[0002]BI(Business Intelligence，商业智能)，是指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。商业智能平台(BI平台)能够大幅降低数据获取成本，提升数据使用效率，并可以利用可视化、交互化的操作支持业务数据分析。其中，传统BI平台通常侧重报表开发；自助式BI平台主要是面向业务分析人员，以业务主导的自助分析，侧重数据分析；还有第三方开源类BI平台，侧重于互联网分析和移动APP数据分析。
[0003]目前的商用BI平台适用于常规数据库离线数据的可视化分析平台建设，架构功能覆盖应用场景丰富，但针对实时数据源、内部数据源等多数据源的处理能力则相对较差。

技术实现思路

[0004]本申请的主要目的为提供一种多数据源处理方法、装置、设备及存储介质，以提高系统对多数据源的处理能力。
[0005]为了实现上述专利技术目的，本申请提供一种多数据源处理方法，包括：
[0006]将离线数据源、数据库数据源及内部数据源进行数据连接；
[0007]对数据连接后的离线数据源、数据库数据源及内部数据源之间的适配性进行验证；
[0008]在验证成功后，分别从所述离线数据源、数据库数据源及内部数据源中获取数据，得到目标数据；
[0009]调用OLAP多维分析引擎对所述目标数据进行分析，得到分析结果；其中，所述OLAP多维分析引擎配置有Druid和ClickHouse；
[0010]将所述分析结果按照预设显示模式输出显示。
[0011]优选地，所述调用OLAP多维分析引擎对所述目标数据进行分析，得到分析结果，包括：
[0012]选取最优的数据处理方式；
[0013]基于所述数据处理方式调用OLAP多维分析引擎对所述目标数据进行分析，得到分析结果。
[0014]优选地，所述基于所述数据处理方式调用OLAP多维分析引擎对所述目标数据进行分析，得到分析结果，包括：
[0015]当监测到所述目标数据为数据清洗过程中已加工后的结果集，调用OLAP多维分析引擎的Druid对所述目标数据进行分析，得到分析结果。
[0016]优选地，所述基于所述数据处理方式调用OLAP多维分析引擎对所述目标数据进行
分析，得到分析结果，包括：
[0017]当监测到所述目标数据为需要进行关联后再查询的结果集，调用OLAP多维分析引擎的ClickHouse对所述目标数据进行分析，得到分析结果。
[0018]在一实施例中，所述将离线数据源、数据库数据源及内部数据源进行数据连接，包括：
[0019]调用预先构建的多数据源连接组件；
[0020]根据所述多数据源连接组件将离线数据源、数据库数据源及内部数据源进行数据连接。
[0021]优选地，所述将所述分析结果按照预设显示模式输出显示，包括：
[0022]确定所述分析结果对应的可视化图表的图表类型；
[0023]从可视化图表库Apache Echarts中获取与所述图表类型相对应的可视化图表，得到目标可视化图表；
[0024]将所述分析结果按照所述目标可视化图表进行输出显示。
[0025]进一步地，所述将所述分析结果按照预设显示模式输出显示之后，还包括：
[0026]调用预先构建的权限管理接口对接内部权限系统；
[0027]在所述内部权限系统的内部数据安全生产协议的基础上将所述数据分析结果进行外部发布。
[0028]本申请还提供一种多数据源处理装置，所述装置包括：
[0029]连接模块，用于将离线数据源、数据库数据源及内部数据源进行数据连接；
[0030]验证模块，用于对数据连接后的离线数据源、数据库数据源及内部数据源之间的适配性进行验证；
[0031]获取模块，用于在验证成功后，分别从所述离线数据源、数据库数据源及内部数据源中获取数据，得到目标数据；
[0032]分析模块，用于调用OLAP多维分析引擎对所述目标数据进行分析，得到分析结果；其中，所述OLAP多维分析引擎配置有Druid和ClickHouse；
[0033]显示模块，用于将所述分析结果按照预设显示模式输出显示。
[0034]本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
[0035]本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述任一项所述方法的步骤。
[0036]本申请所提供的一种多数据源处理方法、装置、设备及存储介质，将离线数据源、数据库数据源及内部数据源进行数据连接，对数据连接后的离线数据源、数据库数据源及内部数据源之间的适配性进行验证，在验证成功后，分别从所述离线数据源、数据库数据源及内部数据源中获取数据，得到目标数据，调用OLAP多维分析引擎对所述目标数据进行分析，得到分析结果；将所述分析结果按照预设显示模式输出显示，从而结合商用BI功能搭建统一的数据可视化分析平台框架，在实时数据源处理和复杂多数据源计算方面，采用OLAP体系框架，基于Druid+ClickHouse的模式搭建多维分析引擎，通过数据预计算实现了对超大数据集的秒级响应，避免常规商用BI平台因数据量和计算复杂度增加导致的响应时间变慢，以提高系统对多数据源的处理能力。此外，本申请结合OLAP多维分析引擎可以减少高并
发保障稳定性的能力，有效提升数据处理和数据分析效率从分钟级下降至秒级或亚秒级。
附图说明
[0037]图1为本申请一实施例的多数据源处理方法的流程示意图；
[0038]图2为本申请一实施例的多数据源处理装置的结构示意框图；
[0039]图3为本申请一实施例的计算机设备的结构示意框图。
[0040]本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0041]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0042]本申请提出的一种多数据源处理方法，执行主体为计算机设备，该多数据源处理方法用于解决目前的商用BI平台仅适用于常规数据库离线数据的可视化分析平台建设，但针对实时数据源、内部数据源等多数据源的处理能力则相对较差的技术问题。
[0043]参考图1，其中一个实施例中，本申请提供一种多数据源处理方法，所述方法包括：
[0044]S11、将离线数据源、数据库数据源及内部数据源进行数据连接；
[0045]S12、对数据连接后的离线数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多数据源处理方法，其特征在于，包括：将离线数据源、数据库数据源及内部数据源进行数据连接；对数据连接后的离线数据源、数据库数据源及内部数据源之间的适配性进行验证；在验证成功后，分别从所述离线数据源、数据库数据源及内部数据源中获取数据，得到目标数据；调用OLAP多维分析引擎对所述目标数据进行分析，得到分析结果；其中，所述OLAP多维分析引擎配置有Druid和ClickHouse；将所述分析结果按照预设显示模式输出显示。2.根据权利要求1所述的方法，其特征在于，所述调用OLAP多维分析引擎对所述目标数据进行分析，得到分析结果，包括：选取最优的数据处理方式；基于所述数据处理方式调用OLAP多维分析引擎对所述目标数据进行分析，得到分析结果。3.根据权利要求2所述的方法，其特征在于，所述基于所述数据处理方式调用OLAP多维分析引擎对所述目标数据进行分析，得到分析结果，包括：当监测到所述目标数据为数据清洗过程中已加工后的结果集，调用OLAP多维分析引擎的Druid对所述目标数据进行分析，得到分析结果。4.根据权利要求2所述的方法，其特征在于，所述基于所述数据处理方式调用OLAP多维分析引擎对所述目标数据进行分析，得到分析结果，包括：当监测到所述目标数据为需要进行关联后再查询的结果集，调用OLAP多维分析引擎的ClickHouse对所述目标数据进行分析，得到分析结果。5.根据权利要求1所述的方法，其特征在于，所述将离线数据源、数据库数据源及内部数据源进行数据连接，包括：调用预先构建的多数据源连接组件；根据所述多数据源连接组件将离线数据源、数据库数据源及内部数据源进行数据连接...

【专利技术属性】
技术研发人员：吴迪，尹星富，马建江，王海艳，
申请(专利权)人：深圳依时货拉拉科技有限公司，
类型：发明
国别省市：