一种多源数据融合方法、装置及电子设备制造方法及图纸

本发明专利技术的实施例公开一种多源数据融合方法、装置及电子设备，包括：基于待融合的多个数据源包含的各字段，在列式数据库中创建待融合数据的明细表，明细表中包括多个数据源的全部字段；将多个数据源包含的数据，按照明细表所包含的字段，添加到列式数据库中；按照与多个数据源包含的数据相关的业务逻辑，对列式数据库中的数据进行轻度汇总，得到多个汇总结果集。采用本方案，降低了在多源数据融合时对原有数据库的不利影响。有数据库的不利影响。有数据库的不利影响。

【技术实现步骤摘要】
一种多源数据融合方法、装置及电子设备


[0001]本专利技术涉及数据库
，尤其涉及一种多源数据融合方法、装置及电子设备。

技术介绍

[0002]在基于数据库的实际项目应用中，随着新需求和功能的不断追加和完善，经常会遇到项目一期、项目二期、项目三期需要分别接入不同的数据源，那么数据融合就显着非常必要。
[0003]目前常规的做法是在项目一期的数据库(存储项目一期的数据的数据库)的基础上进行改造和扩展，这种做法固然可行，但是也带来一些问题，例如，需要对项目一期的数据库的结构进行改造，改造的过程中，可能会产生一些不可预知的bug(漏洞)，影响项目一期的数据库的稳定性；同时项目二期、项目三期的数据都接入到项目一期的数据库中，将给项目一期的数据库带来很大的压力，从而拖慢针对项目一期的数据库的查询速度。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供一种多源数据融合方法、装置及电子设备，用以解决现有技术中存在的多源数据融合时对原有数据库存在不利影响的问题。
[0005]第一方面，本专利技术实施例提供一种多源数据融合方法，包括：
[0006]基于待融合的多个数据源包含的各字段，在列式数据库中创建待融合数据的明细表，所述明细表中包括所述多个数据源的全部字段；
[0007]将所述多个数据源包含的数据，按照所述明细表所包含的字段，添加到所述列式数据库中；
[0008]按照与所述多个数据源包含的数据相关的业务逻辑，对所述列式数据库中的数据进行轻度汇总，得到多个汇总结果集。
[0009]根据本专利技术实施例的一种具体实现方式，所述基于待融合的多个数据源包含的各字段，在列式数据库中创建待融合数据的明细表，包括：
[0010]基于待融合的多个数据源包含的各字段，按照所述多个数据源包含的各字段之间的相关性，在列式数据库中创建待融合数据的多个明细表，其中，每个明细表所包含的多个字段之间的相关性满足预设相关条件，所述多个明细表中包括所述多个数据源的全部字段。
[0011]根据本专利技术实施例的一种具体实现方式，按照与所述多个数据源包含的数据相关的业务逻辑，对所述列式数据库中的数据进行轻度汇总，包括：
[0012]按照与所述多个数据源包含的数据相关的业务逻辑，分别针对每个明细表，对所述列式数据库中该明细表包含的数据进行轻度汇总。
[0013]根据本专利技术实施例的一种具体实现方式，还包括：
[0014]获取数据查询条件；
[0015]从所述多个汇总结果集中，选择与所述数据查询条件相匹配的汇总结果集，作为
待查询汇总结果集；
[0016]从所述待查询汇总结果集中，按照所述数据查询条件进行数据查询。
[0017]根据本专利技术实施例的一种具体实现方式，所述列式数据库为ClickHouse列式数据库。
[0018]根据本专利技术实施例的一种具体实现方式，所述多个汇总结果集为多个物化视图结果集。
[0019]第二方面，本专利技术实施例还提供一种多源数据融合装置，包括：
[0020]明细表创建模块，用于基于待融合的多个数据源包含的各字段，在列式数据库中创建待融合数据的明细表，所述明细表中包括所述多个数据源的全部字段；
[0021]数据添加模块，用于将所述多个数据源包含的数据，按照所述明细表所包含的字段，添加到所述列式数据库中；
[0022]数据汇总模块，用于按照与所述多个数据源包含的数据相关的业务逻辑，对所述列式数据库中的数据进行轻度汇总，得到多个汇总结果集。
[0023]根据本专利技术实施例的一种具体实现方式，所述明细表创建模块，具体用于基于待融合的多个数据源包含的各字段，按照所述多个数据源包含的各字段之间的相关性，在列式数据库中创建待融合数据的多个明细表，其中，每个明细表所包含的多个字段之间的相关性满足预设相关条件，所述多个明细表中包括所述多个数据源的全部字段。
[0024]根据本专利技术实施例的一种具体实现方式，所述数据汇总模块，具体用于按照与所述多个数据源包含的数据相关的业务逻辑，分别针对每个明细表，对所述列式数据库中该明细表包含的数据进行轻度汇总。
[0025]根据本专利技术实施例的一种具体实现方式，还包括：
[0026]条件获取模块，用于获取数据查询条件；
[0027]结果集选择模块，用于从所述多个汇总结果集中，选择与所述数据查询条件相匹配的汇总结果集，作为待查询汇总结果集；
[0028]数据查询模块，用于从所述待查询汇总结果集中，按照所述数据查询条件进行数据查询。
[0029]根据本专利技术实施例的一种具体实现方式，所述列式数据库为ClickHouse列式数据库。
[0030]根据本专利技术实施例的一种具体实现方式，所述多个汇总结果集为多个物化视图结果集。
[0031]第三方面，本专利技术实施例还提供一种电子设备，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一实现方式所述的方法。
[0032]第四方面，本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本专利技术任一实施方式所述的方法。
[0033]第五方面，本专利技术的实施例还提供一种应用程序，所述应用程序被执行以实现本
专利技术任一实施方式所述的方法。
[0034]本专利技术实施例提供的一种多源数据融合方法中，基于待融合的多个数据源包含的各字段，在列式数据库中创建待融合数据的明细表，该明细表中包括多个数据源的全部字段；将多个数据源包含的数据，按照明细表所包含的字段，添加到列式数据库中；按照与多个数据源包含的数据相关的业务逻辑，对列式数据库中的数据进行轻度汇总，得到多个汇总结果集，从而实现了对多个数据源的数据的融合。并且，在数据融合的过程中，不需要改变原有数据库的结构，也并未在原有数据库中增加新的数据，因此，不会影响原有数据库的稳定性，亦避免新bug产生，也不会降低针对原有数据库的数据查询速度，即降低了对原有数据库的不利影响。
附图说明
[0035]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0036]图1为本专利技术的实施例提供的多源数据融合方法的流程图；
[0037]图2为本专利技术的实施例提供的多源数据融合方法的示意图；
[0038]图3为本专利技术的另一实施例提供的多源数据融合方法的流程图；
[0039]图4
‑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源数据融合方法，其特征在于，包括：基于待融合的多个数据源包含的各字段，在列式数据库中创建待融合数据的明细表，所述明细表中包括所述多个数据源的全部字段；将所述多个数据源包含的数据，按照所述明细表所包含的字段，添加到所述列式数据库中；按照与所述多个数据源包含的数据相关的业务逻辑，对所述列式数据库中的数据进行轻度汇总，得到多个汇总结果集。2.根据权利要求1所述的多源数据融合方法，其特征在于，所述基于待融合的多个数据源包含的各字段，在列式数据库中创建待融合数据的明细表，包括：基于待融合的多个数据源包含的各字段，按照所述多个数据源包含的各字段之间的相关性，在列式数据库中创建待融合数据的多个明细表，其中，每个明细表所包含的多个字段之间的相关性满足预设相关条件，所述多个明细表中包括所述多个数据源的全部字段。3.根据权利要求2所述的多源数据融合方法，其特征在于，所述按照与所述多个数据源包含的数据相关的业务逻辑，对所述列式数据库中的数据进行轻度汇总，包括：按照与所述多个数据源包含的数据相关的业务逻辑，分别针对每个明细表，对所述列式数据库中该明细表包含的数据进行轻度汇总。4.根据权利要求1所述的多源数据融合方法，其特征在于，还包括：获取数据查询条件；从所述多个汇总结果集中，选择与所述数据查询条件相匹配的汇总结果集，作为待查询汇总结果集；从所述待查询汇总结果集中，按照所述数据查询条件进行数据查询。5.根据权利要求1
‑
4任一项所述的多源数据融合方法，其特征在于，所述列式数据库为ClickHouse列式数据库。6.根据权利要求1
‑
4任一项所述的多源数据融合方法，其特征在于，所述多个汇总结果集为多个物化视图结果集。7.一种多源数据融合装置，其特征在于，包括：明细表创建模块，用于基于待融合的多个数据源包含的各字段，在列式数据库中创建待融合数据的明细表，所述明细表中包括所述多个数据源的全部字段；数据添加模块，用于将所述多个数据源包含的数据，按照所述明细表所包含的字段，添加到所述列式数据...

【专利技术属性】
技术研发人员：马孝明，杨飞，
申请(专利权)人：安天科技集团股份有限公司，
类型：发明
国别省市：