数据的合并方法、装置、终端设备及存储介质制造方法及图纸

本发明专利技术公开一种数据的合并方法、装置、终端设备及存储介质，该数据的合并方法包括：基于预设的访问顺序，依次将第一数据库和第二数据库的数据获取、同步或转换同步到预设的数据仓库中，根据第一预设条件进行合并生成第一目标数据表；基于预设访问顺序，获取第N个数据库中的第N数据；根据预设的数据仓库的类型，将第N数据同步或转换同步到数据仓库，生成数据仓库中的第N数据表；将第N数据表与第N

【技术实现步骤摘要】
数据的合并方法、装置、终端设备及存储介质


[0001]本专利技术涉及数据合并领域，尤其涉及数据的合并方法、装置、终端设备及存储介质。

技术介绍

[0002]随着互联网的发展，产生了很多的线上数据，越来越多的需求涉及到线上的相关数据的跨库的查询。
[0003]现有的一种方法是通过对单台服务器上的数据库进行跨库关联查询；另一种是通过数据同步工具或程序，将分布在不同服务器上的数据库，集中同步到同一台服务器上，之后对同步数据的服务器上的数据库进行跨库关联查询。然而，对于单服务器跨库关联查询方式，一方面容易形成数据库之间的高度耦合，不利于维护；另一方面跨库关联不支持异构数据库查询，因此导致其扩展性不强。
[0004]因此，如何实现对不同数据库中的数据进行高效、低耦合、高扩展的查询，是当前亟待解决的问题。

技术实现思路

[0005]本申请的主要目的在于提供一种数据的合并方法、装置、终端设备及存储介质，旨在解决如何实现对不同数据库中的数据进行高效、低耦合、高扩展的查询的问题。
[0006]为实现上述目的，本申请提供一种数据的合并方法，应用于数据合并
，所述数据的合并方法包括以下步骤：
[0007]基于预设访问顺序，获取第一数据库中的第一数据；根据预设的数据仓库的类型，将所述第一数据，同步或转换同步，到所述数据仓库，生成所述数据仓库中的第一数据表；
[0008]基于预设访问顺序，获取第二数据库中的第二数据；根据所述数据仓库的类型，将所述第二数据，同步或转换同步，到所述数据仓库，生成所述数据仓库中的第二数据表；
[0009]将所述第一数据表和第二数据表按照第一预设条件进行合并，生成所述数据仓库中的第一目标数据表；
[0010]在合并到所述第N
‑
2个目标数据表时，基于预设访问顺序，获取第N个数据库中的第N数据；根据所述数据仓库的类型，将所述第N数据，同步或转换同步，到所述数据仓库，生成所述数据仓库中的第N数据表；将所述第N数据表与第N
‑
2目标数据表按照第N
‑
1预设条件进行合并，生成所述数据仓库中的第N
‑
1目标数据表，以供查询，其中，N≥3的自然数。
[0011]可选的，所述将所述第一数据表和第二数据表按照第一预设条件进行合并，生成所述数据仓库中的第一目标数据表的步骤包括：
[0012]将所述第一数据表与所述数据仓库中的第二数据表的相关字段进行关联，得到关联结果；
[0013]根据所述关联结果，将所述第一数据表与所述第二数据表进行合并，生成第一目标数据表。
[0014]可选的，所述根据所述数据仓库的类型，将所述第N数据，同步或转换同步，到所述数据仓库，生成所述数据仓库中的第N数据表的步骤包括：
[0015]判断所述第N数据与所述数据仓库的类型是否匹配；
[0016]若匹配，则执行所述将所述第N数据同步到所述数据仓库，生成所述数据仓库中的第N数据表；
[0017]若不匹配，则执行所述将所述第N数据转换同步到所述数据仓库，生成所述数据仓库中的第N数据表。
[0018]可选的，所述若不匹配，则执行所述将所述第N数据转换同步到所述数据仓库，生成所述数据仓库中的第N数据表的步骤包括：
[0019]将所述第N数据转换为与所述数据仓库的类型相匹配的数据，得到转换数据；
[0020]将所述转换数据同步到所述数据仓库中，生成所述数据仓库中的第N数据表。
[0021]可选的，所述将所述第N数据表与第N
‑
2目标数据表按照第N
‑
1预设条件进行合并，生成所述数据仓库中的第N
‑
1目标数据表，以供查询，其中，N≥3的自然数的步骤包括：
[0022]将所述第N数据表与所述数据仓库中的第N
‑
2目标数据表的相关字段进行关联，得到关联结果；
[0023]根据所述关联结果，将所述第N
‑
2目标数据表与所述第N数据表进行合并，生成第N
‑
1目标数据表，以供查询。
[0024]可选的，所述根据所述数据仓库的类型，将所述第N数据，同步或转换同步，到所述数据仓库，生成所述数据仓库中的第N数据表的步骤之后还包括：
[0025]判断所述第N个数据库中的数据是否依次完成获取；
[0026]若未依次完成获取，则继续获取所述第N个数据库中的数据，直到将所述第N个数据库中的数据依次同步到所述数据仓库中。
[0027]可选的，所述基于预设顺序获取第一数据库中的第一数据；根据预设的数据仓库的类型，将所述第一数据，同步或转换同步，到所述数据仓库，生成所述数据仓库中的第一数据表的步骤之前还包括：
[0028]配置需要访问的N个数据库的访问地址和用户信息，并基于所述访问地址和所述用户信息，确定预设访问顺序，以基于所述预设访问顺序对所述N个数据库进行访问。
[0029]本申请实施案例还提出一种数据的合并装置，所述数据的合并装置包括：
[0030]获取模块，用于基于预设访问顺序，获取第一数据库中的第一数据；基于预设访问顺序，获取第二数据库中的第二数据；基于预设访问顺序，获取第三个数据库中的第三数据；在合并到所述第N
‑
2个目标数据表时，基于预设访问顺序，获取第N个数据库中的第N数据；
[0031]同步模块，用于根据预设的数据仓库的类型，将所述第一数据，同步或转换同步，到所述数据仓库，生成所述数据仓库中的第一数据表；根据所述数据仓库的类型，将所述第二数据，同步或转换同步，到所述数据仓库，生成所述数据仓库中的第二数据表；根据所述数据仓库的类型，将所述第三数据，同步或转换同步，到所述数据仓库，生成所述数据仓库中的第三数据表；根据所述数据仓库的类型，将所述第N数据，同步或转换同步，到所述数据仓库，生成所述数据仓库中的第N数据表；
[0032]合并模块，用于将所述第一数据表和第二数据表按照第一预设条件进行合并，生
成所述数据仓库中的第一目标数据表；将所述第三数据表和所述第一目标数据表按照第二预设条件进行合并，生成所述数据仓库中的第二目标数据表；将所述第N数据表与第N
‑
2目标数据表按照第N
‑
1预设条件进行合并，生成所述数据仓库中的第N
‑
1目标数据表，以供查询，其中，N≥3的自然数。
[0033]本申请实施案例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据的合并程序，所述数据的合并程序被所述处理器执行时实现所述数据的合并方法的步骤。
[0034]本申请实施案例还提出一种存储介质，所述存储介质上存储有数据的合并程序，所述数据的合并程序被处理器执行时实现所述数据的合并方法的步骤。
[0035]本申请实施例提出的基于预设访问顺序，获取第一数据库中的第一数据；根据预设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据的合并方法，其特征在于，所述数据的合并方法包括以下步骤：基于预设访问顺序，获取第一数据库中的第一数据；根据预设的数据仓库的类型，将所述第一数据，同步或转换同步到所述数据仓库，生成所述数据仓库中的第一数据表；基于预设访问顺序，获取第二数据库中的第二数据；根据所述数据仓库的类型，将所述第二数据，同步或转换同步到所述数据仓库，生成所述数据仓库中的第二数据表；将所述第一数据表和第二数据表按照第一预设条件进行合并，生成所述数据仓库中的第一目标数据表；在合并到所述第N
‑
2个目标数据表时，基于预设访问顺序，获取第N个数据库中的第N数据；根据所述数据仓库的类型，将所述第N数据，同步或转换同步到所述数据仓库，生成所述数据仓库中的第N数据表；将所述第N数据表与第N
‑
2目标数据表按照第N
‑
1预设条件进行合并，生成所述数据仓库中的第N
‑
1目标数据表，以供查询，其中，N≥3的自然数。2.根据权利要求1所述的数据的合并方法，其特征在于，所述将所述第一数据表和第二数据表按照第一预设条件进行合并，生成所述数据仓库中的第一目标数据表的步骤包括：将所述第一数据表与所述数据仓库中的第二数据表的相关字段进行关联，得到关联结果；根据所述关联结果，将所述第一数据表与所述第二数据表进行合并，生成第一目标数据表。3.根据权利要求1所述的数据的合并方法，其特征在于，所述根据所述数据仓库的类型，将所述第N数据，同步或转换同步，到所述数据仓库，生成所述数据仓库中的第N数据表的步骤包括：判断所述第N数据与所述数据仓库的类型是否匹配；若匹配，则执行所述将所述第N数据同步到所述数据仓库，生成所述数据仓库中的第N数据表；若不匹配，则执行所述将所述第N数据转换同步到所述数据仓库，生成所述数据仓库中的第N数据表。4.根据权利要求3所述的数据的合并方法，其特征在于，所述若不匹配，则执行所述将所述第N数据转换同步到所述数据仓库，生成所述数据仓库中的第N数据表的步骤包括：将所述第N数据转换为与所述数据仓库的类型相匹配的数据，得到转换数据；将所述转换数据同步到所述数据仓库中，生成所述数据仓库中的第N数据表。5.根据权利要求1所述的数据的合并方法，其特征在于，所述将所述第N数据表与第N
‑
2目标数据表按照第N
‑
1预设条件进行合并，生成所述数据仓库中的第N
‑
1目标数据表，以供查询，其中，N≥3的自然数的步骤包括：将所述第N数据表与所述数据仓库中的第N
‑
2目标数据表的相关字段进行关联，得到关联结果；根据所述关联结果，将所述第N
‑
2目标数据表与所述第N数据表进行合并，...

【专利技术属性】
技术研发人员：李剑，郑敬颂，
申请(专利权)人：深圳市神州路路通网络科技有限公司，
类型：发明
国别省市：