【技术实现步骤摘要】
本申请涉及数据库，尤其涉及一种数据库的数据同步方法、装置、设备及介质。
技术介绍
1、目前，大数据中数据仓库主要分为离线数据仓库(简称离线数仓)和实时数据仓库(简称实时数仓)，其中实时数仓主要用来供业务做数据分析、商业智能(businessintelligence，bi)报表和大屏，离线数仓存储包括前一天以前的所有数据。因此，当数据分析需要分析多天、几个月、一年半年数据时，需要将对应的存储于离线数仓中的各类数据源中的数据导入在线分析处理(online analytical processing，olap)实时数仓中。
2、现有技术主要是将离线数据仓库的数据直接导入实时数据仓库。然而不同的数据仓库存在着数据格式不一致的问题，直接将离线数仓的数据导入实时数据仓库存在着数据格式不兼容问题，且容易导致数据同步导入效率低下。
技术实现思路
1、本申请提供了一种数据库的数据同步方法、装置、设备及介质，以在有效解决不同的数据仓库内的数据格式不一致的问题的同时，提高数据同步导入效率，优化数据同步性能。
2、第一方面，本申请提供了一种数据库的数据同步方法，包括：
3、获取离线数据仓库中的待处理数据及所述待处理数据对应的库表信息；
4、基于所述库表信息对所述待处理数据进行数据统一处理，得到至少一个目标格式文件；
5、基于所述目标格式文件对应的目标数据库语句，将所述目标格式文件导入至分析型数据库的目标列式存储表。
6、可选的，包括：
7、确定离线数据仓库内的至少一个数据库；
8、获取所述数据库的元数据文件，并基于所述元数据文件获取待处理数据和所述待处理数据的库表信息。
9、可选的，所述基于所述库表信息对所述待处理数据进行数据统一处理，得到至少一个目标格式文件，包括：
10、基于所述库表信息对所述待处理数据进行数据统一处理，得到对齐数据；
11、获取预设的目标格式；
12、基于所述目标格式对所述对齐数据进行格式转换，得到至少一个所述目标格式文件。
13、可选的，所述基于所述目标格式文件对应的目标数据库语句，将所述目标格式文件导入至分析型数据库的目标列式存储表，包括：
14、通过预设的存储表创建语句在所述分析型数据库内进行表创建，得到初始列式存储表；
15、基于每一个所述目标格式文件进行语句拼接，得到数据库执行语句，并将所述数据库执行语句作为所述目标数据库语句；
16、利用所述目标数据库语句，在所述初始列式存储表内同步导入所述目标格式文件，得到所述目标列式存储表。
17、可选的，所述利用所述目标数据库语句，在所述初始列式存储表内同步导入所述目标格式文件，得到所述目标列式存储表，包括：
18、在所述分析型数据库内，通过预设的数据导入接口执行所述目标数据库语句，得到所述目标格式文件对应的待处理库表；
19、基于所述待处理库表进行格式关系映射，得到待同步库表；
20、在所述初始列式存储表内同步导入所述待同步库表，得到所述目标列式存储表。
21、可选的，所述基于所述待处理库表进行格式关系映射，得到待同步库表，包括：
22、获取预设的映射字段信息，并从所述待处理库表中获取每一个字段的字段类型；
23、判断所述字段类型是否属于所述映射字段信息；
24、若所述字段类型属于所述映射字段信息，则从所述映射字段信息中提取所述字段类型对应的目标类型，并基于所述目标类型对所述待处理库表中的字段进行类型转换，得到待同步库表；
25、若所述字段类型不属于所述映射字段信息，则直接将所述待处理库表作为所述待同步库表。
26、可选的，所述将所述目标格式文件导入至分析型数据库的目标列式存储表之后，还包括：
27、基于所述目标列式存储表，确定每一个所述目标格式文件的库表同步结果；
28、若所述库表同步结果为库表同步成功结果，则将预设的数据同步成功结果确定为所述待处理数据的数据同步结果。
29、第二方面，本申请提供了一种数据库的数据同步装置，包括：
30、获取模块，用于获取离线数据仓库中的待处理数据及所述待处理数据对应的库表信息；
31、数据统一处理模块，用于基于所述库表信息对所述待处理数据进行数据统一处理，得到至少一个目标格式文件；
32、导入模块，用于基于所述目标格式文件对应的目标数据库语句，将所述目标格式文件导入至分析型数据库的目标列式存储表。
33、第三方面，本申请提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
34、存储器，用于存放计算机程序；
35、处理器，用于执行存储器上所存放的程序时，实现如第一方面任一项实施例所述的数据库的数据同步方法的步骤。
36、第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的数据库的数据同步方法的步骤。
37、综上，本申请实施例通过获取离线数据仓库中的待处理数据及待处理数据对应的库表信息，基于库表信息对待处理数据进行数据统一处理，得到至少一个目标格式文件，基于目标格式文件对应的目标数据库语句，将目标格式文件导入至分析型数据库的目标列式存储表，通过利用库表信息对待处理数据进行数据统一，有效解决不同的数据仓库内的数据格式不一致的问题，并且利用目标格式文件和目标数据库语句将待处理数据导入目标列式存储表，提高数据同步导入效率，优化数据同步性能，解决了现有技术直接将离线数据仓库的数据直接导入实时数据仓库所存在的问题。
本文档来自技高网...【技术保护点】
1.一种数据库的数据同步方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取离线数据仓库中的待处理数据及所述待处理数据对应的库表信息，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述库表信息对所述待处理数据进行数据统一处理，得到至少一个目标格式文件，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述目标格式文件对应的目标数据库语句，将所述目标格式文件导入至分析型数据库的目标列式存储表，包括：
5.根据权利要求4所述的方法，其特征在于，所述利用所述目标数据库语句，在所述初始列式存储表内同步导入所述目标格式文件，得到所述目标列式存储表，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述待处理库表进行格式关系映射，得到待同步库表，包括：
7.根据权利要求1至6任一项所述的方法，其特征在于，所述将所述目标格式文件导入至分析型数据库的目标列式存储表之后，还包括：
8.一种数据库的数据同步装置，其特征在于，包括：
9.一种电子设备，其特
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的数据库的数据同步方法的步骤。
...【技术特征摘要】
1.一种数据库的数据同步方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取离线数据仓库中的待处理数据及所述待处理数据对应的库表信息，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述库表信息对所述待处理数据进行数据统一处理，得到至少一个目标格式文件，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述目标格式文件对应的目标数据库语句，将所述目标格式文件导入至分析型数据库的目标列式存储表，包括：
5.根据权利要求4所述的方法，其特征在于，所述利用所述目标数据库语句，在所述初始列式存储表内同步导入所述目标格式文件，得到所述目标列式存储表...
【专利技术属性】
技术研发人员：林建明，徐磊，
申请(专利权)人：深圳无域科技技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。