数据同步方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术的实施例提供了一种数据同步方法、装置、电子设备及存储介质，涉及大数据技术领域。该方法包括：从配置文件中获取源数据库、源数据库中的源数据表以及目标数据库的参数信息；基于所述参数信息获取源数据库的元数据信息以及源数据表的元数据信息；基于源数据库的元数据信息、源数据表的元数据信息以及目标数据库的参数信息生成同步脚本；基于同步脚本将源数据表上的数据同步到目标数据库，其中，源数据库为关系型数据库，目标数据库为分布式系统中的数据库。本发明专利技术实施例的技术方案能够自动地批量生成同步脚本，提高数据同步的效率。

【技术实现步骤摘要】
数据同步方法、装置、电子设备及存储介质
本专利技术涉及大数据
，具体而言，涉及一种数据同步方法、数据同步装置、电子设备以及计算机可读存储介质。
技术介绍
在信息技术的发展，许多企业或网站平台都有大量的数据存放于各种传统关系型数据库中，为保证数据的信息安全需要进行例行冷备、为进行数据掘金需要建立数据仓库，这些操作都需要将分布于各种关系型数据库中成千上万上表的数据同步到分布式系统例如Hadoop中。目前，在一种技术方案中，采用开源数据同步工具Sqoop筛选出待同步的数据表，人工编写Sqoop同步脚本，人工执行同步脚本。在需要同步的数据表很多的情况下，人工编写和执行sqoop同步脚本不仅效率低，而且出错率高，降低了数据同步的效率，另一方面，Hadoop中建表的要求和各种传统关系型数据库中建表的要求不尽相同，例如表名规范、列名规范、数据类型、数据编码等，人工编写同步脚本时需要深入了解源表，这样更加耗时、低效。因此，需要提供一种能够解决上述问题中的一个或多个问题的数据同步方法、数据同步装置、电子设备以及计算机可读存储介质。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本专利技术背本文档来自技高网...

【技术保护点】
1.一种数据同步方法，其特征在于，包括：从配置文件中获取源数据库、所述源数据库中的源数据表以及目标数据库的参数信息；基于所述参数信息获取所述源数据库的元数据信息以及所述源数据表的元数据信息；基于所述源数据库的元数据信息、所述源数据表的元数据信息以及所述目标数据库的参数信息生成同步脚本；基于所述同步脚本将所述源数据表上的数据同步到所述目标数据库，其中，所述源数据库为关系型数据库，所述目标数据库为分布式系统中的数据库。

【技术特征摘要】
1.一种数据同步方法，其特征在于，包括：从配置文件中获取源数据库、所述源数据库中的源数据表以及目标数据库的参数信息；基于所述参数信息获取所述源数据库的元数据信息以及所述源数据表的元数据信息；基于所述源数据库的元数据信息、所述源数据表的元数据信息以及所述目标数据库的参数信息生成同步脚本；基于所述同步脚本将所述源数据表上的数据同步到所述目标数据库，其中，所述源数据库为关系型数据库，所述目标数据库为分布式系统中的数据库。2.根据权利要求1所述的数据同步方法，其特征在于，基于所述参数信息获取所述源数据库的元数据信息以及所述源数据表的元数据信息，包括：从所述参数信息中获取所述源数据库的数据库连接信息；基于所述数据库连接信息连接所述源数据库；在连接成功之后，获取所述源数据库的元数据信息以及所述源数据表的元数据信息。3.根据权利要求1所述的数据同步方法，其特征在于，基于所述源数据库的元数据信息、所述源数据表的元数据信息以及所述目标数据库的参数信息生成同步脚本，包括：基于所述源数据库的数据库类型获取与所述数据库类型对应的同步器的类对象；基于所述源数据库的参数信息、所述源数据表的参数信息以及所述目标数据库的参数信息实例化所述同步器的类对象；基于实例化后的所述同步器分析所述源数据库的元数据信息以及所述源数据表的元数据信息；基于分析的结果生成将所述源数据库中的数据同步到所述目标数据库的同步脚本。4.根据权利要求3所述的数据同步方法，其特征在于，基于分析的结果生成将所述源数据库中的数据同步到所述目标数据库的同步脚本，包括：基于分析的结果确定所述源数据库中的数据与所述目标数据库中的数据的转换关系；基于所述转换关系生成将所述源数据库中的数据同步到所述目标数据库的同步脚本，所述同步脚本为Sqoop同步脚本。5.根据权利要求4所述的数据同步...

【专利技术属性】
技术研发人员：杨玉磊，
申请(专利权)人：金色熊猫有限公司，
类型：发明
国别省市：中国香港,81