【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种分布式数据库集群间表数据的同步方法及系统。
技术介绍
1、随着分布式数据库系统的广泛应用，数据库集群间表数据文件的同步问题变得日益重要。应用中为了确保数据的安全性和高可用性，都会选择给数据库做一个或者多个备份。同时，分布式数据库的不同集群环境之间也存在着表数据同步的需求，如数据库主集群和备份集群、正式上线环境和测试开发环境之间的数据同步迁移等。
2、传统的数据库间的表数据同步一般采用透明网关服务的方式，透明网关服务通常需要依赖特定的数据库协议，如果需要同步多个不同的数据库，可能需要重新配置或开发适配器，增加了开发和维护的成本。对于拓扑结构一致（节点数和分片数据分布方式一致）的分布式数据库间的表数据同步，还可以选择源数据库和目标数据库之间表分片数据文件点对点拷贝的方式，但对于拓扑结构不一致的分布式数据库集群之间无法简单的直接应用。其他传统的数据库同步方法往往还存在性能瓶颈、安全性不足以及数据一致性问题。因此，开发一种高效、安全、可靠的数据库表数据文件同步方法成为亟待解决的问题。
技术实现思路
1、有鉴于此，本专利技术实施例提供了一种分布式数据库集群间表数据的同步方法及系统，用于提高分布式数据库集群间表数据的同步的效率。
2、本专利技术提供了一种分布式数据库集群间表数据的同步方法，包括：通过连接配置文件对预置的源数据库以及预置的目标数据库进行连接信息配置，其中，所述连接配置文件包括：ip地址、端口、数据库名称、用户名及用户密码
3、在本专利技术中，所述基于预置的sql组件，根据所述同步任务列表生成目标同步表，同时对所述同步任务列表进行同步命令生成，得到目标同步命令步骤，包括：对所述连接配置文件进行解析，得到解析数据，并根据所述解析数据对所述源数据库以及所述目标数据库建立连接；通过所述sql组件获取所述源数据库的建表语句，得到第一建表语句集合；通过所述sql组件获取所述目标数据库的建表语句，得到第二建表语句集合；基于所述第一建表语句集合以及所述第二建表语句集合，通过所述同步任务列表生成目标同步表；对所述目标数据库进行文件存储路径提取，得到文件存储路径，并根据所述文件存储路径对所述同步任务列表进行同步命令生成，得到目标同步命令。
4、在本专利技术中，所述基于所述第一建表语句集合以及所述第二建表语句集合，通过所述同步任务列表生成目标同步表步骤，包括：对所述第一建表语句集合以及所述第二建表语句集合进行语句比对，得到语句比对结果；当所述语句比对结果为所述目标数据库不存在同步表时，通过所述同步任务列表生成目标同步表；当所述语句比对结果为所述目标数据库存在非目标同步表时，对所述非目标同步表进行删除，同时，通过所述同步任务列表生成所述目标同步表。
5、在本专利技术中，所述创建临时外部表，基于所述同步任务列表以及所述待同步表数据，并通过所述目标同步命令对所述临时外部表进行表数据文件同步，得到同步临时表步骤，包括：创建临时外部表，基于所述同步任务列表，对所述待同步表数据进行数据存储位置提取，得到数据存储位置；执行所述目标同步命令，基于所述数据存储位置，将所述待同步表数据同步至所述临时外部表，得到所述同步临时表。
6、在本专利技术中，所述对所述同步临时表以及所述待同步表数据进行同步完整性校验，得到校验结果步骤，包括：对所述源数据库进行同步数据条数采集，得到第一同步数据条数；对所述目标数据库进行同步数据条数采集，得到第二同步数据条数；基于所述第一同步数据条数，对所述同步临时表进行md5值计算，得到第一md5值集合；基于所述第二同步数据条数，对所述待同步表数据进行md5值计算，得到第二md5值集合；基于所述第一md5值集合以及所述第二md5值集合，对所述同步临时表以及所述待同步表数据进行同步完整性校验，得到校验结果。
7、在本专利技术中，所述当所述校验结果为通过时，将所述同步临时表的数据插入预置的目标同步表中，同时，采集同步日志信息，并将所述同步日志信息传输至预置的同步展示终端步骤，包括：当所述校验结果为通过时，将所述同步临时表的数据插入预置的目标同步表中；采集同步日志信息，其中，所述同步日志信息包括：同步开始时间、同步结束时间以及同步状态数据；将所述同步日志信息传输至预置的同步展示终端。
8、在本专利技术中，所述将所述同步日志信息传输至预置的同步展示终端步骤，包括：对所述同步日志信息进行数据展示内容筛选，得到目标展示内容；将所述目标展示内容传输至所述同步展示终端进行数据展示。
9、本专利技术还提供了一种分布式数据库集群间表数据的同步系统，包括：
10、配置模块，用于通过连接配置文件对预置的源数据库以及预置的目标数据库进行连接信息配置，其中，所述连接配置文件包括：ip地址、端口、数据库名称、用户名及用户密码；
11、采集模块，用于采集待同步表数据，并根据所述待同步表数据生成同步任务列表；
12、生成模块，用于基于预置的sql组件，根据所述同步任务列表生成目标同步表，同时对所述同步任务列表进行同步命令生成，得到目标同步命令；
13、同步模块，用于创建临时外部表，基于所述同步任务列表以及所述待同步表数据，并通过所述目标同步命令对所述临时外部表进行表数据文件同步，得到同步临时表；
14、校验模块，用于对所述同步临时表以及所述待同步表数据进行同步完整性校验，得到校验结果；
15、插入模块，用于当所述校验结果为通过时，将所述同步临时表的数据插入预置的目标同步表中，同时，采集同步日志信息，并将所述同步日志信息传输至预置的同步展示终端。
16、本专利技术提供的技术方案中，通过利用预置的sql组件自动化生成同步任务列表和目标同步命令，以及使用rsync等高效的数据同步工具，该方法能够快速完成大量数据的迁移和同步。这种自动化和工具的使用大大提高了同步过程的效率，特别是在处理大规模数据时，相比传统手工同步方法，可以节省大量的时间和努力。通过对源数据库和目标数据库中表的建表语句进行比对，并根据比对结果进行必要的表结构调整，确保了数据迁移的准确性和目标数据库的数据结构一致性。此外，通过对同步后数据的完整性校验，包括记录数和md5值的比对，进一步保证了数据的完整性和一致性，避免了数据丢失或错误的风险。该方法通过创建临时外部表进行数据同步，避免了直接在目标同步表上操作，降低了对本文档来自技高网...
【技术保护点】
1.一种分布式数据库集群间表数据的同步方法，其特征在于，包括：
2.根据权利要求1所述的分布式数据库集群间表数据的同步方法，其特征在于，所述基于预置的SQL组件，根据所述同步任务列表生成目标同步表，同时对所述同步任务列表进行同步命令生成，得到目标同步命令步骤，包括：
3.根据权利要求2所述的分布式数据库集群间表数据的同步方法，其特征在于，所述基于所述第一建表语句集合以及所述第二建表语句集合，通过所述同步任务列表生成目标同步表步骤，包括：
4.根据权利要求1所述的分布式数据库集群间表数据的同步方法，其特征在于，所述创建临时外部表，基于所述同步任务列表以及所述待同步表数据，并通过所述目标同步命令对所述临时外部表进行表数据文件同步，得到同步临时表步骤，包括：
5.根据权利要求1所述的分布式数据库集群间表数据的同步方法，其特征在于，所述对所述同步临时表以及所述待同步表数据进行同步完整性校验，得到校验结果步骤，包括：
6.根据权利要求1所述的分布式数据库集群间表数据的同步方法，其特征在于，所述当所述校验结果为通过时，将所述同步临时
7.根据权利要求6所述的分布式数据库集群间表数据的同步方法，其特征在于，所述将所述同步日志信息传输至预置的同步展示终端步骤，包括：
8.一种分布式数据库集群间表数据的同步系统，用以执行如权利要求1至7任一项所述的分布式数据库集群间表数据的同步方法，其特征在于，包括：
...【技术特征摘要】
1.一种分布式数据库集群间表数据的同步方法，其特征在于，包括：
2.根据权利要求1所述的分布式数据库集群间表数据的同步方法，其特征在于，所述基于预置的sql组件，根据所述同步任务列表生成目标同步表，同时对所述同步任务列表进行同步命令生成，得到目标同步命令步骤，包括：
3.根据权利要求2所述的分布式数据库集群间表数据的同步方法，其特征在于，所述基于所述第一建表语句集合以及所述第二建表语句集合，通过所述同步任务列表生成目标同步表步骤，包括：
4.根据权利要求1所述的分布式数据库集群间表数据的同步方法，其特征在于，所述创建临时外部表，基于所述同步任务列表以及所述待同步表数据，并通过所述目标同步命令对所述临时外部表进行表数据文件同步，得到同步临时表步骤，包括：
【专利技术属性】
技术研发人员：郭朋，
申请(专利权)人：天津南大通用数据技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。