异构数据库数据同步方法和装置、存储介质及电子装置制造方法及图纸

本发明专利技术公开了一种异构数据库数据同步方法和装置、存储介质及电子装置。该方法包括：对第一部分数据和第二部分数据分别执行第一处理操作，得到第三部分数据和第四部分数据，第一数据库中的源数据被划分为第一部分数据和第二部分数据，第三部分数据以及第四部分数据被合并为第一数据；对第一部分数据和第二部分数据执行第二处理操作，得到第五部分数据和第六部分数据，第五部分数据以及第六部分数据被合并为第二数据；在第一数据与第二数据一致时，将第一数据作为第一目标数据存储在第二数据库中，第一数据库与第二数据库的类型不同。本发明专利技术解决了相关技术在实现异构数据库之间的数据同步时无法保证源数据库与目标数据库的数据一致性的技术问题。

【技术实现步骤摘要】
异构数据库数据同步方法和装置、存储介质及电子装置
本专利技术涉及数据处理领域，具体而言，涉及一种异构数据库数据同步方法和装置、存储介质及电子装置。
技术介绍
目前，异构数据库同步主要采用以下方式：实时捕捉源数据库中数据的变化信息及该数据变化对应的事务，并将捕捉到的变化信息及事务保存到中间数据库中；根据中间数据库中保存的变化信息确定需要同步的目标数据库；将所述变化信息转换为对应所述目标数据库的目标数据；将对应同一事务的所有目标数据同时更新到所述目标数据库中。通过上述方式可以实现不同类型的数据库之间的数据同步，降低同步过程对系统资源的消耗，保证同步过程的可靠性。但是，采用中间数据库方式实现异构数据库之间的数据同步会存在以下缺点：当硬件或网络出现故障时，不能保证源数据库与目标数据库的数据一致性。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种异构数据库数据同步方法和装置、存储介质及电子装置，以至少解决相关技术在实现异构数据库之间的数据同步时无法保证源数据库与目标数据库的数据一致性的技术问题。根据本专利技术实施例的一个方面，提供了一种异构数据库数据同步方法，本文档来自技高网...

【技术保护点】
1.一种异构数据库数据同步方法，其特征在于，包括：对第一部分数据执行第一处理操作，得到第三部分数据，并对第二部分数据执行所述第一处理操作，得到第四部分数据，其中，第一数据库中的源数据被划分为所述第一部分数据和所述第二部分数据，所述第三部分数据以及所述第四部分数据被合并为第一数据；对所述第一部分数据执行第二处理操作，得到第五部分数据，并对所述第二部分数据执行所述第二处理操作，得到第六部分数据，其中，所述第五部分数据以及所述第六部分数据被合并为第二数据；在所述第一数据与所述第二数据一致的情况下，将所述第一数据作为第一目标数据存储在第二数据库中，其中，所述第一数据库与所述第二数据库的类型不同。

【技术特征摘要】
1.一种异构数据库数据同步方法，其特征在于，包括：对第一部分数据执行第一处理操作，得到第三部分数据，并对第二部分数据执行所述第一处理操作，得到第四部分数据，其中，第一数据库中的源数据被划分为所述第一部分数据和所述第二部分数据，所述第三部分数据以及所述第四部分数据被合并为第一数据；对所述第一部分数据执行第二处理操作，得到第五部分数据，并对所述第二部分数据执行所述第二处理操作，得到第六部分数据，其中，所述第五部分数据以及所述第六部分数据被合并为第二数据；在所述第一数据与所述第二数据一致的情况下，将所述第一数据作为第一目标数据存储在第二数据库中，其中，所述第一数据库与所述第二数据库的类型不同。2.根据权利要求1所述的方法，其特征在于，在所述对所述第一部分数据执行第二处理操作，得到第五部分数据，并对所述第二部分数据执行所述第二处理操作，得到第六部分数据之后，所述方法还包括：分别获取存储有所述第一数据的第一数据表和存储有所述第二数据的第二数据表中每一行数据的哈希值，其中，所述每一行数据的哈希值为对每一行所有列数据做哈希运算得到的值；在所述第一数据表的哈希值个数与所述第二数据表的哈希值个数不相同的情况下，确定所述第一数据与所述第二数据不一致。3.根据权利要求2所述的方法，其特征在于，在所述确定所述第一数据与所述第二数据不一致之后，所述方法还包括：遍历所述第一数据表和所述第二数据表中的所有属性，对每一个属性执行以下步骤，其中，所述每一个属性在执行以下步骤时被标记为第一属性：从所述第一数据表和所述第二数据表中筛选出所述第一属性对应的行数据；分别获取所述第一数据表中所述第一属性对应的行数据和所述第二数据表中所述第一属性对应的行数据的哈希值；在所述第一数据表中所述第一属性对应的哈希值个数和所述第二数据表中所述第一属性对应的哈希值个数相同的情况下，将下一个属性确定为所述第一属性；在所述第一数据表中所述第一属性对应的哈希值个数和所述第二数据表中所述第一属性对应的哈希值个数不相同的情况下，确定所述第一属性对应的行数据为所述第一数据与所述第二数据之间不一致的数据。4.根据权利要求2所述的方法，其特征在于，在所述第一数据表的哈希值个数与所述第二数据表的哈希值个数相同的情况下，所述方法还包括：在所述第一数据表中所有行数据的哈希值在所述第二数据表中均存在的情况下，确定所述第一数据与所述第二数据一致；在所述第一数据表中所有行数据的哈希值中的至少一个在所述第二数据表中不存在的情况下，确定所述第一数据与所述第二数据不一致。5.根据权利要求1所述的方法，其特征在于，所述第一数据库中的源数据被划分为所述第一部分数据和所述第二部分数据包括：根据所述源数据的生成时间将所述源数据划分为所述第一部分数据和所述第二部分数据，其中，所述第一部分数据的生成时间晚于所述第二部分数据的生成时间。6.根据权利要求5所述的方法，其特征在于，在所述对第一部分数据执行第一处理操作，得到第三部分数据，并对第二部分数据执行所述第一处理操作，得到第四部分数据之前，所述方法还包括：在满足第一条件的情况下，执行所述对第一部分数据执行第一处理操作，得到第三部分数据，并对第二部分数据执行所述第一处理操作，得到第四部分数据的步骤，其中，所述第一条件包括：当前时间为非工作日，和/或当前数据处理量低于第一阈值；在不满足所述第一条件的情况下，对所述第一部分数据执行所述第一处理操作，得到所述第三部分数据，所述第三部分数据与所述第二部分数据被合并为第三数据；对所述第一部分数据执行所述第二处理操作，得到所述第...

【专利技术属性】
技术研发人员：马晓伟，莫拯，周国钢，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44