数据同步方法、装置、设备及存储介质制造方法及图纸

本申请提供一种数据同步方法、装置、设备及存储介质，应用于大数据技术领域，该方法包括：若监测到源数据库的二进制日志发生变更，则获取第一变更数据对应的第一日志信息，确定第一用户标识的哈希值，并根据第一用户标识的哈希值，从源数据库包括的多个第一分区中确定第一变更数据所在的第一目标分区；从第一目标分区中获取第一变更数据，并将第一变更数据和第一日志信息组合为第一变更信息；将第一变更信息加入数据同步列表，对于每个第一变更信息，根据第一日志信息从目标数据库包括的多个第二分区中确定待同步的第二目标分区；向目标数据库发送第一同步指令，以使目标数据库根据第一同步指令，将第一变更信息同步至第二目标分区。分区。分区。

【技术实现步骤摘要】
数据同步方法、装置、设备及存储介质


[0001]本申请涉及大数据
，尤其涉及一种数据同步方法、装置、设备及存储介质。

技术介绍

[0002]随着国产数据库技术的不断完善，越来越多的用户选择将源数据库替换为国产数据库。在替换源数据库的过程中，需要源数据库与国产数据库并行运行。为了确保数据的一致性，需要将国产数据库的增量数据同步至源数据库。
[0003]现有技术中，一般是通过CDC技术(Change Data Capture，变化数据捕获)将源数据库的增量数据同步至目标数据库。其中，源数据库和目标数据库均不是单元化架构下的数据库。
[0004]然而，专利技术人发现现有技术至少存在如下技术问题：在单元化架构下，国产数据库包括多个分区，业务数据分别存储在各个分区内，而CDC技术只适用于非单元化的数据库之间的数据同步，从而导致CDC技术无法将国产数据库的增量数据同步至源数据库，因此，现有技术中的数据同步方法的适用性较差。

技术实现思路

[0005]本申请提供一种数据同步方法、装置、设备及存储介质，用于解决现有的数据同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，包括：若监测到源数据库的二进制日志发生变更，则从所述二进制日志中获取发生变更的第一变更数据对应的第一日志信息，所述第一日志信息包括第一用户标识、第一交易卡标识和第一交易位置标识；确定所述第一变更数据对应的第一用户标识的哈希值，并根据所述第一用户标识的哈希值，从所述源数据库包括的多个第一分区中确定所述第一变更数据所在的第一目标分区；从所述第一目标分区中获取所述第一变更数据，并将所述第一变更数据和所述第一日志信息组合为第一变更信息；将所述第一变更信息加入数据同步列表，所述数据同步列表包括多个待同步的第一变更信息；对于每个第一变更信息，根据所述第一变更信息中的第一日志信息，从目标数据库包括的多个第二分区中确定待同步的第二目标分区；向所述目标数据库发送第一同步指令，所述第一同步指令携带所述第一变更信息，以使所述目标数据库根据所述第一同步指令，将所述第一变更信息同步至所述第二目标分区。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一用户标识的哈希值，从所述源数据库包括的多个第一分区中确定所述第一变更数据所在的第一目标分区，包括：根据所述第一用户标识的哈希值，从哈希值与第一分区标识的对应关系中，确定所述哈希值对应的第一目标分区标识；根据所述第一目标分区标识，从所述源数据库包括的多个第一分区中确定所述第一变更数据所在的第一目标分区。3.根据权利要求1所述的方法，其特征在于，其中根据所述第一变更信息中的第一日志信息，从目标数据库包括的多个第二分区中确定待同步的第二目标分区，包括：根据所述第一日志信息中的第一交易卡标识，从交易卡标识和第二分区标识的对应关系中，确定所述第一交易卡标识对应的第二目标分区标识；根据所述第二目标分区标识，从所述目标数据库包括的多个第二分区中确定待同步的第二目标分区。4.根据权利要求1所述的方法，其特征在于，其中根据所述第一变更信息中的第一日志信息，从目标数据库包括的多个第二分区中确定待同步的第二目标分区，包括：根据所述第一日志信息中的第一交易位置标识，从交易位置标识和第二分区标识的对应关系中，确定所述第一交易卡标识对应的第二目标分区标识；根据所述第二目标分区标识，从所述目标数据库包括的多个第二分区中确定待同步的第二目标分区。5.根据权利要求1所述的方法，其特征在于，还包括：若从所述第一目标分区中获取所述第一变更数据失败，则确定所述第一目标分区对应的备份分区；从所述备份分区中获取所述第一变更...

【专利技术属性】
技术研发人员：曹江波，冯程，王鑫，郭继泱，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：