一种数据同步方法、装置、设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据同步方法、装置、设备和存储介质，该方法包括：获取源数据库中的多条数据操作记录；根据每条数据操作记录中的表名称信息和标识字段信息，确定每条数据操作记录对应的目标哈希值，其中标识字段信息用于唯一标识表中的一条数据操作记录；基于目标哈希值和多条数据操作记录对应的记录顺序，将具有相同目标哈希值的各条数据操作记录按照记录顺序分发至同一线程中，以使各个线程并行执行相应的数据同步任务。通过本发明专利技术实施例的技术方案，可以解决现有技术中无法对同一张表中的数据操作记录进行并发处理的情况，提高数据同步效率。

【技术实现步骤摘要】
一种数据同步方法、装置、设备和存储介质
本专利技术实施例涉及计算机技术，尤其涉及一种数据同步方法、装置、设备和存储介质。
技术介绍
随着计算机技术的快速发展，通常需要对数据进行数据操作，比如写入操作、更新操作等，并基于源数据库中的数据操作记录，对目标数据库进行相应操作，实现数据同步。现有技术中，通常是将源数据库中的数据操作记录基于表维度进行划分，将具有相同表名的数据操作记录，按照源数据库中的数据操作顺序发送至同一个线程中进行处理，以保证数据同步的准确性。然而，在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：现有数据同步方式是同一张表中的所有数据操作记录均由同一个线程顺序处理执行的，从而使得同一张表中的数据操作记录无法并发处理，大大降低了数据同步效率。
技术实现思路
本专利技术实施例提供了一种数据同步方法、装置、设备和存储介质，以解决现有技术中无法对同一张表中的数据操作记录进行并发处理的情况，提高数据同步效率。第一方面，本专利技术实施例提供了一种数据同步方法，包括：...

【技术保护点】
1.一种数据同步方法，其特征在于，包括：/n获取源数据库中的多条数据操作记录；/n根据每条所述数据操作记录中的表名称信息和标识字段信息，确定每条所述数据操作记录对应的目标哈希值，其中所述标识字段信息用于唯一标识表中的一条数据操作记录；/n基于所述目标哈希值和所述多条数据操作记录对应的记录顺序，将具有相同目标哈希值的各条数据操作记录按照所述记录顺序分发至同一线程中，以使各个线程并行执行相应的数据同步任务。/n

【技术特征摘要】
1.一种数据同步方法，其特征在于，包括：
获取源数据库中的多条数据操作记录；
根据每条所述数据操作记录中的表名称信息和标识字段信息，确定每条所述数据操作记录对应的目标哈希值，其中所述标识字段信息用于唯一标识表中的一条数据操作记录；
基于所述目标哈希值和所述多条数据操作记录对应的记录顺序，将具有相同目标哈希值的各条数据操作记录按照所述记录顺序分发至同一线程中，以使各个线程并行执行相应的数据同步任务。


2.根据权利要求1所述的方法，其特征在于，根据每条所述数据操作记录中的表名称信息和标识字段信息，确定每条所述数据操作记录对应的目标哈希值，包括：
确定每条所述数据操作记录中的表名称信息对应的第一哈希值和标识字段信息对应的第二哈希值；
基于所述第一哈希值和所述第二哈希值，确定所述数据操作记录对应的目标哈希值。


3.根据权利要求2所述的方法，其特征在于，基于所述第一哈希值和所述第二哈希值，确定所述数据操作记录对应的目标哈希值，包括：
将所述第一哈希值和所述第二哈希值进行相加，获得的相加结果确定为所述数据操作记录对应的目标哈希值。


4.根据权利要求1所述的方法，其特征在于，基于所述目标哈希值和所述多条数据操作记录对应的记录顺序，将具有相同目标哈希值的各条数据操作记录按照所述记录顺序分发至同一线程中，以使各个线程并行执行相应的数据同步任务，包括：
确定每个所述目标哈希值与每个线程之间的对应关系；
按照所述多条数据操作记录对应的记录顺序，基于每条所述数据操作记录对应的目标哈希值和所述对应关系，逐条将所述数据操作记录分发至相应线程中；
通过并发执行各个线程，将每个线程中的各条数据操作记录逐个写入至目标数据库中的相应表中。


5.根据权利要求4所述的方法，其特征在于，确定每个所述目标哈希值与每个线程之间的对应关系，包括：
若所述目标哈希值的数量小于或等于预设线程数量，则从各线程中选取与所述目标哈希值的数量相同的线程，并...

【专利技术属性】
技术研发人员：徐进，
申请(专利权)人：深圳乐信软件技术有限公司，
类型：发明
国别省市：广东;44