【技术实现步骤摘要】
数据同步方法、装置、电子设备及存储介质
本公开涉及数据处理
，尤其涉及数据同步方法、装置、电子设备及存储介质。
技术介绍
相关技术中，许多业务对应较多的数据，通过对上述数据进行查找等，挑选出符合业务需求的数据，将上述挑选的数据同步至目标数据库中以进一步处理，可以获取更大的价值，因此，对数据进行查找、同步的需求也越来越多。通常针对存储于一个机房所有数据，进行处理，完成对数据的查找、同步等。然而，进行查找、同步的数据通常为海量数据，如数以亿计的数据，对一个机房中的所有数据进行查找、同步等操作，耗时较长。
技术实现思路
为克服相关技术中存在的问题，本公开提供一种数据同步方法及装置。根据本公开实施例的第一方面，提供一种数据同步方法，所述数据分别存储于至少两个数据表中，所述至少两个数据表分别存储于至少两个不同的服务器中，所述至少两个不同的服务器分别位于至少两个不同的机房中，所述方法包括：在第一数据表的第一预设数据集合中查找符合预设条件的数据，得到第一目标数据；在第二数据表的第二预设数据集合中查找符合所述预设条件的数据，得到第二目标数据；其中，所述第一数据表和所述第二数据表...
【技术保护点】
1.一种数据同步方法，其特征在于，所述数据分别存储于至少两个数据表中，所述至少两个数据表分别存储于至少两个不同的服务器中，所述至少两个不同的服务器分别位于至少两个不同的机房中，所述方法包括：在第一数据表的第一预设数据集合中查找符合预设条件的数据，得到第一目标数据；在第二数据表的第二预设数据集合中查找符合所述预设条件的数据，得到第二目标数据；其中，所述第一数据表和所述第二数据表为不同机房的相应服务器中，数据的重复率超过第一预设重复率的数据表；所述第一预设数据集合和所述第二预设数据集合数据的重复率小于第二预设重复率；所述第一预设数据集合和所述第二预设数据集合的并集，组成所述第一...
【技术特征摘要】
1.一种数据同步方法，其特征在于，所述数据分别存储于至少两个数据表中，所述至少两个数据表分别存储于至少两个不同的服务器中，所述至少两个不同的服务器分别位于至少两个不同的机房中，所述方法包括：在第一数据表的第一预设数据集合中查找符合预设条件的数据，得到第一目标数据；在第二数据表的第二预设数据集合中查找符合所述预设条件的数据，得到第二目标数据；其中，所述第一数据表和所述第二数据表为不同机房的相应服务器中，数据的重复率超过第一预设重复率的数据表；所述第一预设数据集合和所述第二预设数据集合数据的重复率小于第二预设重复率；所述第一预设数据集合和所述第二预设数据集合的并集，组成所述第一数据表或所述第二数据表所包括的全部数据；将所述第一目标数据和所述第二目标数据同步至目标数据库。2.根据权利要求1所述的数据同步方法，其特征在于，所述在第一数据表的第一预设数据集合中查找符合预设条件的数据，得到第一目标数据之前，还包括：将每个所述服务器的线程池初始化为预设数量的线程；所述在第一数据表的第一预设数据集合中查找符合预设条件的数据，得到第一目标数据，包括：基于所述预设数量的线程，在第一数据表的第一预设数据集合中查找符合预设条件的数据，得到第一目标数据；所述在第二数据表的第二预设数据集合中查找符合所述预设条件的数据，得到第二目标数据，包括：基于所述预设数量的线程，在第二数据表的第二预设数据集合中查找符合所述预设条件的数据，得到第二目标数据。3.根据权利要求1所述的数据同步方法，其特征在于，所述至少两个数据表分别存储于至少两个不同的源数据库中，所述至少两个不同的源数据库分别存储于至少两个不同的数据集群中，所述至少两个不同的数据集群分别位于至少两个不同的机房中，所述至少两个不同的数据集群分别包括：至少一个主数据集群和至少一个从数据集群，所述在第一数据表的第一预设数据集合中查找符合预设条件的数据，得到第一目标数据之前，还包括：将所述数据写入所述至少一个主数据集群；将所述数据从任意一个所述主数据集群同步至所述至少一个从数据集群。4.根据权利要求3所述的数据同步方法，其特征在于，在所述至少两个不同的数据集群包括：至少两个从数据集群的情况下，所述在第一数据表的第一预设数据集合中查找符...
【专利技术属性】
技术研发人员：刘硕，李明，马彦兵，罗文楠，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。