数据同步方法与装置、存储介质、电子设备制造方法及图纸

本公开属于数据处理技术领域，涉及一种数据同步方法及装置、计算机可读存储介质、电子设备。该方法包括：获取增量数据和与增量数据相关联的业务数据，并根据增量数据和业务数据之间的关联关系，对增量数据进行分类；基于预设的切分规则，对已分类的增量数据进行水平拆分，以得到待分表数据；将待分表数据进行分表处理，得到多个分表数据，并将分表数据推送至对应的数据库中。本公开一方面，在数据库中进行数据的处理过程，业务库仅进行入库操作，利用了数据库的计算能力，提高了数据同步的处理效率；另一方面，根据业务库的业务实例对增量数据进行划分，可以实现并发多实例数据推送，避免了数据库和实例的切换，保证了数据推送的高效性。

Data synchronization methods and devices, storage media, electronic equipment

【技术实现步骤摘要】
数据同步方法与装置、存储介质、电子设备
本公开涉及数据处理
，尤其涉及一种数据同步方法与数据同步装置、计算机可读存储介质及电子设备。
技术介绍
随着网络技术，譬如物联网、云计算和云存储等的发展，随之而来的是，产生的海量数据如何进行同步的问题。数据库中的数据进行同步时，可以从离线数据获取上游增量数据，推送至关系型数据临时表，再将临时表数据与原表数据进行比对，得到新增数据和更新数据，并针对这两种不同类型的资产数据进行同步。在实现本专利技术过程中专利技术人发现，在将海量数据从数据集市推送到业务库临时表中时，由于数据库的单表吞吐量限制，光是数据推送就会占用很长时间，十分耗时；并且，在业务库中进行源数据与业务库数据的比对，处理数据的分类效率十分低下。除此之外，对于业务库的分布式服务器而言，这种同步方式并未发挥出作用，应用服务器的利用率极低。鉴于此，本领域亟需开发一种新的数据同步方法及装置。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。...

【技术保护点】
1.一种数据同步方法，其特征在于，所述方法包括：/n获取增量数据和与所述增量数据相关联的业务数据，并根据所述增量数据和所述业务数据之间的关联关系，对所述增量数据进行分类；/n基于预设的切分规则，对已分类的所述增量数据进行水平拆分，以得到待分表数据；/n将所述待分表数据进行分表处理，得到多个分表数据，并将所述分表数据推送至对应的数据库中。/n

【技术特征摘要】
1.一种数据同步方法，其特征在于，所述方法包括：
获取增量数据和与所述增量数据相关联的业务数据，并根据所述增量数据和所述业务数据之间的关联关系，对所述增量数据进行分类；
基于预设的切分规则，对已分类的所述增量数据进行水平拆分，以得到待分表数据；
将所述待分表数据进行分表处理，得到多个分表数据，并将所述分表数据推送至对应的数据库中。


2.根据权利要求1所述的数据同步方法，其特征在于，所述根据所述增量数据和所述业务数据之间的关联关系，对所述增量数据进行分类，包括：
若所述增量数据未关联到所述业务数据，确定所述增量数据为新增数据；
若所述增量数据关联到所述业务数据，确定所述增量数据为更新数据。


3.根据权利要求2所述的数据同步方法，其特征在于，所述业务数据包括第一业务数据和第二业务数据；
所述若所述增量数据关联到所述业务数据，确定所述增量数据为更新数据，包括：
若所述增量数据关联到所述第一业务数据，确定所述增量数据为第一更新数据；
若所述增量数据关联到所述第二业务数据，确定所述增量数据为第二更新数据。


4.根据权利要求1所述的数据同步方法，其特征在于，所述基于预设的切分规则，对已分类的所述增量数据进行水平拆分，以得到待分表数据，包括：
获取所述增量数据的关键字段信息；
基于预设的切分规则，根据所述关键字段信息对已分类的所述增量数据进行水平拆分；
向拆分后的所述增量数据写入标记信息，生成待分表数据。


5.根据权利要求1所述的数据同步方法，其特征在于，所述将所述分表数据推送至对应的数据库中，包括：
获取所述多个数据分表的分表数...

【专利技术属性】
技术研发人员：刘圣杰，李启坤，
申请(专利权)人：京东数字科技控股有限公司，
类型：发明
国别省市：北京;11