数据同步方法及装置制造方法及图纸

本发明专利技术提出一种数据同步方法及装置，通过查询源数据库中需同步数据的总条数，根据统计的已完成同步数据条数与查询的所述总条数，查询源数据库，以同步排序在已完成同步数据条数与总条数之间的数据。响应于成功同步至少部分数据，基于成功同步的数据条数，更新已完成同步数据条数。在数据同步过程中，通过记录已完成同步数据条数，并基于该已完成同步数据条数，通过两次数据库查询，便可以实现断点续传，与相关技术相比，减少查询次数，提升断点续传效率。本申请记载的方案在数据同步成功之后才会更新已完成同步数据条数(即更新断点位置)，与相关技术相比，写入失败的数据不会被记为断点位置，会被重写，不会丢失，解决了数据可能丢失的问题。失的问题。失的问题。

【技术实现步骤摘要】
数据同步方法及装置


[0001]本专利技术涉及大数据
，尤其涉及一种数据同步方法及装置。

技术介绍

[0002]随着技术不断更新迭代，需要采用算法进行处理，或者，用于对算法进行训练的数据越来越多，数据量越来越大。产生了用户构建数据仓库、数据湖等需求。在构建数据仓或者数据湖构建的过程中，需要通过数据同步收集大量数据。
[0003]若因为网联或者服务问题导致数据同步中断，每次重新从头进行数据同步无疑会增加时间成本和资源占用。

技术实现思路

[0004]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0005]为此，本专利技术的第一个目的在于提出一种数据同步方法。
[0006]本专利技术的第二个目的在于提出一种数据同步装置。
[0007]本专利技术的第三个目的在于提出一种电子设备。
[0008]本专利技术的第四个目的在于提出一种非临时性计算机可读存储介质。
[0009]本专利技术的第五个目的在于提出一种计算机程序产品。
[0010]为达上述目的，本专利技术第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，包括：查询源数据库中需同步数据的总条数，其中，所述源数据库中的数据按照预设顺序排序；根据统计的已完成同步数据条数与查询的所述总条数，查询所述源数据库，以同步排序在所述已完成同步数据条数与所述总条数之间的数据；响应于成功同步至少部分数据，基于成功同步的数据条数，更新所述已完成同步数据条数。2.根据权利要求1所述的方法，其特征在于，所述源数据库中的数据还具有对应的时间戳，所述时间戳用于指示对应数据存储至所述源数据库中的时刻；所述预设排序是指数据存储在所述源数据库中的时间顺序；所述根据统计的已完成同步数据条数与查询的所述总条数，查询所述源数据库，以同步排序在所述已完成同步数据条数与所述总条数之间的数据，包括：获取最后一条被同步数据的目标时间戳；根据统计的已完成同步数据条数与查询的所述总条数，查询所述源数据库，以同步时间戳大于或大于等于所述目标时间戳，且排序在所述已完成同步数据条数与所述总条数之间的数据；根据同步成功的最后一条数据的时间戳，更新所述目标时间戳。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：响应于未存储所述已完成同步数据条数，查询所述源数据库，以同步排序在首条与所述总条数之间的数据。4.根据权利要求1或2所述的方法，其特征在于，所述根据统计的已完成同步数据条数与查询的所述总条数，查询所述源数据库，以同步排序在所述已完成同步数据条数与所述总条数之间的数据，包括：从所述源数据库中查询排序在所述已完成同步数据条数与所述总条数之间的数据；采用第一线程从源数据库获取查询到的数据，并写入到预设数据队列中，以采用第二线程从所述预设数据队列中读取数据，并写入到目的数据库中。5.根据权利要求4所述的方法，其特征在于，所述预设数据队列包括阻塞队列。6.根据权利要求1或2所述的方法，其特征在于，在所述源数据库为预设类型数据库的情形下，通过一条SQL语句查询源数据库中需同步数据的总条数，以及根据统计的已完成同步数据条数与查询的所述总条数，查询所述数据库，以同步排序在所述已完成同步数据条数与所述总条数之间的数据。7.一种数据同步装置，其特征在于，包括：第一查询模块，用于查询源数据库中需同步数据的总条数，其中，所述源数据库中的数据按照预...

【专利技术属性】
技术研发人员：张鹏，
申请(专利权)人：杭州数梦工场科技有限公司，
类型：发明
国别省市：