基于时间戳的数据增量同步方法、装置、设备及存储介质制造方法及图纸

本说明书提供一种基于时间戳的数据增量同步方法、装置、电子设备及存储介质。所述方法包括：响应于已执行的第一增量同步任务，缓存数据更新时刻为第一时刻的数据的主键；其中，第一增量同步任务用于将源数据库中数据更新时刻在第二时刻与第一时刻之间的数据同步至目的数据库；响应于待执行的第二增量同步任务，从源数据库中获取数据更新时刻为第一时刻的主键；其中，第二增量同步任务用于将源数据库中数据更新时刻在第一时刻与第三时刻之间的数据同步至目的数据库；比较已缓存主键与获取到主键；如果不一致，将所述获取到的主键所标识的数据同步至所述目的数据库。本说明书能减少数据同步时对缓存的占用，提高同步性能。

【技术实现步骤摘要】

本说明书一个或多个实施例涉及数据同步，尤其涉及一种基于时间戳的数据增量同步方法、装置、电子设备及存储介质。

技术介绍

1、增量同步是指在数据同步过程中，只传输和同步已更改或新增的数据部分。为了实现增量数据识别，通常可以基于时间戳的增量识别技术实现数据增量同步，也就是要求业务方每批次写入的数据，数据业务时间需要参考数据入库时间逐渐递增。

2、例如，在基于时间戳的数据增量同步任务运行时，仅更新时间戳在上次同步结束时刻与此次同步结束时刻之间的数据。由于无法判断一批数据是否写完，所以时间戳在上次同步结束时刻(也即此次同步开始时刻)的数据在两次数据同步任务中都会进行同步。为避免数据重复同步，通常在缓存中记录已同步数据。源数据库数据在进行数据同步前，先与缓存的已同步数据进行比较，得出不同数据后，再将不同数据同步到目的数据库。

3、由此可见，在基于时间戳的数据增量同步技术中，若具有同一时间戳数据的数据量巨大时，存储已同步到目的数据库的数据会占用较大缓存，降低数据同步性能。

技术实现思路>

1、本申请提本文档来自技高网...

【技术保护点】

1.一种基于时间戳的数据增量同步方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对数据更新时刻为第一时刻的数据的主键进行缓存，包括：

3.根据权利要求2所述的方法，其特征在于，将排序后的主键分为多个分段，包括：

4.根据权利要求2所述的方法，其特征在于，从所述源数据库中获取数据更新时刻为所述第一时刻的数据的主键，包括：

5.根据权利要求4所述的方法，其特征在于，对已缓存的主键与获取到的主键进行比较，包括：

6.根据权利要求1所述的方法，其特征在于，所述对数据更新时刻为第一时刻的数据的主键进行缓存，...

【技术特征摘要】

1.一种基于时间戳的数据增量同步方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对数据更新时刻为第一时刻的数据的主键进行缓存，包括：

3.根据权利要求2所述的方法，其特征在于，将排序后的主键分为多个分段，包括：

4.根据权利要求2所述的方法，其特征在于，从所述源数据库中获取数据更新时刻为所述第一时刻的数据的主键，包括：

5.根据权利要求4所述的方法，其特征在于，对已缓存的主键与获取到的主键进行比较，包括：

6.根据权利要求1所述的方法，其特征在...

【专利技术属性】
技术研发人员：褚占峰，王心怡，江峰，王安，
申请(专利权)人：杭州数梦工场科技有限公司，
类型：发明
国别省市：