数据同步方法和装置、电子设备和计算机可读存储介质制造方法及图纸

本申请提供了一种数据同步方法和装置、电子设备和计算机可读存储介质，该数据同步方法包括：响应于全量数据同步任务，将同步数据源中的全量数据同步至目标数据源，在全量数据同步任务完成后，从目标消息队列中获取目标标识，其中，目标标识是在全量数据同步任务开启后加入目标消息队列的，基于目标标识确定同步数据源中待同步的目标数据，目标数据为全量数据同步任务开始后在同步数据源中发生变化的数据，在同步数据源与目标数据源之间执行目标数据的同步。本申请的技术方案能够实现同步数据源和目标数据源之间全量数据的同步，以及全量同步任务开始后同步数据源中发生变化的数据的同步，从而保证了不同数据库间数据的完整性和一致性。性和一致性。性和一致性。

【技术实现步骤摘要】
数据同步方法和装置、电子设备和计算机可读存储介质


[0001]本申请涉及计算机
，具体涉及一种数据同步方法和装置、电子设备和计算机可读存储介质。

技术介绍

[0002]随着计算机技术的发展，大数据的应用也越来越广泛。在一些业务应用场景中，需要将非关系型数据库的数据同步到关系型数据库中。
[0003]在数据同步的过程中，如果非关系型数据库正在对外提供服务，则不可避免地会存在数据的写入操作，例如数据的新增、删除或者修改，这样会产生数据的变化。然而，主流的数据同步方法通常只对同步任务开启时刻的全量数据进行同步。因此，如何对同步任务开启之后写入的数据进行同步以保证同步数据的完整性和一致性是亟待解决的技术问题。

技术实现思路

[0004]有鉴于此，本申请的实施例提供了一种数据同步方法和装置、电子设备和计算机可读存储介质，能够实现在全量数据同步任务开启后对增量数据进行同步，保证了同步数据的完整性和一致性。
[0005]第一方面，本申请的实施例提供了一种数据同步方法，包括：响应于全量数据同步任务，将同步数据源中的全量数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，包括：响应于全量数据同步任务，将同步数据源中的全量数据同步至目标数据源；在所述全量数据同步任务完成后，从目标消息队列中获取目标标识，其中，所述目标标识是在所述全量数据同步任务开启后加入所述目标消息队列的；基于所述目标标识确定所述同步数据源中待同步的目标数据，所述目标数据为所述全量数据同步任务开始后在所述同步数据源中发生变化的数据；在所述同步数据源与所述目标数据源之间执行所述目标数据的同步。2.根据权利要求1所述的数据同步方法，其特征在于，所述方法还包括：从所述目标消息队列中获取与所述目标标识对应的操作类型，所述操作类型包括以下至少一种：新增、修改、删除，其中，所述在所述同步数据源与所述目标数据源之间执行所述目标数据的同步，包括：基于所述目标标识和所述操作类型在所述同步数据源与所述目标数据源之间执行所述目标数据的同步。3.根据权利要求1所述的数据同步方法，其特征在于，所述方法还包括：在所述全量数据同步任务开启时，向网关设备发送所述全量数据同步任务的开启状态信息，所述开启状态信息用于触发所述网关设备根据终端设备发送的请求消息将所述目标数据的标识加入所述目标消息队列中。4.根据权利要求3所述的数据同步方法，其特征在于，所述同步数据源中的数据以索引的形式存储在所述同步数据源；所述开启状态信息包括所述全量数据同步任务中已开始同步的索引的信息，以便所述网关设备基于所述已开始同步的索引的信息判断是否对所述终端设备发送的请求消息的操作类型进行解析。5.根据权利要求1所述的数据同步方法，其特征在于，所述同步数据源中的数据以索引的形式存储在所述同步数据源；在所述响应于全量数据同步任务之前，所述方法还包括：判断所述全量数据同步任务指定的待同步的索引是否有在途的同步任务；若所述待同步的索引没有在途的同步任...

【专利技术属性】
技术研发人员：张理国，苏超，曾琳铖曦，孙磊，蒋宁，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：