数据同步方法、装置、计算设备及计算机存储介质制造方法及图纸

本发明专利技术公开了一种数据同步方法、装置、计算设备及计算机存储介质，其中，方法包括：根据接收到的用于启动数据同步操作的同步触发指令，查询预先记录相对应的同步状态信息；根据同步状态信息确定源端的偏移信息以及目标端的写入信息；根据源端的偏移信息以及目标端的写入信息，向目标端同步数据，在同步过程中更新与数据同步操作相对应的同步状态信息。本发明专利技术方案，通过记录数据同步操作的同步状态信息，并在再次启动该数据同步操作时，根据该同步状态信息从源端向目标端同步数据，使本次数据同步操作过程中同步的数据与记录同步状态信息的时刻时已同步的数据不会发生重复，同时也不会发生数据遗漏，进而确保了同步数据的准确性。

【技术实现步骤摘要】
数据同步方法、装置、计算设备及计算机存储介质
本专利技术涉及数据同步
，具体涉及一种数据同步方法、装置、计算设备及计算机存储介质。
技术介绍
在如今的信息化时代，大量的业务数据时刻都在产生；与此同时，随着大量业务数据的产生，数据的存储和处理也面临着巨大的考验。而为了便于后续对这些业务使用或处理，需要将业务数据从初始的消息队列同步至另一个消息队列或者文件系统中。现有技术中，通常利用scribe、flume等同步框架提供的数据同步功能来实现上述同步。但是，这种传统的同步方案存下如下缺陷：若数据同步过程中发生中断，则当重启以继续进行数据同步时容易出现数据重复或丢失的问题，不能保证同步数据的准确性，进一步影响同步数据的后续使用或处理。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的数据同步方法、装置、计算设备及计算机存储介质。根据本专利技术的一个方面，提供了一种数据同步方法，包括：根据接收到的用于启动数据同步操作的同步触发指令，查询预先记录的与所述数据同步操作相对应的同步状态信息；根据所述同步状态信息确定源端的偏移信息以及目标端的写入信息；根据所述源端的偏移信息以及目标端的写入信息，从所述源端向所述目标端同步数据，在同步过程中更新所述与所述数据同步操作相对应的同步状态信息。根据本专利技术的另一方面，提供了一种数据同步装置，包括：查询模块，适于根据接收到的用于启动数据同步操作的同步触发指令，查询预先记录的与所述数据同步操作相对应的同步状态信息；第一确定模块，适于根据所述同步状态信息确定源端的偏移信息以及目标端的写入信息；同步模块，适于根据所述源端的偏移信息以及目标端的写入信息，从所述源端向所述目标端同步数据；更新模块，适于在同步过程中更新所述与所述数据同步操作相对应的同步状态信息。根据本专利技术的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述数据同步方法对应的操作。根据本专利技术的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述数据同步方法对应的操作。根据本专利技术的数据同步方法、装置、计算设备及计算机存储介质，根据本实施例提供的数据同步方法，在数据同步的过程中，记录与数据同步操作相对应的同步状态信息，即记录与数据同步进度相关的数据；在接收到用于启动该数据同步操作的同步触发指令时，通过查询预先记录的同步状态信息，可以确定源端完成同步的进度以及目标端的写入信息(即写入和存储进度)；然后据此源端的同步进度和目标端的写入信息，从源端向目标端同步数据，使同步至目标端的数据既不会丢失也不会重复；同时，在同步的过程中更新同步状态信息，以便下次启动该数据同步操作时进行查询。本专利技术方案，通过记录数据同步操作的同步状态信息，并在再次启动该数据同步操作时，根据该同步状态信息从源端向目标端同步数据，使本次数据同步操作过程中同步的数据与记录同步状态信息的时刻时已同步的数据不会发生重复，同时也不会发生数据遗漏，进而确保了同步数据的准确性。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了根据本专利技术一个实施例的数据同步方法的流程图；图2示出了根据本专利技术另一个实施例的数据同步方法的流程图；图3示出了根据本专利技术一个实施例的数据同步装置的功能框图；图4示出了根据本专利技术实施例的一种计算设备的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。图1示出了根据本专利技术一个实施例的数据同步方法的流程图。如图1所示，该方法包括：步骤S101，根据接收到的用于启动数据同步操作的同步触发指令，查询预先记录的与数据同步操作相对应的同步状态信息。其中，启动数据同步操作的场景有两种：一种是启动全新的数据同步操作，即启动初始同步，该场景下则不存在与该数据同步操作相对应的同步状态信息；另一种是启动继续之前未完成的数据同步操作，即启动继续同步，该场景下则存在与该数据同步操作相对应的同步状态信息。可选的，对应上述不同的场景，可设置多种不同类型的同步触发指令的触发入口。其中，同步状态信息中记录有数据同步操作作用的源端和目标端中与数据同步进度相关的数据，该与数据同步进度相关的数据包括反映源端完成同步的进度、以及目标端的各个文件的写入或存储进度的数据。在本专利技术中，不限定根据同步触发指令查询同步状态信息的具体方式，实际实施时，本领域技术人员可灵活确定查询的方式。可选的，根据同步触发指令中的数据同步操作的标识，查询相对应的同步状态信息；或者，根据数据同步操作所对应的场景和/或同步触发指令的类型，确定是否存在对应的同步状态信息，若存在，则进一步查询相对应的同步状态信息。步骤S102，根据同步状态信息确定源端的偏移信息以及目标端的写入信息。其中，源端的偏移信息表示对应记录该同步状态信息的时刻，源端完成同步的进度，该源端的偏移信息可以作为划分源端中的已完成同步的源数据和待完成同步的源数据的位置界限的依据。其中，目标端的写入信息表示对应记录该同步状态信息的时刻，目标端的写入进度和存储进度；目标端的存储进度与源端完成同步的进度一致，换言之，目标端已存储的数据与源端已完成同步的源数据对应。具体地，通过对同步状态信息中记录的与数据同步进度相关的数据的分析，确定对应记录该同步状态信息的时刻，源端完成同步的进度，以及目标端的写入和存储进度。步骤S103，根据源端的偏移信息以及目标端的写入信息，从源端向目标端同步数据，在同步过程中更新与数据同步操作相对应的同步状态信息。具体地，根据源端的偏移信息和目标端的写入信息即可确定本次启动的数据同步操作对应在源端的起始同步位置，该起始同步位置对应的源端的源数据，恰好与记录同步状态信息对应的时刻的已完成同步的源数据无缝衔接，从该起始同步位置开始此次数据同步操作，使得同步至目标端的数据不会丢失；以及，根据目标端的写入信息从源端的起始同步位置开始向目标端同步数据，使写入目标端的数据不会重复。并且，在同步过程中更新同步状态信息，使更新的同步状态信息记录最新的与数据同步进度相关的信息，以便于根据该更新的同步状态信息响应下一次启动数据同步操作的同步触发指令，使得每次启动数据同步操作时，均能确保同步的数据既不重复又不丢失。根据本实施例提供的数据同步方法，在数据同步的过程中，记录与数据同步操作相对应的同步状态信息，即记录与数据同步本文档来自技高网...

【技术保护点】
1.一种数据同步方法，包括：根据接收到的用于启动数据同步操作的同步触发指令，查询预先记录的与所述数据同步操作相对应的同步状态信息；根据所述同步状态信息确定源端的偏移信息以及目标端的写入信息；根据所述源端的偏移信息以及目标端的写入信息，从所述源端向所述目标端同步数据，在同步过程中更新所述与所述数据同步操作相对应的同步状态信息。

【技术特征摘要】
1.一种数据同步方法，包括：根据接收到的用于启动数据同步操作的同步触发指令，查询预先记录的与所述数据同步操作相对应的同步状态信息；根据所述同步状态信息确定源端的偏移信息以及目标端的写入信息；根据所述源端的偏移信息以及目标端的写入信息，从所述源端向所述目标端同步数据，在同步过程中更新所述与所述数据同步操作相对应的同步状态信息。2.根据权利要求1所述的方法，其中，所述用于启动数据同步操作的同步触发指令包括：重启指令、恢复指令、和/或续传指令。3.根据权利要求1或2所述的方法，其中，所述同步状态信息包括：源端的偏移信息、目标端的已存储文件的标识、目标端的已存储文件的创建时间、目标端的当前写入文件的标识、目标端的当前写入文件的创建时间和/或目标端的当前写入文件的已写入数据量。4.根据权利要求3所述的方法，其中，在所述从所述源端向所述目标端同步数据之前，所述方法还包括：获取定制的输出方式信息；根据所述输出方式信息确定目标端的目标写入文件；则所述从所述源端向所述目标端同步数据具体为：从所述源端向所述目标端的目标写入文件中同步数据。5.根据权利要求4所述的方法，其中，所述输出方式信息包括文件迭代条件；所述根据所述输出方式信息确定目标端的目标写入文件进一步包括：判断目标端的当前写入文件的已写入数据量和/或目标端的当前写入文件的创建时间是否满足所述文件迭代条件；若是，则选择未写入的文件确定为目标端的目标写入文件；若否，则将目标端的当前写入文件确定为目标端的目标写入文件。6.根据权利要求5所述的方法，其中，所述判断目标端的当前写入文件的已写入数据量和/或目标端的当...

【专利技术属性】
技术研发人员：倪传蕾，马庆祥，左欢，张馨予，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11